-
gpt-4o的视频交互功能，咱也试试，本地部署实现，挺好玩的
之前做了一个 语音大模型交互的程序，开源后受到大家的喜爱，很是开心，也带了不少的公众号粉丝，没有看过的可以去看看llm+funasr+tts，diy大模型语音助手，一个自己控制的siri，保姆教程，这几天看openai演示的和GPT-4o的视频交互，挺好玩的，有点类似谷歌眼镜了，可以时时聊天，本着抛砖引玉的思想，我也搞了一个低配版玩玩，测试后觉得还挺有意思，这里开源给大家，…- 4
- 0
-
ChartBench 面向复杂图表的认知与推理评测数据集
参考文献ChartBench 面向复杂图表的认知与推理评测数据集引言作者介绍Jay，清华大学深圳国际研究生院计算机博士研究生，IDEA 实习生近年来，通用生成式人工智能大模型在语言处理领域展现出了惊人的语义理解和逻辑推理能力，吸引了越来越多企业和研究者的关注。多模态大模型更是通过将图像转换为与文本形式相似的Token，成功实现了对自然图像内容的理解，在多个多模态数据集（如MME、SEED…- 10
- 0
-
Ferret系列之Ferret-UI：用多模态大模型给手机UI理解插上翅膀
导读Ferret-UI 是一个针对手机用户界面(UI)的多模态大模型，它旨在解决以下问题：UI屏幕理解与交互的自动化：手机UI屏幕包含多种元素，如图标和文本，需要模型能够理解并与之交互以实现用户目标。现有方法的局限性：现有的MLLM主要针对自然图像，直接应用于UI屏幕可能会受到限制，因为UI屏幕具有不同的纵横比和更小的兴趣对象。Ferret-UI 提出的贡献包括：模型架构改进：基于Ferret模型…- 9
- 0
-
Kosmos-2.5 | 微软提出多模态阅读模型，让机器轻松驾驭文本密集图像
导读尽管多模态大型语言模型（MLLMs）在自然图像理解方面有所进展，但对图文的理解，尤其是高分辨率文本密集图像的处理，仍是一个需要进一步研究的领域。应读者要求，本次解决微软近期开源的另一个工作Kosmos-2.5本文针对文本密集图像（文档图像），提出了Kosmos-2.5模型，有以下创新：多模态端到端整合：KOSMOS-2.5结合了视觉编码器和文本解码器，通过重采样模块连接，实现了文本和视觉信息的…- 6
- 0
-
AGI｜基于Joint BERT模型的意图识别技术实践
意图识别技术实践意图识别技术在智能语音助手等场景中应用广泛，伴随多模态模型的演进，其作用愈发关键。通过精准筛选信息，意图识别能显著提升大型语言模型的交互效率，优化用户使用体验。Part1介绍意图识别在诸多领域已经有了非常广泛的应用，例如各个品牌的智能语音助手，如今多模态模型能力迅猛增长，与LLM交流方式变得多样化，为了给LLM提供高质量有价值的上下文嵌入信息，引入意图识别变得尤为重要，其不仅能够过…- 7
- 0
-
可灵：快手视频生成大模型
生成式人工智能一日千里。之前，自留地君曾介绍过不少文生视频的应用，比如，D-ID、Sora、EMO等等。不过很遗憾，这些文生视频的大模型，大多我们只能看，不能用。要么是需要支付费用的，如 D-ID， 要么是目前并没有全部开放给用户使用，如 Sora 和阿里巴巴的Emo。昨天，在互联网上刷屏的是全新国产视频生成大模型，可灵。快手“可灵”视频生成大模型官网目前已正式上线。相较此前各家放出的视…- 7
- 0
-
ChartGemma：基于真实图表数据的图表理解与推理模型
点击上方蓝字关注我们ChartGemma是一个基于PaliGemma架构的多模态模型，通过直接从真实世界图表图像生成的数据进行指令微调，解决了现有图表理解模型依赖数据表格、对齐性差等问题，在图表摘要、问答和事实核查等方面取得了最先进的结果。 论文介绍 图表是各个领域必不可少的工具，但当前的图表理解模型存在局限性。它们通常依赖数据表而不是视觉模式，并使用弱对齐的视觉语言模型，从而限制了它们处理复杂图…- 11
- 0
-
Nature：人工智能出病理报告，准确率高达89.5%！
随着人工智能（AI）技术的快速发展，多模态生成式AI助手在多个临床领域展现出巨大的潜力。在病理学领域，计算病理学的进步使得基于图像和语言的综合分析成为可能。2024年6月12日，哈佛医学院的科学家针对名为PathChat的多模态生成式AI助手的研究发表在Nature杂志。结果显示：PathChat能够理解并处理视觉和语言输入，提供精确的病理学相关查询响应；从活检切片中正确识别出疾病的准确率高达89…- 4
- 0
-
浅谈AI生成视频在金融领域的应用
随着数字技术的飞速发展，人工智能成为炙手可热的新赛道，尤其是OpenAI生成式人工智能的成功必将推动行业抵达“奇点”时刻。进入2024年，其推出的文生视频大模型Sora无疑成为了AI领域的一个新亮点。Sora不仅仅是一个工具，更是一种新的生产方式。它对我们的影响不仅仅体现在就业方面，应该会对整个经济层面产生一定的影响。本文章通过什么是sora 入手，介绍其生成视频原理，通过普及Sora常识之后引导…- 5
- 0
-
探索AI智能体Agent的核心架构：记忆、工具与行动
近年来，人工智能技术不断发展，智能体Agent在各种应用场景中发挥着越来越重要的作用。这篇文章将详细解析智能体Agent的记忆与决策框架，探讨其多模态感知、记忆、规划决策等各个环节的实现与应用。智能体Agent是人工智能领域的重要研究方向，广泛应用于自动驾驶、智能家居、金融分析等多个领域。本文将以一幅示意图为基础，详细解析智能体Agent在记忆与决策过程中各个模块的功能及其相互关系。并通过实际代码…- 7
- 0
-
从AIGC短剧到金融、零售应用，视频生成大模型价值几何？
7月8日，抖音视频大模型即梦支持的AIGC科幻短剧集《三星堆：未来启示录》上线；7月13日，快手视频大模型可灵支持的AIGC原创奇幻短剧《山海奇镜之劈波斩浪》也正式上线。随着视频生成大模型越来越多地应用到短剧以及广告作品当中，对短剧、电影以及广告等行业都将带来深远影响。视频信号的获取方式通常有三种：相机拍摄、图形渲染和视频生成。其中，视频生成是通过生成式AI技术，将用户的多模态输入转化为视频信号。…- 6
- 0
-
沉浸式体验：Runway Gen-3 Alpha带你进入神奇的模拟场景！
你有没有想过利用AI技术创造出逼真且美妙的液体模拟场景？Runway Gen-3 Alpha正是这样的工具，它可以模拟水、油、蜂蜜、熔化的玻璃等液体，展现逼真的粘度、物理交互和光学效果。如果你热爱科技和创意，那么接下来的场景一定会让你大开眼界！1. 海底奇幻之舞Prompt: A dynamic motion shot of ethereal underwater caustics da…- 5
- 0
-
Stable Diffusion中CFG有啥用？
Classifier-Free Guidance (CFG) 尺度控制着在Stable Diffusion中进行采样时，提示词被遵循的紧密程度，几乎所有的Stable Diffusion AI图像生成器有这个设置选项1.CFG起到什么作用？让我们使用以下提示并查看改变 CFG 比例的效果breathtaking, cans, geometric patterns,&n…- 7
- 0
-
专访 LanceDB 创始人：多模态 AI 需要下一代数据基建
AI 的飞速发展为 Data Infra 数据基建带来了前所未有的挑战和机遇。随着 LLM 和多模态AI的兴起，非结构化数据的规模指数级增长，这对数据存储、检索和分析提出了更高要求。就像在云计算时代，Snowflake 和 Databricks 成为了数据乃至整个软件行业最快增长的产品，而到了 AI 时代，我们也相信会诞生下一代的数据产品。本篇内容是海外独角兽对 LanceDB 联合创始人 CEO…- 14
- 0
-
商汤大模型的「5o」交互，普通人如何和 AI 过一天？
与真实世界的实时交互，是推动 AI 2.0 时代超级时刻和应用爆发的一个核心。在刚刚结束的堪称「AI 界春晚」的世界人工智能大会（WAIC 2024）上，「中国版GPT-4o」亮相，它是来自商汤科技发布的“日日新5o”——国内首个「流式交互」多模态大模型。在商汤的演示下，日日新5o拥有像人一样的实时视觉能力，可以跟人进行流畅的视频交互——能听、能说、能看、无延时，它可以通过摄像头+语音实现和用户的…- 8
- 0
-
为医院装载“超级大脑”，商汤启动医疗多模态大模型赋能的智慧医院标杆联合共创
2024世界人工智能大会（WAIC）期间，作为全球医疗大模型创新先行者，商汤医疗携手瑞金医院、华西医院、新华医院、西京医院、中科大附属第一医院、北京清华长庚医院，在行业内率先启动医疗多模态大模型赋能的智慧医院创新示范共创，打造由大模型“智慧中枢”驱动的智慧医院建设示范样板。作为共创的重要成果之一，商汤医疗联合中华医学会病理学分会王哲副主委团队、清华大学何永红教授团队，共同发布了国内首个病理大模型，…- 8
- 0
-
AI 赋能营销 | 拓展营销和创意潜能
当我们将 AI 应用于服务数十亿用户、创作者和企业时，其产生的影响是呈指数级增长的。在搜索领域，AI 正在帮助用户找到更具体和复杂问题的答案。同时，在 YouTube 这样的平台上，人们渴望探索新的可能性、发现新奇事物和获得灵感，AI 也在推动着新的探索和创作方式。随着 AI 推动着数字化体验的升级，广告在连接人与商业方面仍然扮演着至关重要的角色。我们帮助人们在这个浩瀚的信息世界中找到所需的内容。…- 4
- 0
-
超强 AI 解析器：轻松处理文档、网页、音视频等 10 几种文档，高效清洗和组织你的数据！
OmniParse 是一个强大的数据转换工具，它能够将各种非结构化数据源转化为结构化、易于操作的格式。这个平台专为与生成式人工智能（GenAI）应用程序，如大语言模型的集成而设计。无论是文档、电子表格、图片、视频、音频还是网页内容，OmniParse 都能高效地清洗和组织您的数据，使其成为适用于如检索增强生成（RAG）和模型微调等先进人工智能技术的理想输入。近期热文当 AI 遇上爬虫：让…- 7
- 0
-
开源AI回答引擎的新时代：Morphic为你提供高效、准确的智能回答
轱辘凯（glookai.com）是一个专注于智能时代的AI工具应用、测评及介绍的专业社区，从大语言模型到文本、代码、图片、音频、视频、商业、设计等具体应用场景的发展和落地，AI工具一扫光，轱辘凯帮你找到最好的AI工具！AI不会取代人类，但掌握AI工具的人会。智能时代，关注我的人都变强了。1、工具简介Morphic是一款开源的人工智能驱动回答引擎，旨在通过生成用户界面提供精确、快速的查询响应。该工具…- 8
- 0
-
论文：大模型图表理解能力哪家强？CharXiv评估结果
CharXiv: Charting Gaps in Realistic Chart Understanding in Multimodal LLMs （https://arxiv.org/pdf/2406.18521）结论1、人对图表的理解能力准确度是80.5%、GPT-4o是47.1%、开源模型InternVL Chat V1.5是29.2%；2、开源模型在对小的视觉或文本变化的鲁棒性方面远远落…- 19
- 0
-
企业如何构建大模型营销体系：架构与实战
在现代营销中，个性化和高效性是关键。随着大数据和人工智能技术的快速发展，基于大模型的营销解决方案逐渐成为企业的首选。本文将通过一幅详细的框架图，带你了解如何在实际业务中构建大模型营销体系，以提升客户体验和营销效果。一、典型场景在大模型营销中，我们主要面对以下典型场景：1. 利用人模型发现新消费者群体助力营销规划通过分析大量消费者数据，企业可以利用人模型识别潜在的新客户群体。这些模型通过机器学习和数…- 6
- 0
-
实测：开源轻量化模型Gemma 2 在 A4000 GPU 上表现如何？
前不久，Google 发布了 Gemma 2，这是一个轻量级的大语言模型。这些轻量级模型，继承了 Gemini 模型的技术，旨在打破技术壁垒，让AI的力量惠及更广泛的人群，成为AI民主化进程中的重要里程碑。Gemma 2 有两个版本：90亿（9B）和270亿（27B）个参数，并支持 8K token 的上下文。Google 声称，这一模型的表现优于第一代Gemma模型，同时更加高效。Gemma 2…- 6
- 0
-
多模态大型语言模型（MLLMs）在跨图像、视频和音频等多种任务中表现卓越
Web2Code：一款用于网页转代码的全套数据集（含训练数据和评估框架），得分显著提升发布时间：2024 年 06 月 28 日代码编写Web2Code: A Large-scale Webpage-to-Code Dataset and Evaluation Framework for Multimodal LLMs摘要：多模态大型语言模型（MLLMs）在跨图像、视频和音频等多种任务中表现卓越。…- 7
- 0
-
SpeechLLM: 分析音频演讲者情感的大模型
SpeechLLM 是一种多模态语言模型 (LLM)，专门用于分析和预测对话中说话者的元数据。这种先进的模型集成了语音编码器，可将语音信号转换为有意义的语音表示。这些嵌入与文本指令相结合，然后由 LLM 处理以生成预测。该模型输入16 KHz的语音音频文件，并预测以下内容：SpeechActivity：音频信号是否包含语音（True/False）文字记录：音频的 ASR 文字记录发言者的性别（女/…- 5
- 0
扫码打开当前页
联系我们
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×