-
多模态大模型技术白皮书 2024
不同于语言大模型只对文本进行处理，多模态大模型将文本、语音、图像、视频等多模态数据联合起来进行学习。多模态大模型融合了多种感知途径与表达形态，能够同时处理和理解来自不同感知通道（例如视觉、听觉、语言和触觉等）的信息，并以多模态的方式表达输出。1.1 多模态大模型的技术体系现有的多模态大模型主要有面向理解任务的、面向生成任务的、兼顾理解和生成的、知识增强的多模态大模型。1.1.1 …- 9
- 0
-
最近用大模型的几点感想~
图片识别今天同事丢给我一张图片格式的思维导图，让我参考思维导图的结构写一个大模型的建设方案，但这张图有些内容不符合我们的实际，需要对这张图做一些修改，可是没有源文件。于是想到了上一篇文章中的方法，把图片丢给GPT-4o,让它给识别并生成markdown格式的文本，然后利用Xmind进行自动生成。整体还是比较准确的，如下图所示：读规划图识别效果挺好，还做了结构化提取。猜谜语老婆逛商场时，看到中国黄金…- 10
- 0
-
多模态大模型中，多模态融合后怎样知道最终结果受哪种模态影响更大？
本篇介绍多模态大模型中如何基于最终结果分析各模态的影响。具身智能被众多大佬看好，通往AGI的路最终肯定需要多个模态的大模型互相融合。多个模态配合好也是有可能去构建一个模拟现实的世界模型的。最近一直在研究和尝试多模态大模型在一些VQA领域的前瞻研究和实际落地部署问题，遇到一个值得思考的问题：如果当预测结果出问题的时候，怎么去溯源是哪个模态的数据出的问题呢？这个方向感觉探索的足够深入是可以发论文的。由…- 11
- 0
-
我们给AI打了通视频电话，发现它好像啥都能唠。。。
三个月前的 OpenAI 发布会，相信哥几个多少已经见识过 GPT-4o ，那跟真人一样丝滑的视频对话能力了。还有谷歌紧跟着推出的 Project Astra ，实力看着也丝毫不输 GPT-4o 。那阵子，几乎全网都在吹 AI 的交互能力进化得有多么多么强，什么史诗级、 Next Level 的词儿都用上了。结果怎么着， GPT-4o 说好的视频通话功能是一拖再拖， Project As…- 6
- 0
-
多模态提示技术：融合文本、图像、音频的AI应用
欢迎来到我们提示工程系列的第五篇文章。在之前的文章中，我们探讨了文本提示技术和多语言提示技术。今天，我们将跨越单一模态的界限，深入探讨多模态提示技术。这种技术允许AI系统同时处理和理解多种类型的数据，如文本、图像、音频等，从而创造出更加智能和versatile的应用。让我们一起探索如何设计和实现能够理解和生成多模态信息的AI系统。1. 多模态AI的重要性在我们深入技术细节之前，让我们先理解为什么多…- 6
- 0
-
Docmatix – 超大文档视觉问答数据集
本文，我们将发布，比之前的数据集大 100 倍。当使用 Docmatix 微调 Florence-2 时，消融实验显示 DocVQA 任务的性能提高了 20%。Docmatix 数据集样本示例缘起于的开发，丹鼎包含了 50 个数据集，旨在用于视觉语言模型 (VLM) 的微调，我们的就是由此训得。在丹鼎的开发过程中，我们发现缺乏大规模文档视觉问答 (DocVQA) 数据集。Idefics2 依赖的视…- 7
- 0
-
Qwen2-VL 全链路模型体验、下载、推理、微调实战！
01引言经过了一年的不懈努力，今天通义千问团队对 Qwen-VL 模型进行重大更新——推出 Qwen2-VL。Qwen2-VL 有什么新功能？· 增强的图像理解能力：Qwen2-VL显著提高了模型理解和解释视觉信息的能力，为关键性能指标设定了新的基准· 高级视频理解能力：Qwen2-VL具有卓越的在线流媒体功能，能够以很高的精度实时分析动态视频内容· 集成的可视化agent功能…- 14
- 0
-
发布！首个月球专业大模型来了
今天，在2024数博会上，中国科学院地球化学研究所与阿里云联合发布国际首个“月球科学多模态专业大模型”（简称“月球专业大模型”）。该大模型基于阿里云通义系列模型构建，目前在月球撞击坑年代和形态判别上，准确率已达到80%以上。中国科学院院士、中国月球探测工程首任首席科学家欧阳自远表示，随着人类深空探测活动的快速推进，探测数据呈井喷式增长。科学大数据已然成为推动科技创新的强大引擎。目前在数据管理方面，…- 11
- 0
-
AGI｜前端页面如何支持多模态大模型的流式返回？一文弄懂！
前端页面如何支持多模态大模型的流式返回随着人工智能技术的快速发展，多模态大模型（如OpenAI的GPT-4）在各类应用中变得越来越普遍。这些模型不仅可以处理文本数据，还可以理解和生成图像、视频、音频等多种类型的数据。在前端页面中实现对这些大模型的支持，尤其是流式返回结果，可以显著提升用户体验。本篇文章带大家了解一下前端前端页面如何支持多模态大模型的流式返回。 作者 李好&nbs…- 5
- 0
-
AI时代如何讲故事？SEED-Story开启多模态叙事新篇章
在科技不断进步的今天，我们对于讲故事的方式也在发生巨大的改变。传统的文字叙事正在与生动的图像融合，带来更具沉浸感的阅读体验。而在这个背景下，SEED-Story的出现，为我们揭示了多模态故事生成的全新可能性。1. 什么是多模态故事生成？多模态故事生成，简单来说，就是通过结合文本和图像来讲述一个完整的故事。这种方式不仅让故事更具视觉冲击力，还能够通过图文结合，让读者更深入地体验情节发展。然而，要实现…- 3
- 0
-
AI生产实践 | 基于大语言模型的海外KOL视频总结与问答
在海外市场，通过KOL进行游戏宣传是一种常见且重要的市场营销方法。特别是对于海外情况不了解，但是如何快速对KOL进行有效的分类和管理是一个非常重要的问题。常见的方法就是对KOL的历史发布视频内容进行快速理解，从而出判断其风格是否与品牌预期类似等方式实现。但是，因为全球多语言的环境以及大量的历史视频内容，使得我们无论在时间和能力上都存在较大的困难在短期内完成这样一个工作。这时，一种基于大语言模型的视…- 7
- 0
-
AI时代如何讲故事？SEED-Story开启多模态叙事新篇章
在科技不断进步的今天，我们对于讲故事的方式也在发生巨大的改变。传统的文字叙事正在与生动的图像融合，带来更具沉浸感的阅读体验。而在这个背景下，SEED-Story的出现，为我们揭示了多模态故事生成的全新可能性。1. 什么是多模态故事生成？多模态故事生成，简单来说，就是通过结合文本和图像来讲述一个完整的故事。这种方式不仅让故事更具视觉冲击力，还能够通过图文结合，让读者更深入地体验情节发展。然而，要实现…- 3
- 0
-
用多模态技术在多媒体系统中实现场景分类
1. 前言视频场景分类算法是计算机视觉领域研究的热门内容，并作为复杂任务系统的前置算法，能够应用于我们多媒体实验室多项业务，如内容自适应转码、画质智能修复和视频质量评估（VQA）中。通过针对不同类型的图像自适应抉择不同的模型，从而精准有效提升算法在业务中的实际效果。语言、视觉是人类感知世界最基本的方法，也是人工智能理解世界的两大支柱。多模态是结合了图像、文本、音频等多种数据类型的一种技…- 4
- 0
-
Meta推出Transfusion：统一Transformer和Diffusion
Meta 又搞了个大新闻！他们推出了一种叫做 Transfusion 的全新训练方法，彻底颠覆了多模态 AI 模型的玩法！以后，用单个模型就能同时生成文本和图像，而且效果炸裂！传统的做法是把图像量化成离散的 token，然后用语言模型来处理。但这种方法有个致命缺陷：图像信息在量化过程中会损失，导致模型的生成能力受限。而 Transfusion 则另辟蹊径，它直接把语言建模（预测下一个 token）…- 8
- 0
-
Ferret-UI，大语言模型对手机UI的理解
随着移动设备的普及，手机UI屏幕成为用户与设备交互的主要界面。然而，现有的通用领域MLLM在理解和交互UI屏幕方面存在不足，难以提供精确的元素引用、定位和推理能力。本文旨在通过提出新的MLLM——Ferret-UI，来增强对移动UI屏幕的理解能力，提供指代、锚定和推理功能，以解决一般领域MLLM在UI屏幕互动上的不足。《Ferret-UI: Grounded Mobile UI Understan…- 9
- 0
-
Midjourney终于免费了，网站上线对所有人开放使用
1 Midjourney网站上线免费白嫖就在今天凌晨 Midjourney 宣布网站对所有人开放使用，并且开启了免费试用！而且这次免费还算比较慷慨，每个用户有25个免费额度可以使用，这下终于可以白嫖了。相比于在Discord中复杂难用的操作，网页版对于新手使用也是更加友好简单。Midjourney上线两年时间了，图片生成质量和刚开始的时候也是有着质的飞跃。目前为止依然还是最好…- 8
- 0
-
Midjourney推出独立网站，并提供 25 次免费使用机会
Midjourney，这个备受好评的AI图像生成服务，在最初几年主要在Discord平台使用后，去年为那些生成了一定数量图像的用户提供了一个“alpha”网站。现在，它向所有用户开放了网站，包括那些尚未注册的用户，还提供了有限的免费试用。Midjourney的联合创始人兼CEO David Holz在Discord上透露，新用户可以免费生成大约25张图像。这个新动作为新老用户探索平台功能提供了便利…- 13
- 0
-
从数据到应用，BiomedGPT带你领略医学AI的多模态力量
人工智能的快速发展正在逐步改变生物医学领域的研究和应用。然而，目前的大多数生物医学AI模型仍然是专门针对特定任务设计的，这种高度定制化的模型虽然在某些任务上表现出色，但在实际临床应用中却面临着整合不同数据类型和适应多样任务的挑战。在此背景下，通用的医学多模态模型逐渐受到研究者的关注。最近发表在《Nature Medicine》上的一篇研究文章详细介绍了BiomedGPT——一种多模态通用AI模型，…- 8
- 0
-
使用 Dify 和 AI 大模型理解视频内容：Qwen 2 VL 72B
写在前面最近一两周有好几位朋友线下聚的时候，聊起了端侧多模态模型，以及用端侧多模态模型做 RPA 和一些内容识别相关的业务场景。在展开聊这些内容前，我觉得或许可以先从“为个人偷懒”角度，来聊聊模型的使用：用模型替我刷视频，找到我忽略的细节。昨天晚上刷知乎的时候，在问题列表中看到了一个有趣的问题“如何看待2024年8月新华社记者采访《黑神话悟空》制作人团队？[1]”，点开问题看到了黑神话悟空制作人的…- 6
- 0
-
万物皆可AI化！刚开源就有12000人围观的OCR 扫描 PDF 开源工具！还可转换为MarkDown！
想必大家有些感受，PDF 文件已经成为我们工作生活中不可或缺的一个小内容。但当我们面对那些质量不佳、格式混乱的扫描版PDF时，提取其中的文字内容常常让人头疼。虽然OCR（光学字符识别）技术已经帮助我们大大简化了这一过程，但它的识别精度和排版格式往往令人不满意。这时候，你可能会希望有一种更智能、更高效的解决方案，能让PDF文件处理变得更简单和准确。本篇文章为大家分享一款基于 LLM 的 OCR 扫描…- 8
- 0
-
昆仑万维推出全球首款 AI 短剧平台 SkyReels，「一人一剧」时代来临
8月19日，昆仑万维发布全球首个集成视频大模型与3D大模型的AI短剧平台SkyReels。SkyReels平台集剧本生成、角色定制、分镜、剧情、对白/BGM及影片合成于一体，让创作者一键成剧，轻松制作高质量AI视频。这是一个2分半时长的短剧作品。「 我们应该放下固化和抵抗的思维，拥抱这个碎片化信息时代。」 2023 年 12 月初，导演黄建新在北京电影学院北影大讲堂上…- 7
- 0
-
阿里全面开源mPLUG-Owl3！超长图像序列理解多模态大模型
多模态大语言模型（MLLMs）已经在处理单张图片任务上表现得非常出色。不过，当涉及到长图片序列的处理时，仍然有很多困难需要解决。为此，阿里推出了一款名叫mPLUG-Owl3的模型，它不仅功能强大，还能在需要结合图文知识、混合图文内容和处理长视频的场景中，更好地理解长图片序列。现有的一些多图输入方法存在两个主要问题：像LLaVA-Next-Interleave等模型将视觉特征直接与文本序列拼接，这在…- 6
- 0
-
腾讯 VITA这是要做科技界的“超级玩家”，一路“开挂”啊！
家人们，谁懂啊！腾讯多模态大模型 VITA 简直就是科技界的“绝绝子”！它能够同时处理视频、图像、文本和音频等多种模态的数据，这也太厉害了吧！就像是拥有了“超能力”，不管是图片、视频还是文字、音频，它都能轻松搞定，给用户带来全新的交互体验，真是一整个爱住了！VITA 基于强大的 Mixtral 8×7B 模型，还扩大了汉语词汇量，进行了双语指令微调，中英文都难不倒它，简直就是语言界的“学霸”！在语…- 10
- 0
-
GPT-4o背后端到端技术的力量
GPT-4o，代表着“omni”（全能），是OpenAI在多模态交互能力方面的一次重大突破，也标志着人工智能技术的一次质的飞跃。GPT-4o最大的突破在于第一次端到端的实现，从输入端到输出端是连贯的、整体性的，怎么去理解端到端背后的技术呢？1. 端到端的多模态融合理解能力根据OpenAI公开的信息，他们训练了一个跨越音频、视觉、文本模态的端到端模型，这意味着所有的输入与输出…- 8
- 0
扫码打开当前页
联系我们
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×