需求人群:
"Mini-Gemini可应用于需要同时处理文本和图像的各种场景,如视觉问答、图像描述生成、图像编辑等。"
使用场景示例:
根据给定的图像内容回答相关问题
生成图像的文字描述
根据指令对图像进行编辑生成新图像
产品特色:
低分辨率/高分辨率双视觉编码器
补丁级信息挖掘
基于大型语言模型的图文融合
支持视觉理解和生成任务
浏览量:375
最新流量情况
月访问量
5611
平均访问时长
00:00:07
每次访问页数
0.22
跳出率
52.81%
流量来源
直接访问
59.05%
自然搜索
35.96%
邮件
0
外链引荐
4.99%
社交媒体
0
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
美国
14.42%
越南
13.20%
尼日利亚
11.58%
印度尼西亚
11.43%
高质量、类人同声传译系统
CLASI是一个由字节跳动研究团队开发的高质量、类人同声传译系统。它通过新颖的数据驱动读写策略平衡翻译质量和延迟,采用多模态检索模块来增强特定领域术语的翻译,利用大型语言模型(LLMs)生成容错翻译,考虑输入音频、历史上下文和检索信息。在真实世界场景中,CLASI在中英和英中翻译方向上分别达到了81.3%和78.0%的有效信息比例(VIP),远超其他系统。
数学视觉指令调优模型
MAVIS是一个针对多模态大型语言模型(MLLMs)的数学视觉指令调优模型,主要通过改进视觉编码数学图表、图表-语言对齐和数学推理技能来增强MLLMs在视觉数学问题解决方面的能力。该模型包括两个新策划的数据集、一个数学视觉编码器和数学MLLM,通过三阶段训练范式在MathVerse基准测试中取得领先性能。
多模态长篇故事生成模型
SEED-Story是一个基于大型语言模型(MLLM)的多模态长篇故事生成模型,能够根据用户提供的图片和文本生成丰富、连贯的叙事文本和风格一致的图片。它代表了人工智能在创意写作和视觉艺术领域的前沿技术,具有生成高质量、多模态故事内容的能力,为创意产业提供了新的可能性。
多模态智能代理框架,解决复杂任务
OmAgent是一个复杂的多模态智能代理系统,致力于利用多模态大型语言模型和其他多模态算法来完成引人入胜的任务。该项目包括一个轻量级的智能代理框架omagent_core,精心设计以应对多模态挑战。OmAgent由三个核心组件构成:Video2RAG、DnCLoop和Rewinder Tool,分别负责长视频理解、复杂问题分解和信息回溯。
大型视频-语言模型,提供视觉问答和视频字幕生成。
VideoLLaMA2-7B是由DAMO-NLP-SG团队开发的多模态大型语言模型,专注于视频内容的理解和生成。该模型在视觉问答和视频字幕生成方面具有显著的性能,能够处理复杂的视频内容,并生成准确、自然的语言描述。它在空间-时间建模和音频理解方面进行了优化,为视频内容的智能分析和处理提供了强大的支持。
长视频理解基准测试
LVBench是一个专门设计用于长视频理解的基准测试,旨在推动多模态大型语言模型在理解数小时长视频方面的能力,这对于长期决策制定、深入电影评论和讨论、现场体育解说等实际应用至关重要。
一个交互式绘图应用,用于数学方程的绘制和计算。
AI Math Notes 是一个开源的交互式绘图应用程序,允许用户在画布上绘制数学方程。应用程序利用多模态大型语言模型(LLM)计算并显示结果。该应用程序使用Python开发,利用Tkinter库创建图形用户界面,使用PIL进行图像处理。灵感来源于Apple在2024年全球开发者大会(WWDC)上展示的'Math Notes'。
多模态语言模型的视觉推理工具
Visual Sketchpad 是一种为多模态大型语言模型(LLMs)提供视觉草图板和绘图工具的框架。它允许模型在进行规划和推理时,根据自己绘制的视觉工件进行操作。与以往使用文本作为推理步骤的方法不同,Visual Sketchpad 使模型能够使用线条、框、标记等更接近人类绘图方式的元素进行绘图,从而更好地促进推理。此外,它还可以在绘图过程中使用专家视觉模型,例如使用目标检测模型绘制边界框,或使用分割模型绘制掩码,以进一步提高视觉感知和推理能力。
首个全面评估多模态大型语言模型在视频分析中的性能基准。
Video-MME是一个专注于多模态大型语言模型(MLLMs)在视频分析领域性能评估的基准测试。它填补了现有评估方法中对MLLMs处理连续视觉数据能力的空白,为研究者提供了一个高质量和全面的评估平台。该基准测试覆盖了不同长度的视频,并针对MLLMs的核心能力进行了评估。
将大型语言模型的编码能力转换为图像生成能力。
Omost是一个旨在将大型语言模型(LLM)的编码能力转化为图像生成(更准确地说是图像组合)能力的项目。它提供了基于Llama3和Phi3变体的预训练LLM模型,这些模型能够编写代码以使用Omost的虚拟Canvas代理来组合图像视觉内容。Canvas可以由特定的图像生成器实现来实际生成图像。Omost项目背后的技术包括Direct Preference Optimization (DPO)和OpenAI GPT4o的多模态能力。
创新的多模态链式思维框架,提升视觉推理能力
Cantor是一个多模态链式思维(CoT)框架,它通过感知决策架构,将视觉上下文获取与逻辑推理相结合,解决复杂的视觉推理任务。Cantor首先作为一个决策生成器,整合视觉输入来分析图像和问题,确保与实际情境更紧密的对齐。此外,Cantor利用大型语言模型(MLLMs)的高级认知功能,作为多面专家,推导出更高层次的信息,增强CoT生成过程。Cantor在两个复杂的视觉推理数据集上进行了广泛的实验,证明了所提出框架的有效性,无需微调或真实理由,就显著提高了多模态CoT性能。
Meta 新一代开源大型语言模型,性能卓越
Meta Llama 3是Meta公司推出的新一代开源大型语言模型,性能卓越,在多项行业基准测试中表现出色。它可支持广泛的使用场景,包括改善推理能力等新功能。该模型将在未来支持多语种、多模态,提供更长的上下文窗口和整体性能提升。Llama 3秉承开放理念,将被部署在主要云服务、托管和硬件平台上,供开发者和社区使用。
强大的多模态LLM,商业解决方案
Reka Core是一个GPT-4级别的多模态大型语言模型(LLM),具备图像、视频和音频的强大上下文理解能力。它是目前市场上仅有的两个商用综合多模态解决方案之一。Core在多模态理解、推理能力、编码和Agent工作流程、多语言支持以及部署灵活性方面表现出色。
HyperGAI推出的创新多模态LLM框架,旨在理解和处理文本、图像、视频等多种输入模态
HPT(Hyper-Pretrained Transformers)是HyperGAI研究团队推出的新型多模态大型语言模型框架,它能够高效且可扩展地训练大型多模态基础模型,理解包括文本、图像、视频等多种输入模态。HPT框架可以从头开始训练,也可以通过现有的预训练视觉编码器和/或大型语言模型进行高效适配。
新一代开源大型语言模型,性能卓越
Meta Llama 3是Meta公司推出的新一代开源大型语言模型,性能卓越,在多项行业基准测试中表现出色。它可支持广泛的使用场景,包括改善推理能力等新功能。该模型将在未来支持多语种、多模态,提供更长的上下文窗口和整体性能提升。Llama 3秉承开放理念,将被部署在主要云服务、托管和硬件平台上,供开发者和社区使用。
集成音乐能力的开源LLM
ChatMusician是一个开源的大型语言模型(LLM),它通过持续的预训练和微调,集成了音乐能力。该模型基于文本兼容的音乐表示法(ABC记谱法),将音乐视为第二语言。ChatMusician能够在不依赖外部多模态神经结构或分词器的情况下,理解和生成音乐。
用户友好的LLMs WebUI
Open WebUI是一个为LLMs(大型语言模型)设计的友好型Web用户界面,支持Ollama和OpenAI兼容的API。它提供了直观的聊天界面、响应式设计、快速响应性能、简易安装、代码语法高亮、Markdown和LaTeX支持、本地RAG集成、Web浏览能力、提示预设支持、RLHF注释、会话标记、模型下载/删除、GGUF文件模型创建、多模型支持、多模态支持、模型文件构建器、协作聊天、OpenAI API集成等功能。
通过自然语言指令实现智能图像编辑的开源技术。
MGIE(多模态大语言模型引导的编辑)是一项由苹果开源的技术,利用多模态大型语言模型(MLLMs)生成图像编辑指令,通过端到端训练,捕捉视觉想象力并执行图像处理操作,使图像编辑更加智能、直观。
多模态视觉语言模型
MouSi是一种多模态视觉语言模型,旨在解决当前大型视觉语言模型(VLMs)面临的挑战。它采用集成专家技术,将个体视觉编码器的能力进行协同,包括图像文本匹配、OCR、图像分割等。该模型引入融合网络来统一处理来自不同视觉专家的输出,并在图像编码器和预训练LLMs之间弥合差距。此外,MouSi还探索了不同的位置编码方案,以有效解决位置编码浪费和长度限制的问题。实验结果表明,具有多个专家的VLMs表现出比孤立的视觉编码器更出色的性能,并随着整合更多专家而获得显著的性能提升。
通用型视觉语言模型
Qwen-VL 是阿里云推出的通用型视觉语言模型,具有强大的视觉理解和多模态推理能力。它支持零样本图像描述、视觉问答、文本理解、图像地标定位等任务,在多个视觉基准测试中达到或超过当前最优水平。该模型采用 Transformer 结构,以 7B 参数规模进行预训练,支持 448x448 分辨率,可以端到端处理图像与文本的多模态输入与输出。Qwen-VL 的优势包括通用性强、支持多语种、细粒度理解等。它可以广泛应用于图像理解、视觉问答、图像标注、图文生成等任务。
高效多模态大型语言模型
TinyGPT-V 是一种高效的多模态大型语言模型,通过使用小型骨干网络来实现。它具有强大的语言理解和生成能力,适用于各种自然语言处理任务。TinyGPT-V 采用 Phi-2 作为预训练模型,具备出色的性能和效率。
智能手机应用的多模态代理框架
AppAgent是一个基于LLM(大型语言模型)的多模态代理框架,设计用于操作智能手机应用。通过简化的动作空间(如点击和滑动),模仿人类般的互动方式,实现应用操作,无需系统后端访问。代理通过自主探索或观察人类演示学习新应用的使用方法,创建知识库用于执行不同应用中的复杂任务。
3D世界中的全能代理人
LEO是一个基于大型语言模型的多模态、多任务全能代理人,能够在3D世界中感知、定位、推理、规划和执行任务。LEO通过两个阶段的训练实现:(i)3D视觉语言对齐和(ii)3D视觉语言动作指令调整。我们精心策划和生成了一个包含物体级和场景级多模态任务的大规模数据集,需要对3D世界进行深入的理解和交互。通过严格的实验,我们展示了LEO在3D字幕、问答、推理、导航和机器人操作等广泛任务中的出色表现。
PaLI-3 视觉语言模型:更小、更快、更强
Pali3是一种视觉语言模型,通过对图像进行编码并与查询一起传递给编码器-解码器Transformer来生成所需的答案。该模型经过多个阶段的训练,包括单模态预训练、多模态训练、分辨率增加和任务专业化。Pali3的主要功能包括图像编码、文本编码、文本生成等。该模型适用于图像分类、图像字幕、视觉问答等任务。Pali3的优势在于模型结构简单、训练效果好、速度快。该产品定价为免费开源。
© 2024 AIbase 备案号:闽ICP备08105208号-14