多模态语音大型语言模型
ultravox-v0_4_1-mistral-nemo是一个基于预训练的Mistral-Nemo-Instruct-2407和whisper-large-v3-turbo的多模态语音大型语言模型(LLM)。该模型能够同时处理语音和文本输入,例如,一个文本系统提示和一个语音用户消息。Ultravox通过特殊的<|audio|>伪标记将输入音频转换为嵌入,并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记,进而可以输入到声码器中产生语音输出。该模型由Fixie.ai开发,采用MIT许可。
多模态语音大型语言模型
fixie-ai/ultravox-v0_4_1-llama-3_1-8b是一个基于预训练的Llama3.1-8B-Instruct和whisper-large-v3-turbo的大型语言模型,能够处理语音和文本输入,生成文本输出。该模型通过特殊的<|audio|>伪标记将输入音频转换为嵌入,并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记,进而可以用于声码器产生语音输出。该模型在翻译评估中表现出色,且没有偏好调整,适用于语音代理、语音到语音翻译、语音分析等场景。
大型多模态模型,集成表格数据
TableGPT2是一个大型多模态模型,专门针对表格数据进行预训练和微调,以解决实际应用中表格数据整合不足的问题。该模型在超过593.8K的表格和2.36M的高质量查询-表格-输出元组上进行了预训练和微调,规模前所未有。TableGPT2的关键创新之一是其新颖的表格编码器,专门设计用于捕获模式级别和单元格级别的信息,增强了模型处理模糊查询、缺失列名和不规则表格的能力。在23个基准测试指标上,TableGPT2在7B模型上平均性能提升了35.20%,在72B模型上提升了49.32%,同时保持了强大的通用语言和编码能力。
长视频理解基准测试
LVBench是一个专门设计用于长视频理解的基准测试,旨在推动多模态大型语言模型在理解数小时长视频方面的能力,这对于长期决策制定、深入电影评论和讨论、现场体育解说等实际应用至关重要。
理解复杂视频,作诗配文的AI视频模型
MiniGPT4-Video是为视频理解设计的多模态大模型,能处理时态视觉数据和文本数据,配标题、宣传语,适用于视频问答。基于MiniGPT-v2,结合视觉主干EVA-CLIP,训练多阶段阶段,包括大规模视频-文本预训练和视频问题解答微调。在MSVD、MSRVTT、TGIF和TVQA基准上取得显著提升。定价未知。
冒泡鸭AI是由阶跃星辰开发的面向个人用户的AI互动平台
冒泡鸭AI是基于自研多模态大模型开发的AI互动平台,提供拟人、工具、内容、游戏、娱乐等多个领域的海量智能体。平台具有超长的上下文记忆能力和实时联网搜索能力,能够深度理解用户意图,并提供即时、准确、个性化的回复和选择。用户还可以定制个性化的AI智能体,以满足个性化的需求和偏好。
基于大型多模态模型构建端到端网络代理
WebVoyager是一款创新的大型多模态模型(LMM)驱动的网络代理,能够通过与现实世界的网站交互,端到端完成用户指令。我们提出了一种新的网络代理评估协议,以解决开放式网络代理任务的自动评估挑战,利用GPT-4V的强大多模态理解能力。我们从15个广泛使用的网站收集了真实世界任务,用于评估我们的代理。我们展示了WebVoyager实现了55.7%的任务成功率,明显超过了GPT-4(所有工具)和WebVoyager(仅文本)设置的性能,突显了WebVoyager在实际应用中的卓越能力。我们发现我们提出的自动评估与人类判断达成了85.3%的一致性,为在真实世界环境中进一步发展网络代理铺平了道路。
© 2024 AIbase 备案号:闽ICP备08105208号-14