产品库

轻量级但功能强大的多模态模型家族。

Bunny 是一系列轻量级但功能强大的多模态模型，提供多种即插即用的视图编码器和语言主干网络。通过从更广泛的数据源进行精选选择，构建更丰富的训练数据，以补偿模型尺寸的减小。Bunny-v1.0-3B 模型在性能上超越了同类大小甚至更大的 MLLMs（7B）模型，并与 13B 模型性能相当。

一个通用的多模态模型,可用于问答、图像描述等任务

HuggingFaceM4/idefics-80b-instruct是一个开源的多模态模型,它可以接受图像和文本的输入,输出相关的文本内容。该模型在视觉问答、图像描述等任务上表现出色,是一个通用的智能助手模型。它由Hugging Face团队开发,基于开放数据集训练,提供免费使用。

多模态AI模型，图像理解与生成兼备

Mini-Gemini是由香港中文大学终身教授贾佳亚团队开发的多模态模型，具备精准的图像理解能力和高质量的训练数据。该模型结合图像推理和生成，提供不同规模的版本，性能与GPT-4和DALLE3相媲美。Mini-Gemini采用Gemini的视觉双分支信息挖掘方法和SDXL技术，通过卷积网络编码图像并利用Attention机制挖掘信息，同时结合LLM生成文本链接两个模型。

连接数字和物理世界的首款多模态模型

Grok-1.5V是X.AI公司推出的第一代多模态模型。除了强大的文本处理能力外,Grok还可以处理各种视觉信息,包括文档、图表、截图和照片等。该模型在多学科推理、文档理解、科学图表理解、图表解读和现实世界理解等方面表现出色,并将于近期向早期测试用户和现有Grok用户推出。

面向长期视频理解的大规模多模态模型

MA-LMM是一种基于大语言模型的大规模多模态模型,主要针对长期视频理解进行设计。它采用在线处理视频的方式,并使用记忆库存储过去的视频信息,从而可以在不超过语言模型上下文长度限制或GPU内存限制的情况下,参考历史视频内容进行长期分析。MA-LMM可以无缝集成到当前的多模态语言模型中,并在长视频理解、视频问答和视频字幕等任务上取得了领先的性能。

AI 绘画与 AI 创作平台

悦灵犀是一款基于 Stable Diffusion 多模态模型的 AI 绘画和创作平台，提供动漫风格，Mindjourney 风格，ControlNet 图片优化设计等，让您轻松创作出独具创意的艺术作品。该平台拥有丰富的功能，包括 AI 绘画、图生图、AI 对话等。无论是艺术爱好者、创作者还是设计师，都可以通过悦灵犀实现灵感的无限创作。

新一代多模态模型

Adept Fuyu-Heavy是一款新型的多模态模型，专为数字代理设计。它在多模态推理方面表现出色，尤其在UI理解方面表现出色，同时在传统的多模态基准测试中也表现良好。此外，它展示了我们可以扩大Fuyu架构并获得所有相关好处的能力，包括处理任意大小/形状的图像和有效地重复使用现有的变压器优化。它还具有匹配或超越相同计算级别模型性能的能力，尽管需要将部分容量用于图像建模。

先进的开源多模态模型

Yi-VL-34B是 Yi Visual Language（Yi-VL）模型的开源版本，是一种多模态模型，能够理解和识别图像，并进行关于图像的多轮对话。Yi-VL 在最新的基准测试中表现出色，在 MMM 和 CMMMU 两个基准测试中均排名第一。

使用模块化构建块构建高性能AI模型的工具。

Zeta是一个开源项目，提供模块化、高性能和可扩展的构建块来快速构建AI模型。它包括多种功能，如Flash Attention、SwiGLU、相对位置偏差、前馈网络、BitLinear变换、PalmE多模态模型、U-Net、视觉嵌入和其他多种高级特性。

大型语言和视觉助手，实现多模态聊天和科学问答

LLaVA是一种新型的端到端训练的大型多模态模型，将视觉编码器和Vicuna相结合，实现了令人印象深刻的聊天能力，模仿多模态GPT-4的精神，并在科学问答方面取得了新的最高准确率。LLaVA的使用场景包括日常用户应用的多模态聊天和科学领域的多模态推理。LLaVA的数据、代码和检查点仅限于研究用途，并遵循CLIP、LLaMA、Vicuna和GPT-4的许可协议。

Aloe是一款专为医疗领域设计的高性能语言模型，提供先进的文本生成和对话能力。

Aloe是由HPAI开发的一款医疗领域的语言模型，基于Meta Llama 3 8B模型进行优化。它通过模型融合和先进的提示策略，达到了与其规模相匹配的最先进水平。Aloe在伦理和事实性指标上得分较高，这得益于红队和对齐工作的结合。该模型提供了医疗特定的风险评估，以促进这些系统的安全使用和部署。

AI驱动的代码生成，快速实现从想法到生产。

Jovu是一个AI驱动的代码生成模型，旨在帮助开发者快速构建新服务或扩展现有应用程序。它通过AI技术生成生产就绪的代码，确保一致性、可预测性，并遵循最高标准。Jovu能够加速开发过程，从概念到部署只需几分钟，提供完全可操作的、健壮的后端服务，准备立即上线。它还通过简化开发工作流程、减少时间、优化资源来提高效率和速度。

通过了解大脑运作制定改变计划的APP

Neurture是一个旨在帮助用户了解大脑如何运作，并通过基于研究的治疗方法来制定有效的改变计划的应用程序。它通过数字化手写日记条目、获取后续期刊提示建议、由人工智能支持的情景冥想和期刊推荐等功能，帮助用户打破习惯或解决成瘾行为，实现重要的其他目标。Neurture强调隐私和信任，不收集用户数据，不投放广告，不训练模型，旨在为用户提供一个安全、无负担的自我提升环境。

使用的 Sora 同架构视频生成模型

Viva 是一个免费的 AI 生成工具和社区，提供 Text-to-Image、Image-to-Image、Text-to-Video、Image-to-Video 等功能，以及强大的 AI 编辑工具。用户可以扩展图像、重新绘制任何内容，使图像和视频更加高质量和 4K。Viva 使 AI 创作更简单、高效。海外产品 viva 发布了首个开放给全部用户使用的 Sora 同架构视频生成模型，而且现阶段免费。 文生视频单次可以生成一条 5 秒的视频，图生视频是 4 秒视频 目前运动幅度最大的视频生成模型，同时图像分辨率也是现在可以用的视频生成产品中最大的。文生视频的效果比图生视频要更好，同时如果要是用的话建议把运动幅度调到 20 左右比较合适。 viva 优势领域就是可以生成比较好的竖屏视频，目前很多视频模型的演示都是横屏视频，竖屏的表现并不好，但是短视频又是视频内容的大头，所以竖屏视频的生成质量是个很重要的指标。 但是一致性有一部分测试中保持的不是很好，同时没有表现出 Sora 那样强大的物理特性模拟以及 3D 一致性。

提供全面的人工智能大模型产业信息和创新价值研究。

大模型之家是一个专注于人工智能大模型产业的平台，提供行业报告、技术创新动态、专家评测和奖项荣誉等信息。它通过整合行业资源，推动人工智能技术的创新和应用，帮助企业和个人更好地理解和利用大模型技术。

现代AI自动化全球会计解决方案，专为小型企业设计。

Fiskl是一个多货币的全球会计平台，为小型企业、创业者、开发者和自由职业者提供全面的财务管理工具。它支持170多种货币和21,000多家银行，利用人工智能技术简化银行对账流程，实现零接触Stripe支付和银行对账。Fiskl的主要优点包括实时现金流和财务概览、自动化银行同步、全球支付能力、AI驱动的对账节省高达80%的对账工作量。Fiskl的定价策略包括特别优惠，例如年度订阅可享受50%的循环折扣，并提供30天免费试用期。

一站式AI资讯平台，连接开发者与AI技术的最新动态。

掘金大模型子站是一个专注于AI领域的技术社区平台，提供从基础设施到最终应用的全景图，旨在帮助个人开发者和企业更好地理解和应用大语言模型技术。该平台通过提供资讯、工具和资源，促进AI技术的创新和应用，推动整个AI生态的发展。

由哔哩哔哩用户评论微调训练而成的本地聊天机器人

bilibot是一个基于哔哩哔哩用户评论训练的本地聊天机器人，支持文字聊天和语音对话。它使用Qwen1.5-32B-Chat作为基础模型，并结合苹果的mlx-lm LORA项目进行微调。语音生成部分基于GPT-SoVITS项目，使用派蒙语音模型。该机器人可以快速生成对话内容，适用于需要智能对话系统的场合。

独立分析AI语言模型和API提供商，帮助选择适合的模型和API。

Artificial Analysis是一个专注于AI语言模型和API提供商的独立分析平台。它提供详细的性能评估，帮助用户理解AI领域的格局，并为他们的具体用例选择最佳的模型和API提供商。该平台通过质量指数、吞吐量和价格等多个维度对不同的AI模型进行比较，使用户能够做出更明智的选择。

MuLan：为110多种语言适配多语言扩散模型

MuLan是一个开源的多语言扩散模型，旨在为超过110种语言提供无需额外训练即可使用的扩散模型支持。该模型通过适配技术，使得原本需要大量训练数据和计算资源的扩散模型能够快速适应新的语言环境，极大地扩展了扩散模型的应用范围和语言多样性。MuLan的主要优点包括对多种语言的支持、优化的内存使用、以及通过技术报告和代码模型的发布，为研究人员和开发者提供了丰富的资源。

小米开发的大规模预训练语言模型，参数规模64亿。

MiLM-6B是由小米公司开发的大规模预训练语言模型，参数规模达到64亿，它在中文基础模型评测数据集C-Eval和CMMLU上均取得同尺寸最好的效果。该模型代表了自然语言处理领域的最新进展，具有强大的语言理解和生成能力，可以广泛应用于文本生成、机器翻译、问答系统等多种场景。

开源框架，用于构建语音和多模态对话AI。

Pipecat是一个开源框架，用于构建语音和多模态对话代理，如个人教练、会议助手、儿童故事玩具、客户支持机器人、接待流程和机智的社交伴侣。它支持本地运行，并可迁移到云端，集成了多种AI服务和传输方式，具有高度的可定制性和扩展性。

Google 一款轻量级、高效能的AI模型，专为大规模高频任务设计。

Gemini 1.5 Flash是Google DeepMind团队推出的最新AI模型，它通过'蒸馏'过程从更大的1.5 Pro模型中提炼出核心知识和技能，以更小、更高效的模型形式提供服务。该模型在多模态推理、长文本处理、聊天应用、图像和视频字幕生成、长文档和表格数据提取等方面表现出色。它的重要性在于为需要低延迟和低成本服务的应用提供了解决方案，同时保持了高质量的输出。

谷歌高质量文本到图像模型，生成逼真、生活化图像。

Imagen 3 是谷歌一个先进的文本到图像的生成模型，它能够生成具有极高细节水平和逼真效果的图像，并且相较于之前的模型，其视觉干扰元素显著减少。该模型对自然语言的理解更为深入，能够更好地把握提示背后的意图，并从更长的提示中提取细节。此外，Imagen 3 在渲染文本方面表现出色，为个性化生日信息、演示文稿标题幻灯片等提供了新的可能性。

Google最先进的视频生成模型，提供高质量1080p视频生成。

Veo是Google最新推出的视频生成模型，能够生成高质量的1080p分辨率视频，支持多种电影和视觉风格。它通过先进的自然语言和视觉语义理解，能够精确捕捉用户创意愿景，生成与提示语调一致且细节丰富的视频内容。Veo模型提供前所未有的创意控制水平，理解电影术语如“延时摄影”或“航拍景观”，创造出连贯一致的画面，使人物、动物和物体在镜头中逼真地移动。

Google的尖端开放视觉语言模型

PaliGemma是Google发布的一款先进的视觉语言模型，它结合了图像编码器SigLIP和文本解码器Gemma-2B，能够理解图像和文本，并通过联合训练实现图像和文本的交互理解。该模型专为特定的下游任务设计，如图像描述、视觉问答、分割等，是研究和开发领域的重要工具。

一个快速、轻量级的开源聊天界面。

lluminous是一个快速、轻量级的开源聊天界面，支持多供应商API密钥，提供完整的隐私保护，所有对话历史和密钥都存储在本地。它支持多模态输入、多轮对话提示、预填充响应、模型切换以及对话分享等功能。

高性能细粒度中文理解模型，提供双语生成能力，专注于中国元素理解。

混元-DiT是腾讯推出的首个中英双语DiT架构的人工智能模型，专注于中文元素理解，具备长文本理解能力和细粒度语义理解。该模型能够分析和理解长篇文本中的信息，并生成相应的艺术作品，包括但不限于人物写真、创意创作等。混元-DiT的推出，对于提升中文文本理解的深度和广度，以及促进中英双语交流具有重要意义。

GPT-4o，一款能够实时处理音频、视觉和文本的旗舰模型。

GPT-4o（'o'代表'omni'）是自然人机交互的重要一步，它可以接受任意组合的文本、音频、图像和视频输入，并生成任意组合的文本、音频和图像输出。它在音频输入响应上的速度极快，平均响应时间仅为320毫秒，与人类对话的响应时间相近。在非英语文本处理上取得了显著进步，同时在API上速度更快且成本降低了50%。GPT-4o在视觉和音频理解方面也比现有模型更出色。

专为数据标注、清洗和丰富设计的先进语言模型

Refuel LLM-2 是一款为数据标注、清洗和丰富而设计的先进语言模型。它在约30种数据标注任务的基准测试中超越了所有现有的最先进语言模型，包括GPT-4-Turbo、Claude-3-Opus和Gemini-1.5-Pro。Refuel LLM-2 旨在提高数据团队的工作效率，减少在数据清洗、规范化、标注等前期工作上的手动劳动，从而更快地实现数据的商业价值。