产品库

轻量级但功能强大的多模态模型家族。

Bunny 是一系列轻量级但功能强大的多模态模型，提供多种即插即用的视图编码器和语言主干网络。通过从更广泛的数据源进行精选选择，构建更丰富的训练数据，以补偿模型尺寸的减小。Bunny-v1.0-3B 模型在性能上超越了同类大小甚至更大的 MLLMs（7B）模型，并与 13B 模型性能相当。

一个通用的多模态模型,可用于问答、图像描述等任务

HuggingFaceM4/idefics-80b-instruct是一个开源的多模态模型,它可以接受图像和文本的输入,输出相关的文本内容。该模型在视觉问答、图像描述等任务上表现出色,是一个通用的智能助手模型。它由Hugging Face团队开发,基于开放数据集训练,提供免费使用。

多模态AI模型，图像理解与生成兼备

Mini-Gemini是由香港中文大学终身教授贾佳亚团队开发的多模态模型，具备精准的图像理解能力和高质量的训练数据。该模型结合图像推理和生成，提供不同规模的版本，性能与GPT-4和DALLE3相媲美。Mini-Gemini采用Gemini的视觉双分支信息挖掘方法和SDXL技术，通过卷积网络编码图像并利用Attention机制挖掘信息，同时结合LLM生成文本链接两个模型。

连接数字和物理世界的首款多模态模型

Grok-1.5V是X.AI公司推出的第一代多模态模型。除了强大的文本处理能力外,Grok还可以处理各种视觉信息,包括文档、图表、截图和照片等。该模型在多学科推理、文档理解、科学图表理解、图表解读和现实世界理解等方面表现出色,并将于近期向早期测试用户和现有Grok用户推出。

面向长期视频理解的大规模多模态模型

MA-LMM是一种基于大语言模型的大规模多模态模型,主要针对长期视频理解进行设计。它采用在线处理视频的方式,并使用记忆库存储过去的视频信息,从而可以在不超过语言模型上下文长度限制或GPU内存限制的情况下,参考历史视频内容进行长期分析。MA-LMM可以无缝集成到当前的多模态语言模型中,并在长视频理解、视频问答和视频字幕等任务上取得了领先的性能。

AI 绘画与 AI 创作平台

悦灵犀是一款基于 Stable Diffusion 多模态模型的 AI 绘画和创作平台，提供动漫风格，Mindjourney 风格，ControlNet 图片优化设计等，让您轻松创作出独具创意的艺术作品。该平台拥有丰富的功能，包括 AI 绘画、图生图、AI 对话等。无论是艺术爱好者、创作者还是设计师，都可以通过悦灵犀实现灵感的无限创作。

先进的开源多模态模型

Yi-VL-34B是 Yi Visual Language（Yi-VL）模型的开源版本，是一种多模态模型，能够理解和识别图像，并进行关于图像的多轮对话。Yi-VL 在最新的基准测试中表现出色，在 MMM 和 CMMMU 两个基准测试中均排名第一。

使用模块化构建块构建高性能AI模型的工具。

Zeta是一个开源项目，提供模块化、高性能和可扩展的构建块来快速构建AI模型。它包括多种功能，如Flash Attention、SwiGLU、相对位置偏差、前馈网络、BitLinear变换、PalmE多模态模型、U-Net、视觉嵌入和其他多种高级特性。

更有效的提示大型多模态模型，释放潜能

Multimodal-Maestro为您提供更多对大型多模态模型的控制，以获得您想要的输出。通过更有效的提示策略，您可以让多模态模型执行您以前不知道（或认为不可能）的任务。想知道它是如何工作的吗？试试我们的HF空间！ 该项目仍在建设中，API可能会发生变化。

大型语言和视觉助手，实现多模态聊天和科学问答

LLaVA是一种新型的端到端训练的大型多模态模型，将视觉编码器和Vicuna相结合，实现了令人印象深刻的聊天能力，模仿多模态GPT-4的精神，并在科学问答方面取得了新的最高准确率。LLaVA的使用场景包括日常用户应用的多模态聊天和科学领域的多模态推理。LLaVA的数据、代码和检查点仅限于研究用途，并遵循CLIP、LLaMA、Vicuna和GPT-4的许可协议。

你的可无限配置的爬虫伴侣

Horseman是你可无限配置的爬虫伴侣。它是一个功能强大的工具，让前端开发人员、性能分析师、数字代理机构、可访问性专家、SEO专家和JavaScript工程师可以使用自定义的代码片段在整个网站上获取专业见解。Horseman v0.3现已推出，具有GPT集成和更多功能。

AI驱动的代码生成，快速实现从想法到生产。

Jovu是一个AI驱动的代码生成模型，旨在帮助开发者快速构建新服务或扩展现有应用程序。它通过AI技术生成生产就绪的代码，确保一致性、可预测性，并遵循最高标准。Jovu能够加速开发过程，从概念到部署只需几分钟，提供完全可操作的、健壮的后端服务，准备立即上线。它还通过简化开发工作流程、减少时间、优化资源来提高效率和速度。

通过了解大脑运作制定改变计划的APP

Neurture是一个旨在帮助用户了解大脑如何运作，并通过基于研究的治疗方法来制定有效的改变计划的应用程序。它通过数字化手写日记条目、获取后续期刊提示建议、由人工智能支持的情景冥想和期刊推荐等功能，帮助用户打破习惯或解决成瘾行为，实现重要的其他目标。Neurture强调隐私和信任，不收集用户数据，不投放广告，不训练模型，旨在为用户提供一个安全、无负担的自我提升环境。

使用的 Sora 同架构视频生成模型

Viva 是一个免费的 AI 生成工具和社区，提供 Text-to-Image、Image-to-Image、Text-to-Video、Image-to-Video 等功能，以及强大的 AI 编辑工具。用户可以扩展图像、重新绘制任何内容，使图像和视频更加高质量和 4K。Viva 使 AI 创作更简单、高效。海外产品 viva 发布了首个开放给全部用户使用的 Sora 同架构视频生成模型，而且现阶段免费。 文生视频单次可以生成一条 5 秒的视频，图生视频是 4 秒视频 目前运动幅度最大的视频生成模型，同时图像分辨率也是现在可以用的视频生成产品中最大的。文生视频的效果比图生视频要更好，同时如果要是用的话建议把运动幅度调到 20 左右比较合适。 viva 优势领域就是可以生成比较好的竖屏视频，目前很多视频模型的演示都是横屏视频，竖屏的表现并不好，但是短视频又是视频内容的大头，所以竖屏视频的生成质量是个很重要的指标。 但是一致性有一部分测试中保持的不是很好，同时没有表现出 Sora 那样强大的物理特性模拟以及 3D 一致性。

提供全面的人工智能大模型产业信息和创新价值研究。

大模型之家是一个专注于人工智能大模型产业的平台，提供行业报告、技术创新动态、专家评测和奖项荣誉等信息。它通过整合行业资源，推动人工智能技术的创新和应用，帮助企业和个人更好地理解和利用大模型技术。

利用人工智能增强产品团队的决策力和效率

Productboard AI 是一款集成到产品管理平台中的人工智能工具，它通过分析和理解大量的用户反馈和数据点，帮助产品团队做出更明智的决策，提高工作效率，并加速产品从概念到市场的整个生命周期。它由 OpenAI 提供支持，确保数据安全和隐私保护，同时提供无与伦比的数据组合和针对产品管理工作的微调优化。

人工智能语音用户访谈代理，深入洞察客户需求。

UserCall是一款利用人工智能技术进行用户访谈的网站，它通过AI采访员与用户进行一对一的语音通话，从而收集高质量的用户反馈和洞察。这种技术可以大规模地进行用户访谈，提供比传统调查更深入的定性见解，同时节省时间和资源。UserCall的优势在于无需专业用户研究技能，能够自动进行智能跟进提问，帮助企业更好地理解客户需求，改进产品和业务。

将视频或音频内容快速转换成结构化网页摘要的多功能工具。

VideoToPage是一个高效的在线工具，它能够将视频或音频内容转换成结构化的网页摘要，支持多达96种语言，并具有98.5%的高准确率。用户无需订阅即可使用，特别适合需要将视频内容转换成文字资料、教程、博客文章、标准操作程序(SOP)等多种形式的个人和企业。产品提供快速的转录服务，支持长达5小时的视频，且5分钟以内的文件完全免费。此外，还提供内容的语义层次构建、内容类型定义、语义互连、富文本编辑、多语言理解等功能，使得内容的创建、编辑和发布变得简单快捷。

一站式AI资讯平台，连接开发者与AI技术的最新动态。

掘金大模型子站是一个专注于AI领域的技术社区平台，提供从基础设施到最终应用的全景图，旨在帮助个人开发者和企业更好地理解和应用大语言模型技术。该平台通过提供资讯、工具和资源，促进AI技术的创新和应用，推动整个AI生态的发展。

由哔哩哔哩用户评论微调训练而成的本地聊天机器人

bilibot是一个基于哔哩哔哩用户评论训练的本地聊天机器人，支持文字聊天和语音对话。它使用Qwen1.5-32B-Chat作为基础模型，并结合苹果的mlx-lm LORA项目进行微调。语音生成部分基于GPT-SoVITS项目，使用派蒙语音模型。该机器人可以快速生成对话内容，适用于需要智能对话系统的场合。

独立分析AI语言模型和API提供商，帮助选择适合的模型和API。

Artificial Analysis是一个专注于AI语言模型和API提供商的独立分析平台。它提供详细的性能评估，帮助用户理解AI领域的格局，并为他们的具体用例选择最佳的模型和API提供商。该平台通过质量指数、吞吐量和价格等多个维度对不同的AI模型进行比较，使用户能够做出更明智的选择。

MuLan：为110多种语言适配多语言扩散模型

MuLan是一个开源的多语言扩散模型，旨在为超过110种语言提供无需额外训练即可使用的扩散模型支持。该模型通过适配技术，使得原本需要大量训练数据和计算资源的扩散模型能够快速适应新的语言环境，极大地扩展了扩散模型的应用范围和语言多样性。MuLan的主要优点包括对多种语言的支持、优化的内存使用、以及通过技术报告和代码模型的发布，为研究人员和开发者提供了丰富的资源。

小米开发的大规模预训练语言模型，参数规模64亿。

MiLM-6B是由小米公司开发的大规模预训练语言模型，参数规模达到64亿，它在中文基础模型评测数据集C-Eval和CMMLU上均取得同尺寸最好的效果。该模型代表了自然语言处理领域的最新进展，具有强大的语言理解和生成能力，可以广泛应用于文本生成、机器翻译、问答系统等多种场景。

开源框架，用于构建语音和多模态对话AI。

Pipecat是一个开源框架，用于构建语音和多模态对话代理，如个人教练、会议助手、儿童故事玩具、客户支持机器人、接待流程和机智的社交伴侣。它支持本地运行，并可迁移到云端，集成了多种AI服务和传输方式，具有高度的可定制性和扩展性。

Google 一款轻量级、高效能的AI模型，专为大规模高频任务设计。

Gemini 1.5 Flash是Google DeepMind团队推出的最新AI模型，它通过'蒸馏'过程从更大的1.5 Pro模型中提炼出核心知识和技能，以更小、更高效的模型形式提供服务。该模型在多模态推理、长文本处理、聊天应用、图像和视频字幕生成、长文档和表格数据提取等方面表现出色。它的重要性在于为需要低延迟和低成本服务的应用提供了解决方案，同时保持了高质量的输出。

谷歌高质量文本到图像模型，生成逼真、生活化图像。

Imagen 3 是谷歌一个先进的文本到图像的生成模型，它能够生成具有极高细节水平和逼真效果的图像，并且相较于之前的模型，其视觉干扰元素显著减少。该模型对自然语言的理解更为深入，能够更好地把握提示背后的意图，并从更长的提示中提取细节。此外，Imagen 3 在渲染文本方面表现出色，为个性化生日信息、演示文稿标题幻灯片等提供了新的可能性。

Google最先进的视频生成模型，提供高质量1080p视频生成。

Veo是Google最新推出的视频生成模型，能够生成高质量的1080p分辨率视频，支持多种电影和视觉风格。它通过先进的自然语言和视觉语义理解，能够精确捕捉用户创意愿景，生成与提示语调一致且细节丰富的视频内容。Veo模型提供前所未有的创意控制水平，理解电影术语如“延时摄影”或“航拍景观”，创造出连贯一致的画面，使人物、动物和物体在镜头中逼真地移动。

Google的尖端开放视觉语言模型

PaliGemma是Google发布的一款先进的视觉语言模型，它结合了图像编码器SigLIP和文本解码器Gemma-2B，能够理解图像和文本，并通过联合训练实现图像和文本的交互理解。该模型专为特定的下游任务设计，如图像描述、视觉问答、分割等，是研究和开发领域的重要工具。

一个快速、轻量级的开源聊天界面。

lluminous是一个快速、轻量级的开源聊天界面，支持多供应商API密钥，提供完整的隐私保护，所有对话历史和密钥都存储在本地。它支持多模态输入、多轮对话提示、预填充响应、模型切换以及对话分享等功能。

高性能细粒度中文理解模型，提供双语生成能力，专注于中国元素理解。

混元-DiT是腾讯推出的首个中英双语DiT架构的人工智能模型，专注于中文元素理解，具备长文本理解能力和细粒度语义理解。该模型能够分析和理解长篇文本中的信息，并生成相应的艺术作品，包括但不限于人物写真、创意创作等。混元-DiT的推出，对于提升中文文本理解的深度和广度，以及促进中英双语交流具有重要意义。