产品库

大型语言和视觉助手，实现多模态聊天和科学问答

LLaVA是一种新型的端到端训练的大型多模态模型，将视觉编码器和Vicuna相结合，实现了令人印象深刻的聊天能力，模仿多模态GPT-4的精神，并在科学问答方面取得了新的最高准确率。LLaVA的使用场景包括日常用户应用的多模态聊天和科学领域的多模态推理。LLaVA的数据、代码和检查点仅限于研究用途，并遵循CLIP、LLaMA、Vicuna和GPT-4的许可协议。

GPT4 Omni是一款更多功能的语音助手。

GPT4 Omni是一款多模态模型，能处理和生成文本、音频和图像。它结合了OpenAI的Whisper和TTS技术，具有更好的推理能力和更低的延迟。GPT4 Omni是OpenAI目前最先进的模型，具有革命性的多模态能力，为用户提供了更多的创造力和灵活性。它的价格更低且更高效，代表了人工智能技术的新一代。

聊天与文件上传助手

ChatGPT Sidebar & GPT-4 Vision Image & Gemini是一个智能AI助手，可帮助您在浏览器的每个标签中使用ChatGPT-3.5和GPT-4，并轻松与PDF或任何其他文件进行聊天。它还具有文件上传功能，方便您分析长文档、提问，以及利用GPT 3.5和4的强大功能。您还可以使用GPT-4 Vision分析图表、图片等。您不再受限于GPT的截止日期，可以使用Web Access功能访问实时数据。

使用WhatsApp轻松创建SEO优化内容

PocketAI是基于WhatsApp平台的GPT-4 AI聊天工具，能够创建博客、广告、邮件和网站的SEO优化内容，包括AI引擎、艺术生成、AI提示库、AI图片、聊天插件等功能，被广泛应用于团队、机构和自由职业者。

GPT-4 Vision AI的无代码聊天机器人构建器

GPT4 Vision Chatbot是一款基于GPT-4 Vision AI的无代码聊天机器人构建器。用户可以通过Google或Github账号登录，快速创建自己的聊天机器人。该产品具有强大的AI能力，能够智能识别视觉内容，并进行自然语言交互。定位于帮助用户快速构建智能聊天机器人，提升用户体验。

自动在ChatGPT中使用GPT-4

这个Chrome插件在ChatGPT的新聊天中自动选择GPT-4模型。通过在网址后添加?model=gpt-4，插件会自动将GPT-4模型设为默认选项，省去了手动切换的麻烦。适用于所有使用ChatGPT的用户。

124B参数的多模态大型语言模型

Pixtral-Large-Instruct-2411是由Mistral AI研发的124B参数的大型多模态模型，基于Mistral Large 2构建，展现出前沿级别的图像理解能力。该模型不仅能够理解文档、图表和自然图像，同时保持了Mistral Large 2在文本理解方面的领先地位。它在MathVista、DocVQA、VQAv2等数据集上达到了最先进的性能，是科研和商业应用的强大工具。

前沿级多模态AI模型，提供图像和文本理解

Pixtral Large是Mistral AI推出的一款前沿级多模态AI模型，基于Mistral Large 2构建，具备领先的图像理解能力，能够理解文档、图表和自然图像，同时保持Mistral Large 2在文本理解方面的领先地位。该模型在多模态基准测试中表现优异，特别是在MathVista、ChartQA和DocVQA等测试中超越了其他模型。Pixtral Large在MM-MT-Bench测试中也展现了竞争力，超越了包括Claude-3.5 Sonnet在内的多个模型。该模型适用于研究和教育用途的Mistral Research License (MRL)，以及适用于商业用途的Mistral Commercial License。

前沿AI技术，您的智能工作助手。

Mistral AI 提供的 le Chat 是一个免费的生成性AI工作助手，旨在通过前沿的AI技术提升人类的工作效率和创造力。le Chat 结合了搜索、视觉、创意、编码等多种功能，为用户提供了一个多功能的智能平台。它不仅能够进行网络搜索并引用来源，还拥有创意画布、文档和图像理解、图像生成等功能，并且支持任务自动化。Mistral AI 的使命是将前沿AI技术交到用户手中，让用户决定如何利用这些高级AI能力。目前，所有这些功能都以免费试用的形式提供，未来将推出更高级的服务保证。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-70b是一个基于预训练的Llama3.1-70B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊伪标记<|audio|>将输入音频转换为嵌入，并与文本提示合并后生成输出文本。Ultravox的开发旨在扩展语音识别和文本生成的应用场景，如语音代理、语音到语音翻译和口语音频分析等。该模型遵循MIT许可，由Fixie.ai开发。

智能交互式图像编辑系统

MagicQuill是一个集成的图像编辑系统，旨在支持用户快速实现创意。该系统以简洁而功能强大的界面为起点，使用户能够通过简单的几笔操作表达他们的想法，如插入元素、擦除对象、改变颜色等。这些交互由多模态大型语言模型（MLLM）实时监控，以预测用户意图，无需输入提示。最后，我们应用强大的扩散先验，通过精心学习的双分支插件模块，精确控制编辑请求。

潮汐 AI 提供即时答案和创意灵感。

潮汐 AI 是一个基于大型语言模型的聊天平台，旨在为用户提供高效的问答服务。它的主要优点包括快速响应、丰富的知识库和用户友好的界面。该产品适合需要快速获取信息和灵感的用户，定位于教育和生产力领域。

现代Python数据框库，专为人工智能设计。

DataChain是一个现代的Python数据框库，专为人工智能设计。它旨在将非结构化数据组织成数据集，并在本地机器上大规模处理数据。DataChain不抽象或隐藏AI模型和API调用，而是帮助将它们集成到后现代数据堆栈中。该产品以其高效性、易用性和强大的数据处理能力为主要优点，支持多种数据存储和处理方式，包括图像、视频、文本等多种数据类型，并且能够与PyTorch和TensorFlow等深度学习框架无缝对接。DataChain是开源的，遵循Apache-2.0许可协议，免费供用户使用。

视觉语言模型，结合图像和文本信息进行智能处理。

Aquila-VL-2B模型是一个基于LLava-one-vision框架训练的视觉语言模型（VLM），选用Qwen2.5-1.5B-instruct模型作为语言模型（LLM），并使用siglip-so400m-patch14-384作为视觉塔。该模型在自建的Infinity-MM数据集上进行训练，包含约4000万图像-文本对。该数据集结合了从互联网收集的开源数据和使用开源VLM模型生成的合成指令数据。Aquila-VL-2B模型的开源，旨在推动多模态性能的发展，特别是在图像和文本的结合处理方面。

基于Llama-3-8B的多模态大型语言模型，专注于UI任务。

Ferret-UI是首个以用户界面为中心的多模态大型语言模型（MLLM），专为指代表达、定位和推理任务设计。它基于Gemma-2B和Llama-3-8B构建，能够执行复杂的用户界面任务。这个版本遵循了Apple的研究论文，是一个强大的工具，可以用于图像文本到文本的任务，并且在对话和文本生成方面具有优势。

桌面端的AI伙伴，快速、专注，为深度工作设计。

Claude是一个桌面端的AI伙伴，旨在为用户提供快速、专注的深度工作体验。它允许用户在桌面上与AI进行交互，进行头脑风暴、获取答案和分析图像。Claude由Anthropic公司开发，该公司专注于人工智能技术的研究与产品开发，致力于通过AI技术提升工作效率和生活质量。产品目前处于Beta测试阶段，提供了macOS和Windows系统的安装包，以及iOS和Android的移动应用，覆盖了用户在不同设备上的需求。

基于文本生成图像的多模态扩散变换器模型

Stable Diffusion 3.5 Medium是一个基于文本到图像的生成模型，由Stability AI开发，具有改进的图像质量、排版、复杂提示理解和资源效率。该模型使用了三个固定的预训练文本编码器，通过QK-规范化提高训练稳定性，并在前12个变换层中引入双注意力块。它在多分辨率图像生成、一致性和各种文本到图像任务的适应性方面表现出色。

与AI伙伴共存，个性化的关怀与乐趣。

GiddyGiddy是一款以人工智能为基础的社交应用，旨在通过超真实的AI伙伴来消除用户的孤独感、焦虑和无聊。这些AI伙伴能够全天候理解和响应用户，提供深度交流和娱乐。产品通过个性化的AI伙伴，打破了传统社交模式，提供了一个充满关怀和吸引力的社交平台。GiddyGiddy的主要优点包括高度个性化的AI伙伴、丰富的互动方式和故事性的内容。产品背景强调了AI伙伴作为日常生活的一部分，提供真正的理解和连接。GiddyGiddy目前提供免费下载，并通过内购提供额外服务。

浏览器插件，一键翻译网页上的图片文字。

Torii Image Translator是一款浏览器插件，能够让用户在浏览网页时，直接翻译网页上的图片中的文字。它通过集成先进的翻译技术，如GPT-4，提供高精度和上下文理解的翻译服务。这款插件支持多种语言，使用户能够无缝地理解和获取全球各种语言的视觉内容。Torii Image Translator的主要优点包括无缝集成、高质量的翻译、用户友好的界面和增强的全球连通性。它适合那些需要跨越语言障碍获取信息的用户，无论是探索外国文化、进行国际研究还是满足好奇心。

多模态AI平台，整合文本、图像和音频交互

GPT-4o是OpenAI推出的先进多模态AI平台，它在GPT-4的基础上进一步扩展，实现了真正的多模态方法，涵盖文本、图像和音频。GPT-4o设计上更快、更低成本、更普及，彻底革新我们与AI互动的方式。它提供了流畅且直观的AI交互体验，无论是参与自然对话、解读复杂文本，还是识别语音中的微妙情感，GPT-4o的适应能力都是无与伦比的。

AI模拟人类使用计算机的能力

Computer use是Anthropic公司推出的AI模型Claude 3.5 Sonnet的一项新功能，它能够模拟人类与计算机的交互方式，执行点击屏幕、输入信息等操作。这项功能的开发代表了AI在模拟人类行为方面取得了重大进展，为AI助理解锁了广泛的应用场景。Computer use功能在安全性、多模态能力和逻辑推理方面都有显著提升，代表了AI技术的新前沿。目前，该功能处于公测阶段，其性能在同类AI模型中处于领先地位。

高效能的文本到图像生成模型

Stable Diffusion 3.5 Large Turbo 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，采用了对抗性扩散蒸馏（ADD）技术，提高了图像质量、排版、复杂提示理解和资源效率，特别注重减少推理步骤。该模型在生成图像方面表现出色，能够理解和生成复杂的文本提示，适用于多种图像生成场景。它在Hugging Face平台上发布，遵循Stability Community License，适合研究、非商业用途以及年收入少于100万美元的组织或个人免费使用。

高性能的文本到图像生成模型

Stable Diffusion 3.5 Large 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，由 Stability AI 开发。该模型在图像质量、排版、复杂提示理解和资源效率方面都有显著提升。它使用三个固定的预训练文本编码器，并通过 QK 归一化技术提高训练稳定性。此外，该模型在训练数据和策略上使用了包括合成数据和过滤后的公开可用数据。Stable Diffusion 3.5 Large 模型在遵守社区许可协议的前提下，可以免费用于研究、非商业用途，以及年收入少于100万美元的组织或个人的商业用途。

与HubSpot数据结合的会话AI，提高效率。

RoloChat是一款浏览器扩展程序，专为Chrome设计，能够与HubSpot数据结合，通过聊天的方式快速获取信息，提高工作效率。它允许用户通过自然语言查询HubSpot中的数据，生成报告或电子邮件，甚至可以基于数据生成邮件草稿。RoloChat的背景信息显示，它是由苏格兰的初创公司TAISK Labs开发的，该公司被描述为苏格兰最有趣的初创公司之一。RoloChat的价格为每月£14.99，提供免费试用，并强调没有隐藏费用。

与任何代码库对话的AI工具

Storia-AI/sage是一个基于人工智能的代码库对话工具，它通过使用大型语言模型（LLM）和检索增强生成（RAG）技术，允许用户通过聊天的方式查询代码库中的信息。该产品的主要优点包括简单的设置过程、文档化的答复、支持本地或云端运行，并且可以轻松替换算法组件以适应不同的需求。Storia-AI/sage的背景是为了让开发者能够更快捷、更直观地理解代码库，提高开发效率。目前，该产品是免费的，并且对开源社区特别有用。

多模态理解和生成的统一模型

Janus是一个创新的自回归框架，它通过分离视觉编码来实现多模态理解和生成的统一。这种解耦不仅缓解了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。Janus超越了以往的统一模型，并与特定任务的模型性能相匹配或超越。Janus的简单性、高灵活性和有效性使其成为下一代统一多模态模型的强有力候选者。

新一代自回归框架，统一多模态理解和生成

Janus是一个创新的自回归框架，通过将视觉编码分离成不同的路径，同时利用单一的、统一的变换器架构进行处理，解决了以往方法的局限性。这种解耦不仅减轻了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。Janus的性能超越了以往的统一模型，并且达到了或超过了特定任务模型的性能。Janus的简单性、高灵活性和有效性使其成为下一代统一多模态模型的强有力候选。

多模态语言模型，融合文本和语音

Spirit LM是一个基础多模态语言模型，能够自由混合文本和语音。该模型基于一个7B预训练的文本语言模型，通过持续在文本和语音单元上训练来扩展到语音模式。语音和文本序列被串联为单个令牌流，并使用一个小的自动策划的语音-文本平行语料库，采用词级交错方法进行训练。Spirit LM有两个版本：基础版使用语音音素单元（HuBERT），而表达版除了音素单元外，还使用音高和风格单元来模拟表达性。对于两个版本，文本都使用子词BPE令牌进行编码。该模型不仅展现了文本模型的语义能力，还展现了语音模型的表达能力。此外，我们展示了Spirit LM能够在少量样本的情况下跨模态学习新任务（例如ASR、TTS、语音分类）。

实时多模态内容审核平台

Seyft AI 是一个实时的多模态内容审核平台，能够过滤文本、图像和视频中的有害和不相关内容，确保合规性，并为不同的语言和文化背景提供个性化解决方案。该平台的主要优点包括实时审核、多语言支持、无需人工干预的图像和视频审核，以及易于集成的API。Seyft AI 的背景信息显示，它旨在帮助企业保持数字空间的清洁和安全，适用于需要内容审核的各种应用场景。

多模态大型语言模型的优化与分析

MM1.5是一系列多模态大型语言模型（MLLMs），旨在增强文本丰富的图像理解、视觉指代表明和接地以及多图像推理的能力。该模型基于MM1架构，采用以数据为中心的模型训练方法，系统地探索了整个模型训练生命周期中不同数据混合的影响。MM1.5模型从1B到30B参数不等，包括密集型和混合专家（MoE）变体，并通过广泛的实证研究和消融研究，提供了详细的训练过程和决策见解，为未来MLLM开发研究提供了宝贵的指导。