产品库

与私有自托管语言模型对话的iOS/macOS应用

Enchanted是一个开源的、兼容Ollama的macOS/iOS/visionOS应用，它允许用户与私有自托管的语言模型如Llama 2、Mistral、Vicuna等进行对话。它基本上是一个连接到私有模型的ChatGPT应用界面。Enchanted的目标是提供一个产品，允许在iOS生态系统（macOS、iOS、Watch、Vision Pro）的所有设备上提供无过滤、安全、私密和多模态的体验。

多模态语言模型，融合文本和语音

Spirit LM是一个基础多模态语言模型，能够自由混合文本和语音。该模型基于一个7B预训练的文本语言模型，通过持续在文本和语音单元上训练来扩展到语音模式。语音和文本序列被串联为单个令牌流，并使用一个小的自动策划的语音-文本平行语料库，采用词级交错方法进行训练。Spirit LM有两个版本：基础版使用语音音素单元（HuBERT），而表达版除了音素单元外，还使用音高和风格单元来模拟表达性。对于两个版本，文本都使用子词BPE令牌进行编码。该模型不仅展现了文本模型的语义能力，还展现了语音模型的表达能力。此外，我们展示了Spirit LM能够在少量样本的情况下跨模态学习新任务（例如ASR、TTS、语音分类）。

macOS平台的Ollama模型聊天应用

Chital是一个为macOS平台设计的应用程序，它允许用户与Ollama模型进行聊天。这个应用具有低内存占用和快速启动的特点，支持多聊天线程，能够在不同的模型间切换，并支持Markdown格式。此外，它还能自动为聊天线程生成标题摘要。Chital的开发主要是为了满足开发者个人的使用需求，但也鼓励社区成员通过fork代码库来添加新功能。

轻量级语言模型编程库，将提示视为函数。

ell是一个轻量级的语言模型编程库，它将提示视为函数，而不是简单的字符串。ell的设计基于在OpenAI和创业生态系统中多年构建和使用语言模型的经验。它提供了一种全新的编程方式，允许开发者通过定义函数来生成发送给语言模型的字符串提示或消息列表。这种封装方式为用户创建了一个清晰的接口，用户只需关注LMP所需的数据。ell还提供了丰富的工具，支持监控、版本控制和可视化，使得提示工程从一门黑艺术转变为一门科学。

大型视频-语言模型，提供视觉问答和视频字幕生成。

VideoLLaMA2-7B是由DAMO-NLP-SG团队开发的多模态大型语言模型，专注于视频内容的理解和生成。该模型在视觉问答和视频字幕生成方面具有显著的性能，能够处理复杂的视频内容，并生成准确、自然的语言描述。它在空间-时间建模和音频理解方面进行了优化，为视频内容的智能分析和处理提供了强大的支持。

Safari历史和书签管理器

Surfed是一款强大的Safari浏览历史和书签管理器，帮助用户轻松搜索和组织浏览过的网页。它具有浏览历史记录、书签管理、标签、统计、Web自动化、待读/听、分组等功能。Surfed支持多平台使用，并通过iCloud同步数据。可用于iOS、iPhone、macOS和Mac设备。

通用型视觉语言模型

Qwen-VL 是阿里云推出的通用型视觉语言模型,具有强大的视觉理解和多模态推理能力。它支持零样本图像描述、视觉问答、文本理解、图像地标定位等任务,在多个视觉基准测试中达到或超过当前最优水平。该模型采用 Transformer 结构,以 7B 参数规模进行预训练,支持 448x448 分辨率,可以端到端处理图像与文本的多模态输入与输出。Qwen-VL 的优势包括通用性强、支持多语种、细粒度理解等。它可以广泛应用于图像理解、视觉问答、图像标注、图文生成等任务。

一款强大的多模态小语言模型

Imp项目旨在提供一系列强大的多模态小语言模型（MSLMs）。我们的imp-v1-3b是一个拥有30亿参数的强大MSLM，它建立在一个小而强大的SLM Phi-2（27亿）和一个强大的视觉编码器SigLIP（4亿）之上，并在LLaVA-v1.5训练集上进行了训练。Imp-v1-3b在各种多模态基准测试中明显优于类似模型规模的对手，甚至在各种多模态基准测试中表现略优于强大的LLaVA-7B模型。

多模态语言模型

SpeechGPT是一种多模态语言模型，具有内在的跨模态对话能力。它能够感知并生成多模态内容，遵循多模态人类指令。SpeechGPT-Gen是一种扩展了信息链的语音生成模型。SpeechAgents是一种具有多模态多代理系统的人类沟通模拟。SpeechTokenizer是一种统一的语音标记器，适用于语音语言模型。这些模型和数据集的发布日期和相关信息均可在官方网站上找到。

多模态语言模型预测网络

Honeybee是一个适用于多模态语言模型的局部性增强预测器。它能够提高多模态语言模型在不同下游任务上的性能,如自然语言推理、视觉问答等。Honeybee的优势在于引入了局部性感知机制,可以更好地建模输入样本之间的依赖关系,从而增强多模态语言模型的推理和问答能力。

高效多模态大型语言模型

TinyGPT-V 是一种高效的多模态大型语言模型，通过使用小型骨干网络来实现。它具有强大的语言理解和生成能力，适用于各种自然语言处理任务。TinyGPT-V 采用 Phi-2 作为预训练模型，具备出色的性能和效率。

端到端MLLM，实现精准引用和定位

ml-ferret是一个端到端的机器学习语言模型（MLLM），能够接受各种形式的引用并响应性地在多模态环境中进行精准定位。它结合了混合区域表示和空间感知的视觉采样器，支持细粒度和开放词汇的引用和定位。此外，ml-ferret还包括GRIT数据集（约110万个样本）和Ferret-Bench评估基准。

发现 LLM 的创意与幽默潜力

CLoT 是一个用于探索大型语言模型创意能力的创新工具。它通过生成幽默的回应来挑战用户的思维，帮助用户发现语言模型的潜力。CLoT 不仅限于幽默生成，还可以用于其他创意任务。请访问我们的官方网站了解更多信息。

多模态综合理解与创作

DreamLLM是一个学习框架，首次实现了多模态大型语言模型（LLM）在多模态理解和创作之间的协同效应。它通过直接在原始多模态空间中进行采样，生成语言和图像的后验模型。这种方法避免了像CLIP这样的外部特征提取器所固有的限制和信息损失，从而获得了更全面的多模态理解。DreamLLM还通过建模文本和图像内容以及无结构布局的原始交叉文档，有效地学习了所有条件、边缘和联合多模态分布。因此，DreamLLM是第一个能够生成自由形式交叉内容的MLLM。全面的实验证明了DreamLLM作为零样本多模态通才的卓越性能，充分利用了增强的学习协同效应。

macOS/iOS上集成AI的唯一应用

WriteMage是一款集成AI的应用，可在macOS和iOS上使用。它使用ChatGPT技术，可以在任何应用中进行聊天和写作。它可以在应用中悬浮显示，像苹果的Spotlight一样。WriteMage具有记忆功能，可以根据上下文进行回答，并保存所有的聊天记录。用户可以自定义和编辑提示内容。在beta版本期间，使用我们的应用是免费的，但是在正式版本发布后，需要使用自己的OpenAI API密钥。我们还提供iOS版本，可以在所有的iOS应用中使用。

集成AI到你的macOS/iOS设备

WriteMage是一款集成了AI的应用程序，可以在macOS和iOS设备上原生使用。它使用ChatGPT技术，可以在任何应用程序中帮助提高你的生产力。WriteMage可以记住会话中的内容，并根据上下文进行回答。所有的聊天历史都会被保存在本地，并且可以自定义应用程序的提示内容。现在是免费使用测试版，正式版发布之前可享受25%的折扣。

124B参数的多模态大型语言模型

Pixtral-Large-Instruct-2411是由Mistral AI研发的124B参数的大型多模态模型，基于Mistral Large 2构建，展现出前沿级别的图像理解能力。该模型不仅能够理解文档、图表和自然图像，同时保持了Mistral Large 2在文本理解方面的领先地位。它在MathVista、DocVQA、VQAv2等数据集上达到了最先进的性能，是科研和商业应用的强大工具。

前沿级多模态AI模型，提供图像和文本理解

Pixtral Large是Mistral AI推出的一款前沿级多模态AI模型，基于Mistral Large 2构建，具备领先的图像理解能力，能够理解文档、图表和自然图像，同时保持Mistral Large 2在文本理解方面的领先地位。该模型在多模态基准测试中表现优异，特别是在MathVista、ChartQA和DocVQA等测试中超越了其他模型。Pixtral Large在MM-MT-Bench测试中也展现了竞争力，超越了包括Claude-3.5 Sonnet在内的多个模型。该模型适用于研究和教育用途的Mistral Research License (MRL)，以及适用于商业用途的Mistral Commercial License。

前沿AI技术，您的智能工作助手。

Mistral AI 提供的 le Chat 是一个免费的生成性AI工作助手，旨在通过前沿的AI技术提升人类的工作效率和创造力。le Chat 结合了搜索、视觉、创意、编码等多种功能，为用户提供了一个多功能的智能平台。它不仅能够进行网络搜索并引用来源，还拥有创意画布、文档和图像理解、图像生成等功能，并且支持任务自动化。Mistral AI 的使命是将前沿AI技术交到用户手中，让用户决定如何利用这些高级AI能力。目前，所有这些功能都以免费试用的形式提供，未来将推出更高级的服务保证。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-70b是一个基于预训练的Llama3.1-70B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊伪标记<|audio|>将输入音频转换为嵌入，并与文本提示合并后生成输出文本。Ultravox的开发旨在扩展语音识别和文本生成的应用场景，如语音代理、语音到语音翻译和口语音频分析等。该模型遵循MIT许可，由Fixie.ai开发。

智能交互式图像编辑系统

MagicQuill是一个集成的图像编辑系统，旨在支持用户快速实现创意。该系统以简洁而功能强大的界面为起点，使用户能够通过简单的几笔操作表达他们的想法，如插入元素、擦除对象、改变颜色等。这些交互由多模态大型语言模型（MLLM）实时监控，以预测用户意图，无需输入提示。最后，我们应用强大的扩散先验，通过精心学习的双分支插件模块，精确控制编辑请求。

专为软件改进设计的开源大型语言模型。

Lingma SWE-GPT是一个开源的大型语言模型，专注于软件工程领域的任务，旨在提供智能化的开发支持。该模型基于Qwen系列基础模型，经过额外训练以增强其在复杂软件工程任务中的能力。它在软件工程智能代理的权威排行榜上表现出色，适合需要自动化软件改进的开发团队和研究人员。

人类中心语言模型和模拟器的领导者

Nous Research专注于开发以人为中心的语言模型和模拟器，致力于将AI系统与现实世界用户体验对齐。我们的主要研究领域包括模型架构、数据合成、微调和推理。我们优先开发开源、人类兼容的模型，挑战传统的封闭模型方法。

监控和管理您的Cursor编辑器使用情况

Editor Usage 是一款为macOS设计的菜单栏应用程序，旨在帮助用户监控和管理他们的Cursor编辑器使用情况。该应用程序能够追踪高级、普通和特殊请求的使用情况，并在接近使用限制时提供警告。它允许用户从菜单栏快速查看剩余的请求次数，从而确保用户始终了解他们的使用情况，并避免因超出限制而受到影响。这款应用的主要优点包括详细的使用监控、可定制的警告设置以及快速便捷的访问方式。它适合需要管理多个项目或希望实时监控请求使用情况的用户。

现代Python数据框库，专为人工智能设计。

DataChain是一个现代的Python数据框库，专为人工智能设计。它旨在将非结构化数据组织成数据集，并在本地机器上大规模处理数据。DataChain不抽象或隐藏AI模型和API调用，而是帮助将它们集成到后现代数据堆栈中。该产品以其高效性、易用性和强大的数据处理能力为主要优点，支持多种数据存储和处理方式，包括图像、视频、文本等多种数据类型，并且能够与PyTorch和TensorFlow等深度学习框架无缝对接。DataChain是开源的，遵循Apache-2.0许可协议，免费供用户使用。

开源的网页自动化库，支持任何大型语言模型（LLM）

browser-use是一个开源的网页自动化库，允许大型语言模型（LLM）与网站进行交互，通过简单的接口实现复杂的网页操作。该技术的主要优点包括对多种语言模型的通用支持、交互元素自动检测、多标签页管理、XPath提取、视觉模型支持等。它解决了传统网页自动化中的一些痛点，如动态内容处理、长任务解决等。browser-use以其灵活性和易用性，为开发者提供了一个强大的工具，以构建更加智能和自动化的网页交互体验。

一款通过纯语言模型实现的文本到语音合成模型

OuteTTS-0.1-350M是一款基于纯语言模型的文本到语音合成技术，它不需要外部适配器或复杂架构，通过精心设计的提示和音频标记实现高质量的语音合成。该模型基于LLaMa架构，使用350M参数，展示了直接使用语言模型进行语音合成的潜力。它通过三个步骤处理音频：使用WavTokenizer进行音频标记化、CTC强制对齐创建精确的单词到音频标记映射、以及遵循特定格式的结构化提示创建。OuteTTS的主要优点包括纯语言建模方法、声音克隆能力、与llama.cpp和GGUF格式的兼容性。

视觉语言模型，结合图像和文本信息进行智能处理。

Aquila-VL-2B模型是一个基于LLava-one-vision框架训练的视觉语言模型（VLM），选用Qwen2.5-1.5B-instruct模型作为语言模型（LLM），并使用siglip-so400m-patch14-384作为视觉塔。该模型在自建的Infinity-MM数据集上进行训练，包含约4000万图像-文本对。该数据集结合了从互联网收集的开源数据和使用开源VLM模型生成的合成指令数据。Aquila-VL-2B模型的开源，旨在推动多模态性能的发展，特别是在图像和文本的结合处理方面。

Meta 开发的子十亿参数语言模型，适用于设备端应用。

Meta 开发的自回归语言模型，采用优化架构，适合资源受限设备。优点多，如集成多种技术，支持零样本推理等，价格免费，面向自然语言处理研究人员和开发者。

高效优化的600M参数语言模型，专为设备端应用设计。

MobileLLM-600M是由Meta开发的自回归语言模型，采用了优化的Transformer架构，专为资源受限的设备端应用而设计。该模型集成了SwiGLU激活函数、深度薄架构、嵌入共享和分组查询注意力等关键技术。MobileLLM-600M在零样本常识推理任务上取得了显著的性能提升，与之前的125M/350M SoTA模型相比，分别提高了2.7%/4.3%的准确率。该模型的设计理念可扩展至更大模型，如MobileLLM-1B/1.5B，均取得了SoTA结果。