产品库

一种用于扩展多模态大型语言模型（LLMs）的先进架构。

CuMo是一种多模态大型语言模型（LLMs）的扩展架构，它通过在视觉编码器和MLP连接器中融入稀疏的Top-K门控专家混合（MoE）块，提高了模型的可扩展性，同时在推理时几乎不增加激活参数。CuMo在预训练MLP块后，初始化MoE块中的每个专家，并在视觉指令调整阶段使用辅助损失以确保专家的均衡负载。CuMo在各种VQA和视觉指令遵循基准测试中超越了其他同类模型，且完全基于开源数据集进行训练。

最前沿的开源AI模型，支持多语言和高级功能。

Llama 3.1是Meta AI推出的最新一代大型语言模型，具有128K的上下文长度扩展、支持八种语言，并首次开源了405B参数级别的前沿AI模型。该模型在通用知识、可控性、数学、工具使用和多语言翻译方面具有最先进的能力，能够与最好的闭源模型相媲美。Llama 3.1的发布，将为开发者提供解锁新工作流程的工具，例如合成数据生成和模型蒸馏。

高效扩展多模态大型语言模型至1000图像

LongLLaVA是一个多模态大型语言模型，通过混合架构高效扩展至1000图像，旨在提升图像处理和理解能力。该模型通过创新的架构设计，实现了在大规模图像数据上的有效学习和推理，对于图像识别、分类和分析等领域具有重要意义。

世界顶尖的开源大型语言模型

Reflection Llama-3.1 70B 是目前世界上顶尖的开源大型语言模型（LLM），采用名为 Reflection-Tuning 的新技术进行训练，使模型能够检测其推理中的错误并进行修正。该模型在合成数据上进行了训练，这些数据由 Glaive 生成。对于正在训练模型的用户来说，Glaive 是一个非常出色的工具。该模型使用标准的 Llama 3.1 聊天格式，通过特殊的标签来区分模型的内部思考和最终答案，从而提升用户体验。

高效开源的大型语言模型

OLMoE-1B-7B 是一个具有1亿活跃参数和7亿总参数的专家混合型大型语言模型（LLM），于2024年9月发布。该模型在成本相似的模型中表现卓越，与更大的模型如Llama2-13B竞争。OLMoE完全开源，支持多种功能，包括文本生成、模型训练和部署等。

精选全球AI前沿科技和开源产品

漫话开发者 - UWL.ME 是一个专注于人工智能前沿科技和开源产品的平台，提供最新的AI技术动态、开源产品介绍、以及相关领域的深度分析。它不仅为开发者和科技爱好者提供了一个获取信息的渠道，也为行业内部人员提供了交流和学习的平台。

基于大型语言模型的高性能MacOS聊天应用

ChatMLX是一款现代、开源、高性能的MacOS聊天应用程序，基于大型语言模型构建。它利用MLX的强大性能和苹果硅芯片，支持多种模型，为用户提供丰富的对话选择。ChatMLX在本地运行大型语言模型，以确保用户隐私和安全。

多模态大型语言模型设计空间探索

EAGLE是一个面向视觉中心的高分辨率多模态大型语言模型（LLM）系列，通过混合视觉编码器和不同输入分辨率来加强多模态LLM的感知能力。该模型包含基于通道连接的'CLIP+X'融合，适用于具有不同架构（ViT/ConvNets）和知识（检测/分割/OCR/SSL）的视觉专家。EAGLE模型家族支持超过1K的输入分辨率，并在多模态LLM基准测试中取得了优异的成绩，特别是在对分辨率敏感的任务上，如光学字符识别和文档理解。

先进的小型语言模型，专为设备端应用设计。

Zamba2-mini是由Zyphra Technologies Inc.发布的小型语言模型，专为设备端应用设计。它在保持极小的内存占用(<700MB)的同时，实现了与更大模型相媲美的评估分数和性能。该模型采用了4bit量化技术，具有7倍参数下降的同时保持相同性能的特点。Zamba2-mini在推理效率上表现出色，与Phi3-3.8B等更大模型相比，具有更快的首令牌生成时间、更低的内存开销和更低的生成延迟。此外，该模型的权重已开源发布(Apache 2.0)，允许研究人员、开发者和公司利用其能力，推动高效基础模型的边界。

视频理解与推理的免训练大型语言模型。

SlowFast-LLaVA是一个无需训练的多模态大型语言模型，专为视频理解和推理设计。它无需在任何数据上进行微调，就能在多种视频问答任务和基准测试中达到与最先进视频大型语言模型相当甚至更好的性能。

个人AI助手，将私有和企业知识转化为智能搜索。

Quivr是一个基于AI的云端个人第二大脑，通过连接文件、应用程序、API、数据库等，为用户提供个性化的搜索和知识管理服务。它通过持续学习用户公司的特定上下文来提高搜索相关性和知识发现能力。Quivr支持自定义集成，用户可以选择适合其任务的GenAI模型，并根据提示指令获得更准确和更好的响应。

AI提示工程师，提升AI交互效率。

Ape是一个开源的AI提示工程师，由Weavel公司开发，旨在通过优化AI的交互方式来提升效率。它是一个专门为AI设计的提示工程库，支持自定义和自动化的AI交互流程，帮助开发者和用户更高效地利用AI技术。Ape的核心优势在于其开源性、灵活性和易用性，适用于需要与AI进行复杂交互的场景。

开源云平台，实现超低延迟的语音和视频AI。

Daily Bots是一个开源云平台，专注于提供超低延迟的语音和视频人工智能服务。它支持开发者构建和托管实时的全球基础设施上的代理，并利用快速增长的开源实时框架。该平台拥有全球实时云，提供5亿终端用户的13毫秒首跳延迟，符合SOC 2、HIPAA和GDPR标准。此外，Daily Bots提供了电话和工作流程的一站式企业连接解决方案，以及完整的PSTN和SIP堆栈。

与任何大型语言模型进行快速的免提语音交互。

Open-LLM-VTuber 是一个开源项目，旨在通过语音与大型语言模型（LLM）进行交互，具有实时的Live2D面部捕捉和跨平台的长期记忆功能。该项目支持macOS、Windows和Linux平台，允许用户选择不同的语音识别和语音合成后端，以及自定义的长期记忆解决方案。它特别适合希望在不同平台上实现与AI进行自然语言对话的开发者和爱好者。

先进的文档智能AI模型，开源易用。

Datalab 的 AI For Document Intelligence 是一系列用于文档智能处理的AI模型，包括OCR、布局分析、PDF转Markdown等。这些模型代表了文档处理技术的最新发展，易于使用，并且是开源的，可以广泛应用于提高文档处理的效率和准确性。

命令行的智能助手，提升终端效率

ShellMate是一款开源的命令行生产力工具，由OpenAI提供支持。它能够接受标准输入、命令行参数和高亮文本作为提示，帮助用户快速回忆命令和预测接下来可能需要使用的命令。ShellMate通过高亮文本功能，让用户无需提问即可集中注意力。此外，用户可以通过'sm'快捷方式在终端中直接提问和插入AI生成的建议，从而无需离开终端界面。

一种先进的文本到图像的生成模型。

FLUX.1-dev-Controlnet-Union-alpha是一个文本到图像的生成模型，属于Diffusers系列，使用ControlNet技术进行控制。目前发布的是alpha版本，尚未完全训练完成，但已经展示了其代码的有效性。该模型旨在通过开源社区的快速成长，推动Flux生态系统的发展。尽管完全训练的Union模型可能在特定领域如姿势控制上不如专业模型，但随着训练的进展，其性能将不断提升。

开源AI图像生成器，功能强大且免费。

Flux Image Generator是一个开源的AI图像生成器，它利用大型神经网络Flux，能够根据文本生成图像。Flux是近年来最大的开源项目之一，其神经网络模型大小大约为4到5GB。除了生成图像，该工具还支持对图像进行编辑，例如填充缺失部分或根据文本指令生成图像的无限变体。尽管AI技术在绘图方面表现出色，但它们并不是在当前意义上具有意识的，它们只是复杂的数学算法。

极简AI搜索引擎，助你快速获取网络信息。

MiniPerplx是一个基于AI的极简搜索引擎，旨在帮助用户快速在互联网上找到所需信息。它使用了OpenAI、Anthropic和Tavily等AI服务提供商的API，通过集成这些技术，MiniPerplx能够提供快速、准确的搜索结果。产品使用TypeScript、CSS和JavaScript等技术栈开发，遵循MIT许可证。

一个正在训练中的开源语言模型，具备“听力”能力。

llama3-s是一个开放的、正在进行中的研究实验，旨在将基于文本的大型语言模型(LLM)扩展到具有原生“听力”能力。该项目使用Meta的Chameleon论文启发的技术，专注于令牌传递性，将声音令牌扩展到LLM的词汇表中，未来可能扩展到各种输入类型。作为一个开源科学实验，代码库和数据集都是公开的。

AI技术与纸质书的结合，让阅读体验无限扩展。

BookLed是一款结合了AI技术与纸质书的产品，它通过内置的电子硬件和页面识别传感器，能够识别用户正在阅读的页面，并在用户翻页时将页码信息发送至电脑。随后，通过Python代码调用OpenAI API，利用生成性AI技术丰富和扩展用户的阅读体验。所有相关代码均为开源，可在GitHub上下载。

开源AI搜索引擎，提供网络搜索能力。

OpenPerPlex是一个开源AI搜索引擎，利用尖端技术提供网络搜索功能。它结合了语义分块、结果重排、谷歌搜索集成以及Groq作为推理引擎等技术，支持Llama 3 70B模型，以提高搜索的准确性和效率。

免费开源AI模型推理服务

Tost AI是一个免费、非盈利、开源的服务，它为最新的AI论文提供推理服务，使用非盈利GPU集群。Tost AI不存储任何推理数据，所有数据在12小时内过期。此外，Tost AI提供将数据发送到Discord频道的选项。每个账户每天提供100个免费钱包余额，如果希望每天获得1100个钱包余额，可以订阅GitHub赞助者或Patreon。Tost AI将演示的所有利润都发送给论文的第一作者，其预算由公司和个人赞助者支持。

最简单的开源实现

nanoPerplexityAI是一个开源的实现，它是一个大型语言模型(LLM)服务，引用Google的信息。没有复杂的GUI或LLM代理，只有100行Python代码。

一个动态、自成长的个人AI助手框架

Agent Zero是一个高度透明、可读、可理解、可定制和交互式的个人AI框架。它不是为特定任务预编程的，而是设计为通用的个人助手，能够执行命令和代码，与其他代理实例合作，并尽其所能完成任务。它具备持久记忆，能够记住以前的解决方案、代码、事实、指令等，以便在未来更快、更可靠地解决任务。Agent Zero使用操作系统作为工具来完成任务，没有预编程的单一用途工具。相反，它可以编写自己的代码，并使用终端根据需要创建和使用自己的工具。

AI抠图项目，使用开源模型实现图像抠图。

image-matting 是一个基于开源模型 briaai/RMBG-1.4 的AI抠图项目。该项目旨在通过学习AI技术、GUI开发、前端学习以及i18n国际化等技术，实现本地模型算法的图像抠图功能。它支持单张和批量抠图，用户可以通过拖拽和粘贴的方式快速进行图像处理。项目还提供了打包后的运行文件下载链接，方便用户使用。

AI驱动的内容创作引擎，开源替代方案。

OpenPlexity Pages是一个由AI驱动的内容创作引擎，旨在将您的研究转化为视觉吸引、全面的内容。它是一个开源的替代品，与Perplexity Pages不同，它完全开源，允许社区贡献和定制。它注重隐私，数据本地运行，保证您的研究和内容保持私密。此外，它还具有可定制性，可以调整内容的语调以吸引目标受众，从普通读者到主题专家。它还具有适应性，可以轻松修改文章的结构，添加、重新排列或删除部分以最好地适应您的材料。

多语言对话生成模型

Meta Llama 3.1系列模型是一套预训练和指令调整的多语言大型语言模型（LLMs），包含8B、70B和405B三种规模的模型，专为多语言对话使用案例优化，性能优于许多开源和闭源聊天模型。

实时语音和视频推理的开放标准

RTVI-AI是一个旨在简化构建AI语音到语音和实时视频应用的开放标准。它提供了开源SDK代码和标准端点形状、事件消息以及数据结构的文档，支持开发者使用任何推理服务，并允许推理服务利用开源工具为实时多媒体开发复杂的客户端工具。

数学领域的开源AI模型，助力数学竞赛。

Numina Math 7B是由Numina组织开发的AI数学模型，专注于解决高难度的数学问题，特别是在数学竞赛领域。该模型在AI数学奥林匹克竞赛中获得了第一名，显示出其在解决复杂数学问题上的强大能力。Numina是一个非盈利组织，致力于推动数学领域人类和人工智能的发展。