产品库

任务感知型提示优化框架

PromptWizard是由微软开发的一个任务感知型提示优化框架，它通过自我演化机制，使得大型语言模型（LLM）能够生成、批评和完善自己的提示和示例，通过迭代反馈和综合不断改进。这个自适应方法通过进化指令和上下文学习示例来全面优化，以提高任务性能。该框架的三个关键组件包括：反馈驱动的优化、批评和合成多样化示例、自生成的思考链（Chain of Thought, CoT）步骤。PromptWizard的重要性在于它能够显著提升LLM在特定任务上的表现，通过优化提示和示例来增强模型的性能和解释性。

微软最新的小型语言模型，专注于复杂推理

Phi-4是微软Phi系列小型语言模型的最新成员，拥有14B参数，擅长数学等复杂推理领域。Phi-4通过使用高质量的合成数据集、精选有机数据和后训练创新，在大小与质量之间取得了平衡。Phi-4体现了微软在小型语言模型（SLM）领域的技术进步，推动了AI技术的边界。Phi-4目前已在Azure AI Foundry上提供，并将在未来几周登陆Hugging Face平台。

革命性的检索增强生成系统技术集合。

RAG_Techniques 是一个专注于检索增强生成(Retrieval-Augmented Generation, RAG)系统的技术集合，旨在提升系统的准确性、效率和上下文丰富性。它提供了一个前沿技术的中心，通过社区贡献和协作环境，推动RAG技术的发展和创新。

一站式数据处理系统，为大型语言模型提供高质量数据。

Data-Juicer 是一个一站式的多模态数据处理系统，旨在为大型语言模型(LLMs)提供更高质量、更丰富、更易消化的数据。它提供了一个系统化和可复用的数据处理库，支持数据与模型的协同开发，通过沙盒实验室实现快速迭代，并提供基于数据和模型的反馈循环、可视化和多维度自动评估等功能，帮助用户更好地理解和改进他们的数据和模型。Data-Juicer 正在积极更新和维护，定期增强和添加更多功能、数据配方和数据集。

通过GPT等大型语言模型与你的文档对话

IncarnaMind是一个开源项目，旨在通过大型语言模型（LLMs）如GPT、Claude和本地开源LLMs，实现与个人文档（PDF、TXT）的交互对话。该项目利用滑动窗口分块机制和集成检索器，提高查询效率，增强LLMs的准确性。它支持多文档对话问答，突破了单文档限制，并兼容多种文件格式和LLM模型。

集成大型语言模型的SDK

Semantic Kernel是一个集成了大型语言模型（LLMs）如OpenAI、Azure OpenAI和Hugging Face的软件开发工具包（SDK），它允许开发者通过定义可串联的插件，在几行代码内实现与AI的交互。其特色在于能够自动编排AI插件，使用户能够通过LLM生成实现特定目标的计划，并由Semantic Kernel执行该计划。

代码生成任务的新型模型，测试准确率高于GPT-4 Turbo。

AutoCoder是一个专为代码生成任务设计的新型模型，其在HumanEval基准数据集上的测试准确率超过了GPT-4 Turbo（2024年4月）和GPT-4o。与之前的开源模型相比，AutoCoder提供了一个新功能：它可以自动安装所需的包，并在用户希望执行代码时尝试运行代码，直到确定没有问题。

基于AI的Python网络爬虫库，自动化提取网页信息。

ScrapeGraphAI是一个使用LLM（大型语言模型）和直接图逻辑来为网站、文档和XML文件创建抓取管道的Python网络爬虫库。用户只需指定想要提取的信息，库就会自动完成这项工作。该库的主要优点在于简化了网络数据抓取的过程，提高了数据提取的效率和准确性。它适用于数据探索和研究目的，但不应被滥用。

使用简单、原始的 C/CUDA 进行 LLM 训练

karpathy/llm.c 是一个使用简单的 C/CUDA 实现 LLM 训练的项目。它旨在提供一个干净、简单的参考实现,同时也包含了更优化的版本,可以接近 PyTorch 的性能,但代码和依赖大大减少。目前正在开发直接的 CUDA 实现、使用 SIMD 指令优化 CPU 版本以及支持更多现代架构如 Llama2、Gemma 等。

Langroid是一个基于Python的轻量级LLM框架

Langroid是一个轻量级、可扩展和原则性的Python框架,可以轻松地构建基于LLM的应用程序。您可以设置代理,为它们配备可选组件(LLM、向量存储和方法),分配它们任务,并让他们通过交换消息协作解决问题。这个多代理范例的灵感来自Actor框架(但您不需要了解任何关于这个的知识!)。Langroid提供了一个全新的LLM应用程序开发方式,在简化开发人员体验方面进行了深思熟虑;它不使用Langchain。我们欢迎贡献--请参阅贡献文档以获取贡献想法。

谷歌开发的AI模型，提供推理能力更强的响应。

Gemini 2.0 Flash Thinking Mode是谷歌推出的一个实验性AI模型，旨在生成模型在响应过程中的“思考过程”。相较于基础的Gemini 2.0 Flash模型，Thinking Mode在响应中展现出更强的推理能力。该模型在Google AI Studio和Gemini API中均可使用，是谷歌在人工智能领域的重要技术成果，对于开发者和研究人员来说，提供了一个强大的工具来探索和实现复杂的AI应用。

Google DeepMind开发的高性能AI模型

Gemini 2.0 Flash Experimental是Google DeepMind开发的最新AI模型，旨在提供低延迟和增强性能的智能代理体验。该模型支持原生工具使用，并首次能够原生创建图像和生成语音，代表了AI技术在理解和生成多媒体内容方面的重要进步。Gemini Flash模型家族以其高效的处理能力和广泛的应用场景，成为推动AI领域发展的关键技术之一。

Astris AI是洛克希德·马丁公司推出的专注于安全的人工智能解决方案。

Astris AI是洛克希德·马丁公司成立的子公司，旨在推动美国国防工业基地和商业行业领域中对高保证要求的人工智能解决方案的采用。Astris AI通过提供洛克希德·马丁公司在人工智能和机器学习领域的领先技术和专业团队，帮助客户开发和部署安全、弹性和可扩展的AI解决方案。Astris AI的成立体现了洛克希德·马丁公司在推进21世纪安全、加强国防工业基础和国家安全方面的承诺，同时也展示了其在整合商业技术以帮助客户应对日益增长的威胁环境方面的领导力。

Phi开放模型，强大、低成本、低延迟的小语言模型。

Phi Open Models是微软Azure提供的一款小型语言模型（SLMs），以其卓越的性能、低成本和低延迟重新定义了小语言模型的可能性。Phi模型在保持较小体积的同时，提供了强大的AI能力，降低了资源消耗，并确保了成本效益的生成型AI部署。Phi模型的开发遵循了微软的AI原则，包括责任、透明度、公平性、可靠性和安全性、隐私和安全性以及包容性。

让人工智能触手可及

Recursal AI致力于使人工智能技术对所有人开放，无论语言或国家。他们的产品包括featherless.ai、RWKV和recursal cloud。featherless.ai提供即时且无需服务器的Hugging Face模型推理服务；RWKV是一个下一代基础模型，支持100多种语言，推理成本降低100倍；recursal cloud则让用户能够轻松地微调和部署RWKV模型。这些产品和技术的主要优点在于它们能够降低AI技术的门槛，提高效率，并支持多语言，这对于全球化背景下的企业和开发者来说至关重要。

大型多模态模型中视频理解的探索

Apollo是一个专注于视频理解的先进大型多模态模型家族。它通过系统性地探索视频-LMMs的设计空间，揭示了驱动性能的关键因素，提供了优化模型性能的实用见解。Apollo通过发现'Scaling Consistency'，使得在较小模型和数据集上的设计决策能够可靠地转移到更大的模型上，大幅降低计算成本。Apollo的主要优点包括高效的设计决策、优化的训练计划和数据混合，以及一个新型的基准测试ApolloBench，用于高效评估。

RWKV家族中最大的模型，采用MoE技术提升效率。

Flock of Finches 37B-A11B v0.1是RWKV家族的最新成员，这是一个实验性模型，拥有11亿个活跃参数，尽管仅训练了1090亿个token，但在常见基准测试中的得分与最近发布的Finch 14B模型大致相当。该模型采用了高效的稀疏混合专家(MoE)方法，在任何给定token上仅激活一部分参数，从而在训练和推理过程中节省时间和减少计算资源的使用。尽管这种架构选择以更高的VRAM使用为代价，但从我们的角度看，能够低成本训练和运行具有更大能力模型是非常值得的。

最强大的RWKV模型变体，打破多项英语基准测试。

Q-RWKV-6 32B Instruct Preview是由Recursal AI开发的最新RWKV模型变体，它在多项英语基准测试中超越了之前所有的RWKV、State Space和Liquid AI模型。这个模型通过将Qwen 32B Instruct模型的权重转换到定制的QRWKV6架构中，成功地用RWKV-V6注意力头替换了现有的Transformer注意力头，这一过程是由Recursal AI团队与RWKV和EleutherAI开源社区联合开发的。该模型的主要优点包括在大规模计算成本上的显著降低，以及对环境友好的开源AI技术。

高效、多语种的语音合成模型

CosyVoice语音生成大模型2.0-0.5B是一个高性能的语音合成模型，支持零样本、跨语言的语音合成，能够根据文本内容直接生成相应的语音输出。该模型由通义实验室提供，具有强大的语音合成能力和广泛的应用场景，包括但不限于智能助手、有声读物、虚拟主播等。模型的重要性在于其能够提供自然、流畅的语音输出，极大地丰富了人机交互的体验。

快速高效的生成型AI模型

Command R7B是Cohere公司推出的一款高性能、可扩展的大型语言模型（LLM），专为企业级应用设计。它在保持较小模型体积的同时，提供了一流的速度、效率和质量，能够在普通的GPU、边缘设备甚至CPU上部署，大幅降低了AI应用的生产部署成本。Command R7B在多语言支持、引用验证检索增强生成（RAG）、推理、工具使用和代理行为等方面表现出色，特别适合需要优化速度、成本性能和计算资源的企业使用案例。

快速因果视频生成器，实现即时视频生成。

CausVid是一个先进的视频生成模型，它通过将预训练的双向扩散变换器适配为因果变换器，实现了即时视频帧的生成。这一技术的重要性在于它能够显著减少视频生成的延迟，使得视频生成能够以交互式帧率（9.4FPS）在单个GPU上进行流式生成。CausVid模型支持从文本到视频的生成，以及零样本图像到视频的生成，展现了视频生成技术的新高度。

大规模多语言文本数据集

allenai/tulu-3-sft-olmo-2-mixture是一个大规模的多语言数据集，包含了用于训练和微调语言模型的多样化文本样本。该数据集的重要性在于它为研究人员和开发者提供了丰富的语言资源，以改进和优化多语言AI模型的性能。产品背景信息包括其由多个来源的数据混合而成，适用于教育和研究领域，且遵循特定的许可协议。

开源多模态大型语言模型系列

InternVL 2.5是基于InternVL 2.0的高级多模态大型语言模型系列，它在保持核心模型架构的同时，在训练和测试策略以及数据质量方面引入了显著的增强。该模型深入探讨了模型扩展与性能之间的关系，系统地探索了视觉编码器、语言模型、数据集大小和测试时配置的性能趋势。通过在包括多学科推理、文档理解、多图像/视频理解、现实世界理解、多模态幻觉检测、视觉定位、多语言能力和纯语言处理在内的广泛基准测试中进行的广泛评估，InternVL 2.5展现出了与GPT-4o和Claude-3.5-Sonnet等领先商业模型相媲美的竞争力。特别是，该模型是第一个在MMMU基准测试中超过70%的开源MLLM，通过链式思考（CoT）推理实现了3.7个百分点的提升，并展示了测试时扩展的强大潜力。

衡量Android设备AI性能和质量的基准测试工具

Procyon AI Inference Benchmark for Android是一款基于NNAPI的基准测试工具，用于衡量Android设备上的AI性能和质量。它通过一系列流行的、最先进的神经网络模型来执行常见的机器视觉任务，帮助工程团队独立、标准化地评估NNAPI实现和专用移动硬件的AI性能。该工具不仅能够测量Android设备上专用AI处理硬件的性能，还能够验证NNAPI实现的质量，对于优化硬件加速器的驱动程序、比较浮点和整数优化模型的性能具有重要意义。

Google第六代张量处理单元，提供卓越的AI工作负载性能。

Trillium TPU是Google Cloud的第六代Tensor Processing Unit（TPU），专为AI工作负载设计，提供增强的性能和成本效益。它作为Google Cloud AI Hypercomputer的关键组件，通过集成的硬件系统、开放软件、领先的机器学习框架和灵活的消费模型，支持大规模AI模型的训练、微调和推理。Trillium TPU在性能、成本效率和可持续性方面都有显著提升，是AI领域的重要进步。

大型语言模型，用于文本生成和分类

OLMo-2-1124-7B-RM是由Hugging Face和Allen AI共同开发的一个大型语言模型，专注于文本生成和分类任务。该模型基于7B参数的规模构建，旨在处理多样化的语言任务，包括聊天、数学问题解答、文本分类等。它是基于Tülu 3数据集和偏好数据集训练的奖励模型，用于初始化RLVR训练中的价值模型。OLMo系列模型的发布，旨在推动语言模型的科学研究，通过开放代码、检查点、日志和相关的训练细节，促进了模型的透明度和可访问性。

多模态大型语言模型，支持图像和文本理解

InternVL 2.5是一系列先进的多模态大型语言模型(MLLM)，它在InternVL 2.0的基础上，通过引入显著的训练和测试策略增强以及数据质量提升，保持了其核心模型架构。该模型集成了新增量预训练的InternViT与各种预训练的大型语言模型(LLMs)，如InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。InternVL 2.5支持多图像和视频数据，通过动态高分辨率训练方法，增强了模型处理多模态数据的能力。

基于线程的数据加载解决方案，加速AI模型训练。

SPDL（Scalable and Performant Data Loading）是由Meta Reality Labs开发的一种新的数据加载解决方案，旨在提高AI模型训练的效率。它采用基于线程的并行处理，相比传统的基于进程的解决方案，SPDL在普通Python解释器中实现了高吞吐量，并且消耗的计算资源更少。SPDL与Free-Threaded Python兼容，在禁用GIL的情况下，比启用GIL的FT Python实现更高的吞吐量。SPDL的主要优点包括高吞吐量、易于理解的性能、不封装预处理操作、不引入领域特定语言（DSL）、无缝集成异步工具、灵活性、简单直观以及容错性。SPDL的背景信息显示，随着模型规模的增长，对数据的计算需求也随之增加，而SPDL通过最大化GPU的利用，加快了模型训练的速度。

AI模型比较工具，免费开源

Countless.dev是一个提供AI模型比较的平台，用户可以轻松查看和比较不同的AI模型。这个工具对于开发者和研究人员来说非常重要，因为它可以帮助他们根据模型的特性和价格来选择最合适的AI模型。平台提供了详细的模型参数，如输入长度、输出长度、价格等，以及是否支持视觉功能。

自动解决软件开发问题的无代理方法

Agentless是一种无需代理的自动解决软件开发问题的方法。它通过定位、修复和补丁验证三个阶段来解决每个问题。Agentless利用分层过程定位故障到特定文件、相关类或函数，以及细粒度的编辑位置。然后，Agentless根据编辑位置采样多个候选补丁，并选择回归测试来运行，生成额外的复现测试以复现原始错误，并使用测试结果重新排名所有剩余补丁，以选择一个提交。Agentless是目前在SWE-bench lite上表现最佳的开源方法，具有82个修复（27.3%的解决率），平均每问题成本0.34美元。