产品库

便利脚本，为任何语言优化（聊天）LLaMa2

LLaMa2lang 是一个便利脚本，用于将 LLaMa2-7b 优化为特定语言的聊天模型。它使用 Huggingface 的 Open Assistant 数据集作为基础数据，并使用 OPUS 翻译模型将其完全翻译成目标语言。然后，使用 LLaMa2 的提示格式将翻译的数据集转换为聊天模型的输入格式。最后，使用 QLoRA 和 PEFT 对 LLaMa2-chat 进行微调。通过使用 LLaMa2lang，您可以为任何非英语语言创建适用于聊天的 LLaMa2 模型。

NVIDIA的高级语言模型，优化于英文对话场景。

Nemotron-4-340B-Instruct是由NVIDIA开发的大型语言模型(LLM)，专为英文单轮和多轮对话场景优化。该模型支持4096个token的上下文长度，经过监督式微调(SFT)、直接偏好优化(DPO)和奖励感知偏好优化(RPO)等额外的对齐步骤。模型在约20K人工标注数据的基础上，通过合成数据生成管道合成了超过98%的用于监督微调和偏好微调的数据。这使得模型在人类对话偏好、数学推理、编码和指令遵循方面表现良好，并且能够为多种用例生成高质量的合成数据。

轻量级文本分类工具，使用大型语言模型嵌入。

fastc是一个基于大型语言模型嵌入的简单且轻量级的文本分类工具。它专注于CPU执行，使用高效的模型如deepset/tinyroberta-6l-768d生成嵌入。通过余弦相似度分类代替微调，实现文本分类。它还可以在不增加额外开销的情况下，使用相同的模型运行多个分类器。

开源视觉-语言-动作模型，推动机器人操作技术发展。

OpenVLA是一个具有7亿参数的开源视觉-语言-动作（VLA）模型，通过在Open X-Embodiment数据集上的970k机器人剧集进行预训练。该模型在通用机器人操作策略上设定了新的行业标准，支持开箱即用控制多个机器人，并且可以通过参数高效的微调快速适应新的机器人设置。OpenVLA的检查点和PyTorch训练流程完全开源，模型可以从HuggingFace下载并进行微调。

生成具有身份一致性和表情丰富性的3D人头模型

ID-to-3D是一种创新的方法，它能够从一张随意拍摄的野外图片中生成具有身份和文本引导的3D人头模型，具有分离的表情。该方法基于组合性，使用特定任务的2D扩散模型作为优化的先验。通过扩展基础模型并添加轻量级的表情感知和身份感知架构，创建了2D先验，用于几何和纹理生成，并通过微调仅0.2%的可用训练参数。结合强大的面部身份嵌入和神经表示，该方法不仅能够准确重建面部特征，还能重建配饰和头发，并可提供适用于游戏和远程呈现的渲染就绪资产。

先进的文本到图像AI模型，实现高质量图像生成。

Stable Diffusion 3 Medium是Stability AI迄今为止发布的最先进文本到图像生成模型。它具有2亿参数，提供出色的细节、色彩和光照效果，支持多种风格。模型对长文本和复杂提示的理解能力强，能够生成具有空间推理、构图元素、动作和风格的图像。此外，它还实现了前所未有的文本质量，减少了拼写、字距、字母形成和间距的错误。模型资源效率高，适合在标准消费级GPU上运行，且具备微调能力，可以吸收小数据集中的细微细节，非常适合定制化。

基于大规模数据的高质量信息抽取模型

雅意信息抽取大模型（YAYI-UIE）由中科闻歌算法团队研发，是一款在百万级人工构造的高质量信息抽取数据上进行指令微调的模型。它能够统一训练信息抽取任务，包括命名实体识别（NER）、关系抽取（RE）和事件抽取（EE），覆盖了通用、安全、金融、生物、医疗、商业等多个场景的结构化抽取。该模型的开源旨在促进中文预训练大模型开源社区的发展，并通过开源共建雅意大模型生态。

生物医学领域的专业通用模型

UltraMedical项目旨在开发生物医学领域的专业通用模型，这些模型旨在回答与考试、临床场景和研究问题相关的问题，同时保持广泛的通用知识基础，以有效处理跨领域问题。通过使用先进的对齐技术，包括监督微调(SFT)、直接偏好优化(DPO)和赔率比偏好优化(ORPO)，训练大型语言模型在UltraMedical数据集上，以创建强大且多功能的模型，有效服务于生物医学社区的需求。

3D形状的文本驱动逼真材质绘制

MaPa是一种创新的方法，能够根据文本描述为3D网格生成材质。该技术通过创建分段的程序化材质图来表示外观，支持高质量渲染，并在编辑上提供了显著的灵活性。利用预训练的2D扩散模型，MaPa在不需要大量配对数据的情况下，架起了文本描述和材质图之间的桥梁。该技术通过分解形状为多个部分，并设计了控制段的扩散模型来合成与网格部分对齐的2D图像，进而初始化材质图的参数，并通过可微分渲染模块进行微调，以产生符合文本描述的材质。广泛的实验表明，MaPa在逼真度、分辨率和可编辑性方面优于现有技术。

专为角色扮演优化的大型语言模型

Higgs-Llama-3-70B是一个基于Meta-Llama-3-70B的后训练模型，特别针对角色扮演进行了优化，同时在通用领域指令执行和推理方面保持竞争力。该模型通过监督式微调，结合人工标注者和私有大型语言模型构建偏好对，进行迭代偏好优化以对齐模型行为，使其更贴近系统消息。与其它指令型模型相比，Higgs模型更紧密地遵循其角色。

开源音频样本和声音设计模型

Stable Audio Open是一个开源的文本到音频模型，专为生成短音频样本、音效和制作元素而优化。它允许用户通过简单的文本提示生成高达47秒的高质量音频数据，特别适用于创造鼓点、乐器即兴演奏、环境声音、拟音录音等音乐制作和声音设计。开源发布的关键好处是用户可以根据自己的自定义音频数据微调模型。

3D一致性的视频生成框架

CamCo是一个创新的图像到视频生成框架，它能够生成具有3D一致性的高质量视频。该框架通过Plücker坐标引入相机信息，并提出了一种符合几何一致性的双线约束注意力模块。此外，CamCo在通过运动结构算法估计相机姿态的真实世界视频上进行了微调，以更好地合成物体运动。

一个自定义时间轴节点系统，简化视频/动画编辑流程。

TimeUi是一个为ComfyUI设计的自定义时间轴节点系统，旨在创建类似于视频/动画编辑工具的时间轴，但无需依赖传统的时间代码。用户可以轻松添加、删除或重新排列行，提供流畅的用户体验。系统支持图像上传和管理，允许用户直接将图像上传到节点或附加其他“上传图像”节点，简化工作流程。此外，每个时间轴行包含多种自定义设置，如切换图像遮罩的可见性，增强对图像调整的控制。节点可以独立工作或与其他外部节点一起工作，轻松切换设置如IP适配器、图像负片、注意力遮罩、剪辑视觉、遮罩等，以微调输出。

快速个性化文本到图像模型

HyperDreamBooth是由Google Research开发的一种超网络，用于快速个性化文本到图像模型。它通过从单张人脸图像生成一组小型的个性化权重，结合快速微调，能够在多种上下文和风格中生成具有高主题细节的人脸图像，同时保持模型对多样化风格和语义修改的关键知识。

通过强化学习微调大型视觉-语言模型作为决策代理

RL4VLM是一个开源项目，旨在通过强化学习微调大型视觉-语言模型，使其成为能够做出决策的智能代理。该项目由Yuexiang Zhai, Hao Bai, Zipeng Lin, Jiayi Pan, Shengbang Tong, Alane Suhr, Saining Xie, Yann LeCun, Yi Ma, Sergey Levine等研究人员共同开发。它基于LLaVA模型，并采用了PPO算法进行强化学习微调。RL4VLM项目提供了详细的代码库结构、入门指南、许可证信息以及如何引用该研究的说明。

实时视频到视频翻译的扩散模型

StreamV2V是一个扩散模型，它通过用户提示实现了实时的视频到视频（V2V）翻译。与传统的批处理方法不同，StreamV2V采用流式处理方式，能够处理无限帧的视频。它的核心是维护一个特征库，该库存储了过去帧的信息。对于新进来的帧，StreamV2V通过扩展自注意力和直接特征融合技术，将相似的过去特征直接融合到输出中。特征库通过合并存储的和新的特征不断更新，保持紧凑且信息丰富。StreamV2V以其适应性和效率脱颖而出，无需微调即可与图像扩散模型无缝集成。

创新的多模态链式思维框架，提升视觉推理能力

Cantor是一个多模态链式思维(CoT)框架，它通过感知决策架构，将视觉上下文获取与逻辑推理相结合，解决复杂的视觉推理任务。Cantor首先作为一个决策生成器，整合视觉输入来分析图像和问题，确保与实际情境更紧密的对齐。此外，Cantor利用大型语言模型(MLLMs)的高级认知功能，作为多面专家，推导出更高层次的信息，增强CoT生成过程。Cantor在两个复杂的视觉推理数据集上进行了广泛的实验，证明了所提出框架的有效性，无需微调或真实理由，就显著提高了多模态CoT性能。

开源大型语言模型的托管、部署、构建和微调一站式解决方案。

AIKit 是一个开源工具，旨在简化大型语言模型（LLMs）的托管、部署、构建和微调过程。它提供了与OpenAI API兼容的REST API，支持多种推理能力和格式，使用户可以使用任何兼容的客户端发送请求。此外，AIKit 还提供了一个可扩展的微调接口，支持Unsloth，为用户提供快速、内存高效且易于使用的微调体验。

多语言指令微调的大型语言模型

Aya-23-8B是由Cohere For AI开发的指令微调模型，具有23种语言的强大多语言能力，专注于将高性能预训练模型与Aya Collection结合，为研究人员提供高性能的多语言模型。

用于微调Meta Llama模型的库和示例脚本集合

llama-recipes是Meta Llama模型的配套仓库，旨在提供一个可扩展的库，用于微调Meta Llama模型，并提供一些示例脚本和笔记本，以便快速开始使用模型在各种用例中，包括领域适应的微调和构建基于LLM的应用程序。

大型语言模型，支持指令式对话和功能调用。

Mistral-7B-Instruct-v0.3是由Mistral AI Team开发的大型语言模型，它是Mistral-7B-v0.3的指令式微调版本。该模型具有扩展的词汇量、支持v3 Tokenizer和功能调用。它能够通过指令式对话和功能调用来生成文本，适合于需要交互式对话和自动化任务的场景。

微软轻量级、先进的多模态模型，专注于文本和视觉的高质量推理密集数据。

Phi-3 Vision是一个轻量级、最先进的开放多模态模型，基于包括合成数据和经过筛选的公开可用网站在内的数据集构建，专注于文本和视觉的非常高质量的推理密集数据。该模型属于Phi-3模型家族，多模态版本支持128K上下文长度（以token计），经过严格的增强过程，结合了监督微调和直接偏好优化，以确保精确的指令遵循和强大的安全措施。

Imajinn AI - 使用精确的AI生成独特的视觉效果工具和产品。

Imajinn AI是一款使用最新的人工智能技术将您的照片和图像转化为令人惊叹的艺术作品的工具。您可以使用Imajinn AI生成任何人或任何地方的惊人图像，包括个人资料图片、产品图片、品牌和样式。您甚至可以通过Imajinn AI进行自定义AI模型的微调，以生成与众不同的图像。

利用人工智能增强产品团队的决策力和效率

Productboard AI 是一款集成到产品管理平台中的人工智能工具，它通过分析和理解大量的用户反馈和数据点，帮助产品团队做出更明智的决策，提高工作效率，并加速产品从概念到市场的整个生命周期。它由 OpenAI 提供支持，确保数据安全和隐私保护，同时提供无与伦比的数据组合和针对产品管理工作的微调优化。

由哔哩哔哩用户评论微调训练而成的本地聊天机器人

bilibot是一个基于哔哩哔哩用户评论训练的本地聊天机器人，支持文字聊天和语音对话。它使用Qwen1.5-32B-Chat作为基础模型，并结合苹果的mlx-lm LORA项目进行微调。语音生成部分基于GPT-SoVITS项目，使用派蒙语音模型。该机器人可以快速生成对话内容，适用于需要智能对话系统的场合。

提升大型语言模型解决数学问题的能力

ChatGLM-Math 是一个基于自我批评流程定制的数学问题解决模型，旨在提高大型语言模型（LLMs）在数学问题解决方面的能力。该模型通过训练一个通用的Math-Critique模型来提供反馈信号，并采用拒绝采样微调和直接偏好优化来增强LLM的数学问题解决能力。它在学术数据集和新创建的挑战性数据集MathUserEval上进行了实验，显示出在保持语言能力的同时，显著提升了数学问题解决能力。

一种用于生成超详细图像描述的模型，用于训练视觉语言模型。

ImageInWords (IIW) 是一个由人类参与的循环注释框架，用于策划超详细的图像描述，并生成一个新的数据集。该数据集通过评估自动化和人类并行（SxS）指标来实现最先进的结果。IIW 数据集在生成描述时，比以往的数据集和GPT-4V输出在多个维度上有了显著提升，包括可读性、全面性、特异性、幻觉和人类相似度。此外，使用IIW数据微调的模型在文本到图像生成和视觉语言推理方面表现出色，能够生成更接近原始图像的描述。

构建基于检索增强生成（RAG）和代理的生成式AI应用的先进语言模型

Amazon Titan Text Premier 是 Amazon Titan 系列模型中的新成员，专为文本基础的企业级应用设计，支持定制化微调以适应特定领域、组织、品牌风格和用例。该模型在 Amazon Bedrock 中提供，具备32K令牌的最大上下文长度，特别适合英文任务，并整合了负责任的人工智能实践。

统一高效的RAG检索微调和推理框架

RAG-Retrieval是一个全链路的RAG检索微调和推理框架，支持多种RAG Reranker模型的推理，包括向量模型、迟交互式模型和交互式模型。它提供了一个轻量级的Python库，使得用户能够以统一的方式调用不同的RAG排序模型，简化了排序模型的使用和部署。

一款高效经济的语言模型，具有强大的专家混合特性。

DeepSeek-V2是一个由236B参数构成的混合专家（MoE）语言模型，它在保持经济训练和高效推理的同时，激活每个token的21B参数。与前代DeepSeek 67B相比，DeepSeek-V2在性能上更强，同时节省了42.5%的训练成本，减少了93.3%的KV缓存，并提升了最大生成吞吐量至5.76倍。该模型在8.1万亿token的高质量语料库上进行了预训练，并通过监督式微调（SFT）和强化学习（RL）进一步优化，使其在标准基准测试和开放式生成评估中表现出色。