产品库

便利脚本，为任何语言优化（聊天）LLaMa2

LLaMa2lang 是一个便利脚本，用于将 LLaMa2-7b 优化为特定语言的聊天模型。它使用 Huggingface 的 Open Assistant 数据集作为基础数据，并使用 OPUS 翻译模型将其完全翻译成目标语言。然后，使用 LLaMa2 的提示格式将翻译的数据集转换为聊天模型的输入格式。最后，使用 QLoRA 和 PEFT 对 LLaMa2-chat 进行微调。通过使用 LLaMa2lang，您可以为任何非英语语言创建适用于聊天的 LLaMa2 模型。

智能卖货主播，提升销售效率，增强用户体验。

Streamer-Sales 销冠 —— 卖货主播大模型是一个基于InternLM2微调而来的AI模型，能够根据商品特点进行解说，激发用户的购买意愿。它适用于线上直播销售和线下门店推广，可以显著提升销售效率和用户体验，为品牌形象加分。该模型通过智能解说，使商品细节和整体效果更加生动、精准，从而吸引消费者。

智能卖货主播大模型，提升销售效率，增强购物体验。

Streamer-Sales 销冠是一个基于大语言模型的智能卖货主播系统，它能够根据商品特点从激发用户购买意愿的角度出发进行商品解说。该模型在 InternLM2 的基础上通过指令微调而来，集成了 LMDeploy 加速推理，支持 ASR 语音生成文字，RAG 检索增强生成，Agent 网络查询等功能，并通过 TTS 技术生成带有感情的语音，最终生成主播数字人视频，为商品解说提供全方位的技术支持。

先进的视觉基础模型，支持多种视觉和视觉-语言任务

Florence-2是由微软开发的高级视觉基础模型，采用基于提示的方法处理广泛的视觉和视觉-语言任务。该模型能够解释简单的文本提示，执行诸如图像描述、目标检测和分割等任务。它利用FLD-5B数据集，包含54亿个注释，覆盖1.26亿张图像，精通多任务学习。其序列到序列的架构使其在零样本和微调设置中均表现出色，证明是一个有竞争力的视觉基础模型。

先进的视觉基础模型，支持多种视觉和视觉-语言任务。

Florence-2-large-ft是由微软开发的高级视觉基础模型，使用基于提示的方法来处理广泛的视觉和视觉-语言任务。该模型能够通过简单的文本提示执行诸如图像描述、目标检测和分割等任务。它利用FLD-5B数据集，包含54亿个注释，覆盖1.26亿张图像，实现多任务学习。模型的序列到序列架构使其在零样本和微调设置中均表现出色，证明其为有竞争力的视觉基础模型。

先进的视觉基础模型，支持多种视觉和视觉-语言任务。

Florence-2是由微软开发的高级视觉基础模型，采用基于提示的方法处理广泛的视觉和视觉-语言任务。该模型能够解释简单的文本提示，执行如描述、目标检测和分割等任务。它利用包含54亿个注释的5.4亿张图像的FLD-5B数据集，精通多任务学习。模型的序列到序列架构使其在零样本和微调设置中都表现出色，证明其为有竞争力的视觉基础模型。

先进的视觉基础模型，支持多种视觉和视觉-语言任务

Florence-2-large是由微软开发的先进视觉基础模型，采用基于提示的方法处理广泛的视觉和视觉-语言任务。该模型能够解释简单的文本提示来执行如图像描述、目标检测和分割等任务。它利用包含54亿注释的5.4亿图像的FLD-5B数据集，精通多任务学习。其序列到序列的架构使其在零样本和微调设置中均表现出色，证明是一个有竞争力的视觉基础模型。

先进的机器学习模型，助力非商业研究。

Meta Chameleon是由Meta公司开发的一款机器学习模型，它为非商业研究用途提供支持，包括研究、开发、教育、处理或分析等，并不以商业利益或对您或他人的货币补偿为主要目的。模型包括机器学习模型代码、训练好的模型权重、推理启用代码、训练启用代码、微调启用代码、演示材料等。

NVIDIA的高级语言模型，优化于英文对话场景。

Nemotron-4-340B-Instruct是由NVIDIA开发的大型语言模型(LLM)，专为英文单轮和多轮对话场景优化。该模型支持4096个token的上下文长度，经过监督式微调(SFT)、直接偏好优化(DPO)和奖励感知偏好优化(RPO)等额外的对齐步骤。模型在约20K人工标注数据的基础上，通过合成数据生成管道合成了超过98%的用于监督微调和偏好微调的数据。这使得模型在人类对话偏好、数学推理、编码和指令遵循方面表现良好，并且能够为多种用例生成高质量的合成数据。

轻量级文本分类工具，使用大型语言模型嵌入。

fastc是一个基于大型语言模型嵌入的简单且轻量级的文本分类工具。它专注于CPU执行，使用高效的模型如deepset/tinyroberta-6l-768d生成嵌入。通过余弦相似度分类代替微调，实现文本分类。它还可以在不增加额外开销的情况下，使用相同的模型运行多个分类器。

开源视觉-语言-动作模型，推动机器人操作技术发展。

OpenVLA是一个具有7亿参数的开源视觉-语言-动作（VLA）模型，通过在Open X-Embodiment数据集上的970k机器人剧集进行预训练。该模型在通用机器人操作策略上设定了新的行业标准，支持开箱即用控制多个机器人，并且可以通过参数高效的微调快速适应新的机器人设置。OpenVLA的检查点和PyTorch训练流程完全开源，模型可以从HuggingFace下载并进行微调。

生成具有身份一致性和表情丰富性的3D人头模型

ID-to-3D是一种创新的方法，它能够从一张随意拍摄的野外图片中生成具有身份和文本引导的3D人头模型，具有分离的表情。该方法基于组合性，使用特定任务的2D扩散模型作为优化的先验。通过扩展基础模型并添加轻量级的表情感知和身份感知架构，创建了2D先验，用于几何和纹理生成，并通过微调仅0.2%的可用训练参数。结合强大的面部身份嵌入和神经表示，该方法不仅能够准确重建面部特征，还能重建配饰和头发，并可提供适用于游戏和远程呈现的渲染就绪资产。

先进的文本到图像AI模型，实现高质量图像生成。

Stable Diffusion 3 Medium是Stability AI迄今为止发布的最先进文本到图像生成模型。它具有2亿参数，提供出色的细节、色彩和光照效果，支持多种风格。模型对长文本和复杂提示的理解能力强，能够生成具有空间推理、构图元素、动作和风格的图像。此外，它还实现了前所未有的文本质量，减少了拼写、字距、字母形成和间距的错误。模型资源效率高，适合在标准消费级GPU上运行，且具备微调能力，可以吸收小数据集中的细微细节，非常适合定制化。

基于大规模数据的高质量信息抽取模型

雅意信息抽取大模型（YAYI-UIE）由中科闻歌算法团队研发，是一款在百万级人工构造的高质量信息抽取数据上进行指令微调的模型。它能够统一训练信息抽取任务，包括命名实体识别（NER）、关系抽取（RE）和事件抽取（EE），覆盖了通用、安全、金融、生物、医疗、商业等多个场景的结构化抽取。该模型的开源旨在促进中文预训练大模型开源社区的发展，并通过开源共建雅意大模型生态。

生物医学领域的专业通用模型

UltraMedical项目旨在开发生物医学领域的专业通用模型，这些模型旨在回答与考试、临床场景和研究问题相关的问题，同时保持广泛的通用知识基础，以有效处理跨领域问题。通过使用先进的对齐技术，包括监督微调(SFT)、直接偏好优化(DPO)和赔率比偏好优化(ORPO)，训练大型语言模型在UltraMedical数据集上，以创建强大且多功能的模型，有效服务于生物医学社区的需求。

3D形状的文本驱动逼真材质绘制

MaPa是一种创新的方法，能够根据文本描述为3D网格生成材质。该技术通过创建分段的程序化材质图来表示外观，支持高质量渲染，并在编辑上提供了显著的灵活性。利用预训练的2D扩散模型，MaPa在不需要大量配对数据的情况下，架起了文本描述和材质图之间的桥梁。该技术通过分解形状为多个部分，并设计了控制段的扩散模型来合成与网格部分对齐的2D图像，进而初始化材质图的参数，并通过可微分渲染模块进行微调，以产生符合文本描述的材质。广泛的实验表明，MaPa在逼真度、分辨率和可编辑性方面优于现有技术。

专为角色扮演优化的大型语言模型

Higgs-Llama-3-70B是一个基于Meta-Llama-3-70B的后训练模型，特别针对角色扮演进行了优化，同时在通用领域指令执行和推理方面保持竞争力。该模型通过监督式微调，结合人工标注者和私有大型语言模型构建偏好对，进行迭代偏好优化以对齐模型行为，使其更贴近系统消息。与其它指令型模型相比，Higgs模型更紧密地遵循其角色。

开源音频样本和声音设计模型

Stable Audio Open是一个开源的文本到音频模型，专为生成短音频样本、音效和制作元素而优化。它允许用户通过简单的文本提示生成高达47秒的高质量音频数据，特别适用于创造鼓点、乐器即兴演奏、环境声音、拟音录音等音乐制作和声音设计。开源发布的关键好处是用户可以根据自己的自定义音频数据微调模型。

3D一致性的视频生成框架

CamCo是一个创新的图像到视频生成框架，它能够生成具有3D一致性的高质量视频。该框架通过Plücker坐标引入相机信息，并提出了一种符合几何一致性的双线约束注意力模块。此外，CamCo在通过运动结构算法估计相机姿态的真实世界视频上进行了微调，以更好地合成物体运动。

一个自定义时间轴节点系统，简化视频/动画编辑流程。

TimeUi是一个为ComfyUI设计的自定义时间轴节点系统，旨在创建类似于视频/动画编辑工具的时间轴，但无需依赖传统的时间代码。用户可以轻松添加、删除或重新排列行，提供流畅的用户体验。系统支持图像上传和管理，允许用户直接将图像上传到节点或附加其他“上传图像”节点，简化工作流程。此外，每个时间轴行包含多种自定义设置，如切换图像遮罩的可见性，增强对图像调整的控制。节点可以独立工作或与其他外部节点一起工作，轻松切换设置如IP适配器、图像负片、注意力遮罩、剪辑视觉、遮罩等，以微调输出。

快速个性化文本到图像模型

HyperDreamBooth是由Google Research开发的一种超网络，用于快速个性化文本到图像模型。它通过从单张人脸图像生成一组小型的个性化权重，结合快速微调，能够在多种上下文和风格中生成具有高主题细节的人脸图像，同时保持模型对多样化风格和语义修改的关键知识。

通过强化学习微调大型视觉-语言模型作为决策代理

RL4VLM是一个开源项目，旨在通过强化学习微调大型视觉-语言模型，使其成为能够做出决策的智能代理。该项目由Yuexiang Zhai, Hao Bai, Zipeng Lin, Jiayi Pan, Shengbang Tong, Alane Suhr, Saining Xie, Yann LeCun, Yi Ma, Sergey Levine等研究人员共同开发。它基于LLaVA模型，并采用了PPO算法进行强化学习微调。RL4VLM项目提供了详细的代码库结构、入门指南、许可证信息以及如何引用该研究的说明。

实时视频到视频翻译的扩散模型

StreamV2V是一个扩散模型，它通过用户提示实现了实时的视频到视频（V2V）翻译。与传统的批处理方法不同，StreamV2V采用流式处理方式，能够处理无限帧的视频。它的核心是维护一个特征库，该库存储了过去帧的信息。对于新进来的帧，StreamV2V通过扩展自注意力和直接特征融合技术，将相似的过去特征直接融合到输出中。特征库通过合并存储的和新的特征不断更新，保持紧凑且信息丰富。StreamV2V以其适应性和效率脱颖而出，无需微调即可与图像扩散模型无缝集成。

创新的多模态链式思维框架，提升视觉推理能力

Cantor是一个多模态链式思维(CoT)框架，它通过感知决策架构，将视觉上下文获取与逻辑推理相结合，解决复杂的视觉推理任务。Cantor首先作为一个决策生成器，整合视觉输入来分析图像和问题，确保与实际情境更紧密的对齐。此外，Cantor利用大型语言模型(MLLMs)的高级认知功能，作为多面专家，推导出更高层次的信息，增强CoT生成过程。Cantor在两个复杂的视觉推理数据集上进行了广泛的实验，证明了所提出框架的有效性，无需微调或真实理由，就显著提高了多模态CoT性能。

开源大型语言模型的托管、部署、构建和微调一站式解决方案。

AIKit 是一个开源工具，旨在简化大型语言模型（LLMs）的托管、部署、构建和微调过程。它提供了与OpenAI API兼容的REST API，支持多种推理能力和格式，使用户可以使用任何兼容的客户端发送请求。此外，AIKit 还提供了一个可扩展的微调接口，支持Unsloth，为用户提供快速、内存高效且易于使用的微调体验。

多语言指令微调的大型语言模型

Aya-23-8B是由Cohere For AI开发的指令微调模型，具有23种语言的强大多语言能力，专注于将高性能预训练模型与Aya Collection结合，为研究人员提供高性能的多语言模型。

用于微调Meta Llama模型的库和示例脚本集合

llama-recipes是Meta Llama模型的配套仓库，旨在提供一个可扩展的库，用于微调Meta Llama模型，并提供一些示例脚本和笔记本，以便快速开始使用模型在各种用例中，包括领域适应的微调和构建基于LLM的应用程序。

大型语言模型，支持指令式对话和功能调用。

Mistral-7B-Instruct-v0.3是由Mistral AI Team开发的大型语言模型，它是Mistral-7B-v0.3的指令式微调版本。该模型具有扩展的词汇量、支持v3 Tokenizer和功能调用。它能够通过指令式对话和功能调用来生成文本，适合于需要交互式对话和自动化任务的场景。

微软轻量级、先进的多模态模型，专注于文本和视觉的高质量推理密集数据。

Phi-3 Vision是一个轻量级、最先进的开放多模态模型，基于包括合成数据和经过筛选的公开可用网站在内的数据集构建，专注于文本和视觉的非常高质量的推理密集数据。该模型属于Phi-3模型家族，多模态版本支持128K上下文长度（以token计），经过严格的增强过程，结合了监督微调和直接偏好优化，以确保精确的指令遵循和强大的安全措施。

Imajinn AI - 使用精确的AI生成独特的视觉效果工具和产品。

Imajinn AI是一款使用最新的人工智能技术将您的照片和图像转化为令人惊叹的艺术作品的工具。您可以使用Imajinn AI生成任何人或任何地方的惊人图像，包括个人资料图片、产品图片、品牌和样式。您甚至可以通过Imajinn AI进行自定义AI模型的微调，以生成与众不同的图像。