产品库

一个用于文本到语音转换的开源项目。

ChatTTS是一个开源的文本到语音转换(TTS)模型，它允许用户将文本转换为语音。该模型主要面向学术研究和教育目的，不适用于商业或法律用途。它使用深度学习技术，能够生成自然流畅的语音输出，适合研究和开发语音合成技术的人员使用。

提升户外虚拟试穿效果的模型训练代码库

BooW-VTON是一个专注于提升户外虚拟试穿效果的研究项目，通过无需掩码的伪数据训练来增强虚拟试穿技术。该技术的重要性在于它能够改善在自然环境下服装试穿的真实感和准确性，对于时尚电商和虚拟现实领域具有重要意义。产品背景信息显示，该项目是基于深度学习技术的图像生成模型，旨在解决传统虚拟试穿中服装与人体融合不自然的问题。目前该项目是免费开源的，定位于研究和开发阶段。

语音合成工具，提供高质量的语音生成服务

Fish Speech是一款专注于语音合成的产品，它通过使用先进的深度学习技术，能够将文本转换为自然流畅的语音。该产品支持多种语言，包括中文、英文等，适用于需要文本到语音转换的场景，如语音助手、有声读物制作等。Fish Speech以其高质量的语音输出、易用性和灵活性为主要优点，背景信息显示，该产品不断更新，增加了数据集大小，并改进了量化器的参数，以提供更好的服务。

基于MaskGCT模型的文本到语音演示

MaskGCT TTS Demo 是一个基于MaskGCT模型的文本到语音（TTS）演示，由Hugging Face平台上的amphion提供。该模型利用深度学习技术，将文本转换为自然流畅的语音，适用于多种语言和场景。MaskGCT模型因其高效的语音合成能力和对多种语言的支持而受到关注。它不仅可以提高语音识别和合成的准确性，还能在不同的应用场景中提供个性化的语音服务。目前，该产品在Hugging Face平台上提供免费试用，具体价格和定位信息需进一步了解。

基于深度学习的高质量文本到语音合成模型

F5-TTS是由SWivid团队开发的一个文本到语音合成（TTS）模型，它利用深度学习技术将文本转换为自然流畅、忠实于原文的语音输出。该模型在生成语音时，不仅追求高自然度，还注重语音的清晰度和准确性，适用于需要高质量语音合成的各种应用场景，如语音助手、有声读物制作、自动新闻播报等。F5-TTS模型在Hugging Face平台上发布，用户可以方便地下载和部署，支持多种语言和声音类型，具有很高的灵活性和可扩展性。

Pyramid-Flow的ComfyUI包装节点，用于高效视觉生成。

ComfyUI-PyramidFlowWrapper是基于Pyramid-Flow模型的一套包装节点，旨在通过ComfyUI提供更高效的用户界面和更便捷的操作流程。该模型利用深度学习技术，专注于视觉内容的生成与处理，具有高效处理大量数据的能力。产品背景信息显示，它是由开发者kijai发起并维护的开源项目，目前尚未完全实现功能，但已具备一定的使用价值。由于是开源项目，其价格为免费，主要面向开发者和技术爱好者。

开源的音乐生成模型

QA-MDT是一个开源的音乐生成模型，集成了最先进的模型用于音乐生成。它基于多个开源项目，如AudioLDM、PixArt-alpha、MDT、AudioMAE和Open-Sora等。QA-MDT模型通过使用不同的训练策略，能够生成高质量的音乐。此模型特别适合对音乐生成有兴趣的研究人员和开发者使用。

开源自回归视觉生成模型项目

Open-MAGVIT2是由腾讯ARC实验室开源的一个自回归图像生成模型系列，包含从300M到1.5B不同规模的模型。该项目复现了Google的MAGVIT-v2分词器，实现了在ImageNet 256×256数据集上达到1.17 rFID的先进重建性能。通过引入不对称分词技术，将大词汇表分解为不同大小的子词汇表，并引入'下一个子标记预测'来增强子标记间的交互，以提高生成质量。所有模型和代码均已开源，旨在推动自回归视觉生成领域的创新和创造力。

轻量级端到端文本到语音模型

OptiSpeech是一个高效、轻量级且快速的文本到语音模型，专为设备端文本到语音转换设计。它利用了先进的深度学习技术，能够将文本转换为自然听起来的语音，适合需要在移动设备或嵌入式系统中实现语音合成的应用。OptiSpeech的开发得到了Pneuma Solutions提供的GPU资源支持，显著加速了开发进程。

开源项目，用于估算模型训练或推理所需的显存。

How Much VRAM 是一个开源项目，旨在帮助用户估算其模型在训练或推理过程中所需的显存量。通过这个项目，用户能够决定所需的硬件配置，而无需尝试多种配置。该项目对于需要进行深度学习模型训练的开发者和研究人员来说非常重要，因为它可以减少硬件选择的试错成本，提高效率。项目采用 MPL-2.0 许可协议，免费提供。

PaSa 是一个由大语言模型驱动的先进学术论文搜索代理，能够自主决策并获取准确结果。

PaSa 是由字节跳动开发的一种先进学术论文搜索代理，基于大语言模型（LLM）技术，能够自主调用搜索工具、阅读论文并筛选相关参考文献，以获取复杂学术查询的全面准确结果。该技术通过强化学习优化，使用合成数据集 AutoScholarQuery 进行训练，并在真实世界查询数据集 RealScholarQuery 上表现出色，显著优于传统搜索引擎和基于 GPT 的方法。PaSa 的主要优势在于其高召回率和精准率，能够为研究人员提供更高效的学术搜索体验。

在线学习Python、AI、大模型、AI写作绘画课程，零基础轻松入门。

Mo是一个专注于 AI 技术学习和应用的平台，旨在为用户提供从基础到高级的系统学习资源，帮助各类学习者掌握 AI 技能，并将其应用于实际项目中。无论你是大学生、职场新人，还是想提升自己技能的行业专家，Mo都能为你提供量身定制的课程、实战项目和工具，带你深入理解和应用人工智能。

一个基于文本生成图像的预训练模型，具有80亿参数和Apache 2.0开源许可。

Flex.1-alpha 是一个强大的文本到图像生成模型，基于80亿参数的修正流变换器架构。它继承了FLUX.1-schnell的特性，并通过训练指导嵌入器，使其无需CFG即可生成图像。该模型支持微调，并且具有开放源代码许可（Apache 2.0），适合在多种推理引擎中使用，如Diffusers和ComfyUI。其主要优点包括高效生成高质量图像、灵活的微调能力和开源社区支持。开发背景是为了解决图像生成模型的压缩和优化问题，并通过持续训练提升模型性能。

Frames 是 Runway 推出的高级图像生成基础模型，提供前所未有的风格控制和视觉保真度。

Frames 是 Runway 的核心产品之一，专注于图像生成领域。它通过深度学习技术，为用户提供高度风格化的图像生成能力。该模型允许用户定义独特的艺术视角，生成具有高度视觉保真度的图像。其主要优点包括强大的风格控制能力、高质量的图像输出以及灵活的创作空间。Frames 面向创意专业人士、艺术家和设计师，旨在帮助他们快速实现创意构思，提升创作效率。Runway 提供了多种使用场景和工具支持，用户可以根据需求选择不同的功能模块。价格方面，Runway 提供了付费和免费试用的选项，以满足不同用户的需求。

OmniThink 是一种通过模拟人类思考过程来提升机器写作知识密度的框架。

OmniThink 是一种创新的机器写作框架，旨在通过模拟人类的迭代扩展和反思过程，提升生成文章的知识密度。它通过知识密度指标衡量内容的独特性和深度，并通过信息树和概念池的结构化方式组织知识，从而生成高质量的长文本。该技术的核心优势在于能够有效减少冗余信息，提升内容的深度和新颖性，适用于需要高质量长文本生成的场景。

Seaweed-APT是一种支持实时单步生成1280x720 24fps视频的模型。

Seaweed-APT是一种用于视频生成的模型，通过对抗性后训练技术，实现了大规模文本到视频的单步生成。该模型能够在短时间内生成高质量的视频，具有重要的技术意义和应用价值。其主要优点是速度快、生成效果好，适用于需要快速生成视频的场景。目前尚未明确具体的价格和市场定位。

MangaNinja 是一种基于参考的线稿上色方法，可实现精确匹配和细粒度交互控制。

MangaNinja 是一种参考引导的线稿上色方法，它通过独特的设计确保精确的人物细节转录，包括用于促进参考彩色图像和目标线稿之间对应学习的块洗牌模块，以及用于实现细粒度颜色匹配的点驱动控制方案。该模型在自收集的基准测试中表现出色，超越了当前解决方案的精确上色能力。此外，其交互式点控制在处理复杂情况（如极端姿势和阴影）、跨角色上色、多参考协调等方面展现出巨大潜力，这些是现有算法难以实现的。MangaNinja 由来自香港大学、香港科技大学、通义实验室和蚂蚁集团的研究人员共同开发，相关论文已发表在 arXiv 上，代码也已开源。

InternLM3-8B-Instruct是一个开源的80亿参数指令模型，用于通用用途和高级推理。

InternLM3-8B-Instruct是InternLM团队开发的大型语言模型，具有卓越的推理能力和知识密集型任务处理能力。该模型在仅使用4万亿高质量词元进行训练的情况下，实现了比同级别模型低75%以上的训练成本，同时在多个基准测试中超越了Llama3.1-8B和Qwen2.5-7B等模型。它支持深度思考模式，能够通过长思维链解决复杂的推理任务，同时也具备流畅的用户交互能力。该模型基于Apache-2.0许可证开源，适用于需要高效推理和知识处理的各种应用场景。

强大的语言模型，拥有4560亿总参数，可处理长达400万token的上下文。

MiniMax-01是一个具有4560亿总参数的强大语言模型，其中每个token激活459亿参数。它采用混合架构，结合了闪电注意力、softmax注意力和专家混合（MoE），通过先进的并行策略和创新的计算-通信重叠方法，如线性注意力序列并行主义加（LASP+）、varlen环形注意力、专家张量并行（ETP）等，将训练上下文长度扩展到100万tokens，在推理时可处理长达400万tokens的上下文。在多个学术基准测试中，MiniMax-01展现了顶级模型的性能。

Lumina 是一款专为研究而设计的人工智能搜索引擎。

Lumina 作为一款人工智能搜索引擎，专注于为研究人员提供更精准、高效的信息检索服务。它利用先进的 AI 技术，能够深入理解用户的查询意图，并从海量的学术数据库中快速筛选出最相关的内容。与传统搜索引擎相比，Lumina 在学术研究领域的相关性高出 5 倍，极大地提高了研究人员的工作效率。该产品由 Y Combinator 孵化，拥有专业的开发团队和强大的技术支持，致力于为用户提供优质的搜索体验。目前，Lumina 提供免费试用，用户可以通过其官网进行注册使用。

一个拥有8200万参数的前沿文本到语音（TTS）模型。

Kokoro-82M是一个由hexgrad创建并托管在Hugging Face上的文本到语音（TTS）模型。它具有8200万参数，使用Apache 2.0许可证开源。该模型在2024年12月25日发布了v0.19版本，并提供了10种独特的语音包。Kokoro-82M在TTS Spaces Arena中排名第一，显示出其在参数规模和数据使用上的高效性。它支持美国英语和英国英语，可用于生成高质量的语音输出。

展示小型语言模型通过自我演化深度思考掌握数学推理能力的研究成果。

rStar-Math是一项研究，旨在证明小型语言模型（SLMs）能够在不依赖于更高级模型的情况下，与OpenAI的o1模型相媲美甚至超越其数学推理能力。该研究通过蒙特卡洛树搜索（MCTS）实现“深度思考”，其中数学策略SLM在基于SLM的流程奖励模型的指导下进行测试时搜索。rStar-Math引入了三种创新方法来应对训练两个SLM的挑战，通过4轮自我演化和数百万个合成解决方案，将SLMs的数学推理能力提升到最先进水平。该模型在MATH基准测试中显著提高了性能，并在AIME竞赛中表现优异。

SVFR是一个用于视频人脸修复的统一框架。

SVFR（Stable Video Face Restoration）是一个用于广义视频人脸修复的统一框架。它整合了视频人脸修复（BFR）、着色和修复任务，通过利用Stable Video Diffusion（SVD）的生成和运动先验，并结合统一的人脸修复框架中的任务特定信息，有效结合了这些任务的互补优势，增强了时间连贯性并实现了卓越的修复质量。该框架引入了可学习的任务嵌入以增强任务识别，并采用新颖的统一潜在正则化（ULR）来鼓励不同子任务之间的共享特征表示学习。此外，还引入了面部先验学习和自引用细化作为辅助策略，以进一步提高修复质量和时间稳定性。SVFR在视频人脸修复领域取得了最先进的成果，并为广义视频人脸修复建立了新的范式。

由Google Research开发的预训练时间序列预测模型。

TimesFM是一个由Google Research开发的预训练时间序列预测模型，用于时间序列预测任务。该模型在多个数据集上进行了预训练，能够处理不同频率和长度的时间序列数据。其主要优点包括高性能、可扩展性强以及易于使用。该模型适用于需要准确预测时间序列数据的各种应用场景，如金融、气象、能源等领域。该模型在Hugging Face平台上免费提供，用户可以方便地下载和使用。

STAR是一种用于真实世界视频超分辨率的时空增强框架，首次将强大的文本到视频扩散先验集成到真实世界视频超分辨率中。

STAR是一种创新的视频超分辨率技术，通过将文本到视频扩散模型与视频超分辨率相结合，解决了传统GAN方法中存在的过度平滑问题。该技术不仅能够恢复视频的细节，还能保持视频的时空一致性，适用于各种真实世界的视频场景。STAR由南京大学、字节跳动等机构联合开发，具有较高的学术价值和应用前景。

从穿着人身上生成平铺布料的模型

TryOffAnyone是一个用于从穿着人身上生成平铺布料的深度学习模型。该模型能够将穿着衣物的人的图片转换成布料平铺图，这对于服装设计、虚拟试衣等领域具有重要意义。它通过深度学习技术，实现了高度逼真的布料模拟，使得用户可以更直观地预览衣物的穿着效果。该模型的主要优点包括逼真的布料模拟效果和较高的自动化程度，可以减少实际试衣过程中的时间和成本。

70B参数的文本生成模型

Llama-3.1-70B-Instruct-AWQ-INT4是一个由Hugging Face托管的大型语言模型，专注于文本生成任务。该模型拥有70B个参数，能够理解和生成自然语言文本，适用于多种文本相关的应用场景，如内容创作、自动回复等。它基于深度学习技术，通过大量的数据训练，能够捕捉语言的复杂性和多样性。模型的主要优点包括高参数量带来的强大表达能力，以及针对特定任务的优化，使其在文本生成领域具有较高的效率和准确性。

微软开源的视频分词器家族

VidTok是微软开源的一系列先进的视频分词器，它在连续和离散分词方面表现出色。VidTok在架构效率、量化技术和训练策略上都有显著的创新，提供了高效的视频处理能力，并且在多个视频质量评估指标上超越了以往的模型。VidTok的开发旨在推动视频处理和压缩技术的发展，对于视频内容的高效传输和存储具有重要意义。

一款具有671B参数的Mixture-of-Experts语言模型。

DeepSeek-V3是一个强大的Mixture-of-Experts (MoE) 语言模型，拥有671B的总参数量，每次激活37B参数。它采用了Multi-head Latent Attention (MLA) 和 DeepSeekMoE架构，这些架构在DeepSeek-V2中得到了充分的验证。此外，DeepSeek-V3首次采用了无辅助损失的负载均衡策略，并设置了多令牌预测训练目标，以实现更强大的性能。DeepSeek-V3在14.8万亿高质量令牌上进行了预训练，随后进行了监督式微调和强化学习阶段，以充分利用其能力。综合评估显示，DeepSeek-V3超越了其他开源模型，并达到了与领先的闭源模型相当的性能。尽管性能出色，DeepSeek-V3的完整训练仅需要2.788M H800 GPU小时，并且训练过程非常稳定。

一站式大模型算法、模型及优化工具开源项目

FlagAI是由北京智源人工智能研究院推出的一站式、高质量开源项目，集成了全球各种主流大模型算法技术以及多种大模型并行处理和训练加速技术。它支持高效训练和微调，旨在降低大模型开发和应用的门槛，提高开发效率。FlagAI涵盖了多个领域明星模型，如语言大模型OPT、T5，视觉大模型ViT、Swin Transformer，多模态大模型CLIP等。智源研究院也持续将“悟道2.0”“悟道3.0”大模型项目成果开源至FlagAI，目前该项目已经加入Linux基金会，吸引全球科研力量共同创新、共同贡献。