产品库

基于深度学习的高质量文本到语音合成模型

F5-TTS是由SWivid团队开发的一个文本到语音合成（TTS）模型，它利用深度学习技术将文本转换为自然流畅、忠实于原文的语音输出。该模型在生成语音时，不仅追求高自然度，还注重语音的清晰度和准确性，适用于需要高质量语音合成的各种应用场景，如语音助手、有声读物制作、自动新闻播报等。F5-TTS模型在Hugging Face平台上发布，用户可以方便地下载和部署，支持多种语言和声音类型，具有很高的灵活性和可扩展性。

使用Llama模型的语音合成工具

Llama 3.2 3b Voice 是基于Hugging Face平台的一款语音合成模型，能够将文本转换为自然流畅的语音。该模型采用了先进的深度学习技术，能够模仿人类说话的语调、节奏和情感，适用于多种场景，如语音助手、有声读物、自动播报等。

Tarsier 是由字节跳动推出的用于生成高质量视频描述的大型视频语言模型。

Tarsier 是由字节跳动研究团队开发的一系列大规模视频语言模型，旨在生成高质量的视频描述，并具备强大的视频理解能力。该模型通过两阶段训练策略（多任务预训练和多粒度指令微调）显著提升了视频描述的精度和细节。其主要优点包括高精度的视频描述能力、对复杂视频内容的理解能力以及在多个视频理解基准测试中取得的 SOTA（State-of-the-Art）结果。Tarsier 的背景基于对现有视频语言模型在描述细节和准确性上的不足进行改进，通过大规模高质量数据训练和创新的训练方法，使其在视频描述领域达到了新的高度。该模型目前未明确定价，主要面向学术研究和商业应用，适合需要高质量视频内容理解和生成的场景。

强大的语言模型，拥有4560亿总参数，可处理长达400万token的上下文。

MiniMax-01是一个具有4560亿总参数的强大语言模型，其中每个token激活459亿参数。它采用混合架构，结合了闪电注意力、softmax注意力和专家混合（MoE），通过先进的并行策略和创新的计算-通信重叠方法，如线性注意力序列并行主义加（LASP+）、varlen环形注意力、专家张量并行（ETP）等，将训练上下文长度扩展到100万tokens，在推理时可处理长达400万tokens的上下文。在多个学术基准测试中，MiniMax-01展现了顶级模型的性能。

高效、多语种的语音合成模型

CosyVoice语音生成大模型2.0-0.5B是一个高性能的语音合成模型，支持零样本、跨语言的语音合成，能够根据文本内容直接生成相应的语音输出。该模型由通义实验室提供，具有强大的语音合成能力和广泛的应用场景，包括但不限于智能助手、有声读物、虚拟主播等。模型的重要性在于其能够提供自然、流畅的语音输出，极大地丰富了人机交互的体验。

3D网格生成与语言模型的统一

LLaMA-Mesh是一项将大型语言模型（LLMs）预训练在文本上扩展到生成3D网格的能力的技术。这项技术利用了LLMs中已经嵌入的空间知识，并实现了对话式3D生成和网格理解。LLaMA-Mesh的主要优势在于它能够将3D网格的顶点坐标和面定义表示为纯文本，允许与LLMs直接集成而无需扩展词汇表。该技术的主要优点包括能够从文本提示生成3D网格、按需产生交错的文本和3D网格输出，以及理解和解释3D网格。LLaMA-Mesh在保持强大的文本生成性能的同时，实现了与从头开始训练的模型相当的网格生成质量。

基于MaskGCT模型的文本到语音演示

MaskGCT TTS Demo 是一个基于MaskGCT模型的文本到语音（TTS）演示，由Hugging Face平台上的amphion提供。该模型利用深度学习技术，将文本转换为自然流畅的语音，适用于多种语言和场景。MaskGCT模型因其高效的语音合成能力和对多种语言的支持而受到关注。它不仅可以提高语音识别和合成的准确性，还能在不同的应用场景中提供个性化的语音服务。目前，该产品在Hugging Face平台上提供免费试用，具体价格和定位信息需进一步了解。

微软亚洲研究院开发的语音合成技术

VALL-E 2 是微软亚洲研究院推出的一款语音合成模型，它通过重复感知采样和分组编码建模技术，大幅提升了语音合成的稳健性与自然度。该模型能够将书面文字转化为自然语音，适用于教育、娱乐、多语言交流等多个领域，为提高无障碍性、增强跨语言交流等方面发挥重要作用。

一款由XTuner优化的LLaVA模型，结合了图像和文本处理能力。

llava-llama-3-8b-v1_1是一个由XTuner优化的LLaVA模型，它基于meta-llama/Meta-Llama-3-8B-Instruct和CLIP-ViT-Large-patch14-336，并通过ShareGPT4V-PT和InternVL-SFT进行了微调。该模型专为图像和文本的结合处理而设计，具有强大的多模态学习能力，适用于各种下游部署和评估工具包。

亚马逊的大规模语音合成模型

BASE TTS是亚马逊开发的大规模文本到语音合成模型,运用了10亿参数的自动回归转换器,可将文本转换成语音代码,再通过卷积解码器生成语音波形。该模型使用了超过10万小时的公共语音数据进行训练,实现了语音自然度的新状态。还具有音素解离和压缩等新颖的语音编码技术。随着模型规模的增大,BASE TTS展现出了处理复杂句子的自然语调能力。

打造人工智能未来

Anthropic是一款人工智能平台，通过深度学习和自然语言处理等技术，提供先进的人工智能解决方案。我们的产品具有强大的功能和优势，可应用于图像识别、自然语言处理、机器学习等领域。定价灵活合理，定位为帮助用户实现人工智能应用的目标。无论您是开发者、研究人员还是企业，Anthropic都能满足您的需求。

让您的AI助手像人类一样交流

Quickchat AI是一款帮助公司构建自己的多语言AI助手的技术。借助我们的无代码平台和强大的集成功能，公司可以构建会话式AI界面，并将其连接到任何网站、产品、应用、游戏或智能设备。Quickchat AI由生成式AI模型（如GPT-3）驱动，可以实现多语言的自然对话，并提供自动化客户支持、线索生成等功能。

一种新颖的图像到视频采样技术，基于Hunyuan模型实现高质量视频生成。

leapfusion-hunyuan-image2video 是一种基于 Hunyuan 模型的图像到视频生成技术。它通过先进的深度学习算法，将静态图像转换为动态视频，为内容创作者提供了一种全新的创作方式。该技术的主要优点包括高效的内容生成、灵活的定制化能力以及对高质量视频输出的支持。它适用于需要快速生成视频内容的场景，如广告制作、视频特效等领域。该模型目前以开源形式发布，供开发者和研究人员免费使用，未来有望通过社区贡献进一步提升其性能。

Llasa-1B 是一个基于 LLaMA 的文本转语音 (TTS) 模型，支持中英文语音合成。

Llasa-1B 是一个由香港科技大学音频实验室开发的文本转语音模型。它基于 LLaMA 架构，通过结合 XCodec2 代码本中的语音标记，能够将文本转换为自然流畅的语音。该模型在 25 万小时的中英文语音数据上进行了训练，支持从纯文本生成语音，也可以利用给定的语音提示进行合成。其主要优点是能够生成高质量的多语言语音，适用于多种语音合成场景，如有声读物、语音助手等。该模型采用 CC BY-NC-ND 4.0 许可证，禁止商业用途。

百川智能开发的专为医疗场景优化的开源大语言模型，具备卓越的通用能力和医疗领域性能。

Baichuan-M1-14B 是由百川智能开发的开源大语言模型，专为医疗场景优化。它基于20万亿token的高质量医疗与通用数据训练，覆盖20多个医疗科室，具备强大的上下文理解和长序列任务表现能力。该模型在医疗领域表现出色，同时在通用任务中也达到了同尺寸模型的效果。其创新的模型结构和训练方法使其在医疗推理、病症判断等复杂任务中表现出色，为医疗领域的人工智能应用提供了强大的支持。

VideoLLaMA3是前沿的多模态基础模型，专注于图像和视频理解。

VideoLLaMA3是由DAMO-NLP-SG团队开发的前沿多模态基础模型，专注于图像和视频理解。该模型基于Qwen2.5架构，结合了先进的视觉编码器（如SigLip）和强大的语言生成能力，能够处理复杂的视觉和语言任务。其主要优点包括高效的时空建模能力、强大的多模态融合能力以及对大规模数据的优化训练。该模型适用于需要深度视频理解的应用场景，如视频内容分析、视觉问答等，具有广泛的研究和商业应用潜力。

UPDF AI 助力用户对 PDF 文档进行总结、翻译、解释、重写、构思，提升阅读效率。

UPDF AI 是一款基于人工智能技术的 PDF 智能处理工具。它通过与 PDF 文档的交互，帮助用户快速提取和分析文档中的关键信息，从而提高阅读和学习效率。该产品利用先进的自然语言处理技术，能够精准地对文档内容进行总结、翻译、解释等操作。其主要优点包括高效的信息提取能力、精准的语言处理能力以及便捷的用户交互体验。UPDF AI 面向需要处理大量 PDF 文档的用户，无论是学生、研究人员还是专业人士，都能从中受益。目前，该产品的具体价格和定位尚未明确，但其强大的功能和高效的表现使其在市场上具有较高的竞争力。

WebWalker是一个用于评估大型语言模型在网页遍历能力上的基准测试框架。

WebWalker是一个由阿里巴巴集团通义实验室开发的多智能体框架，用于评估大型语言模型（LLMs）在网页遍历任务中的表现。该框架通过模拟人类浏览网页的方式，通过探索和评估范式来系统地提取高质量数据。WebWalker的主要优点在于其创新的网页遍历能力，能够深入挖掘多层级信息，弥补了传统搜索引擎在处理复杂问题时的不足。该技术对于提升语言模型在开放域问答中的表现具有重要意义，尤其是在需要多步骤信息检索的场景中。WebWalker的开发旨在推动语言模型在信息检索领域的应用和发展。

OmniThink 是一种通过模拟人类思考过程来提升机器写作知识密度的框架。

OmniThink 是一种创新的机器写作框架，旨在通过模拟人类的迭代扩展和反思过程，提升生成文章的知识密度。它通过知识密度指标衡量内容的独特性和深度，并通过信息树和概念池的结构化方式组织知识，从而生成高质量的长文本。该技术的核心优势在于能够有效减少冗余信息，提升内容的深度和新颖性，适用于需要高质量长文本生成的场景。

Seaweed-APT是一种支持实时单步生成1280x720 24fps视频的模型。

Seaweed-APT是一种用于视频生成的模型，通过对抗性后训练技术，实现了大规模文本到视频的单步生成。该模型能够在短时间内生成高质量的视频，具有重要的技术意义和应用价值。其主要优点是速度快、生成效果好，适用于需要快速生成视频的场景。目前尚未明确具体的价格和市场定位。

MangaNinja 是一种基于参考的线稿上色方法，可实现精确匹配和细粒度交互控制。

MangaNinja 是一种参考引导的线稿上色方法，它通过独特的设计确保精确的人物细节转录，包括用于促进参考彩色图像和目标线稿之间对应学习的块洗牌模块，以及用于实现细粒度颜色匹配的点驱动控制方案。该模型在自收集的基准测试中表现出色，超越了当前解决方案的精确上色能力。此外，其交互式点控制在处理复杂情况（如极端姿势和阴影）、跨角色上色、多参考协调等方面展现出巨大潜力，这些是现有算法难以实现的。MangaNinja 由来自香港大学、香港科技大学、通义实验室和蚂蚁集团的研究人员共同开发，相关论文已发表在 arXiv 上，代码也已开源。

将Common Crawl转化为精细的长期预训练数据集

Nemotron-CC是一个基于Common Crawl的6.3万亿token的数据集。它通过分类器集成、合成数据改写和减少启发式过滤器的依赖，将英文Common Crawl转化为一个6.3万亿token的长期预训练数据集，包含4.4万亿全球去重的原始token和1.9万亿合成生成的token。该数据集在准确性和数据量之间取得了更好的平衡，对于训练大型语言模型具有重要意义。

展示小型语言模型通过自我演化深度思考掌握数学推理能力的研究成果。

rStar-Math是一项研究，旨在证明小型语言模型（SLMs）能够在不依赖于更高级模型的情况下，与OpenAI的o1模型相媲美甚至超越其数学推理能力。该研究通过蒙特卡洛树搜索（MCTS）实现“深度思考”，其中数学策略SLM在基于SLM的流程奖励模型的指导下进行测试时搜索。rStar-Math引入了三种创新方法来应对训练两个SLM的挑战，通过4轮自我演化和数百万个合成解决方案，将SLMs的数学推理能力提升到最先进水平。该模型在MATH基准测试中显著提高了性能，并在AIME竞赛中表现优异。

SVFR是一个用于视频人脸修复的统一框架。

SVFR（Stable Video Face Restoration）是一个用于广义视频人脸修复的统一框架。它整合了视频人脸修复（BFR）、着色和修复任务，通过利用Stable Video Diffusion（SVD）的生成和运动先验，并结合统一的人脸修复框架中的任务特定信息，有效结合了这些任务的互补优势，增强了时间连贯性并实现了卓越的修复质量。该框架引入了可学习的任务嵌入以增强任务识别，并采用新颖的统一潜在正则化（ULR）来鼓励不同子任务之间的共享特征表示学习。此外，还引入了面部先验学习和自引用细化作为辅助策略，以进一步提高修复质量和时间稳定性。SVFR在视频人脸修复领域取得了最先进的成果，并为广义视频人脸修复建立了新的范式。

Sonus-1：开启大型语言模型（LLMs）的新时代

Sonus-1是Sonus AI推出的一系列大型语言模型（LLMs），旨在推动人工智能的边界。这些模型以其高性能和多应用场景的多功能性而设计，包括Sonus-1 Mini、Sonus-1 Air、Sonus-1 Pro和Sonus-1 Pro (w/ Reasoning)等不同版本，以满足不同需求。Sonus-1 Pro (w/ Reasoning)在多个基准测试中表现突出，特别是在推理和数学问题上，展现了其超越其他专有模型的能力。Sonus AI致力于开发高性能、可负担、可靠且注重隐私的大型语言模型。

70B参数的文本生成模型

Llama-3.1-70B-Instruct-AWQ-INT4是一个由Hugging Face托管的大型语言模型，专注于文本生成任务。该模型拥有70B个参数，能够理解和生成自然语言文本，适用于多种文本相关的应用场景，如内容创作、自动回复等。它基于深度学习技术，通过大量的数据训练，能够捕捉语言的复杂性和多样性。模型的主要优点包括高参数量带来的强大表达能力，以及针对特定任务的优化，使其在文本生成领域具有较高的效率和准确性。

知识增强型故事角色定制的统一世界模型

StoryWeaver是一个为知识增强型故事角色定制而设计的统一世界模型，旨在实现单一和多角色故事可视化。该模型基于AAAI 2025论文，能够通过统一的框架处理故事中角色的定制和可视化，这对于自然语言处理和人工智能领域具有重要意义。StoryWeaver的主要优点包括其能够处理复杂故事情境的能力，以及能够持续更新和扩展其功能。产品背景信息显示，该模型将不断更新arXiv论文，并添加更多实验结果。

场景感知的语义导航与指令引导控制模型

SCENIC是一个文本条件的场景交互模型，能够适应具有不同地形的复杂场景，并支持使用自然语言进行用户指定的语义控制。该模型通过用户指定的轨迹作为子目标和文本提示，来导航3D场景。SCENIC利用层次化推理场景的方法，结合运动与文本之间的帧对齐，实现不同运动风格之间的无缝过渡。该技术的重要性在于其能够生成符合真实物理规则和用户指令的角色导航动作，对于虚拟现实、增强现实以及游戏开发等领域具有重要意义。

一款具有671B参数的Mixture-of-Experts语言模型。

DeepSeek-V3是一个强大的Mixture-of-Experts (MoE) 语言模型，拥有671B的总参数量，每次激活37B参数。它采用了Multi-head Latent Attention (MLA) 和 DeepSeekMoE架构，这些架构在DeepSeek-V2中得到了充分的验证。此外，DeepSeek-V3首次采用了无辅助损失的负载均衡策略，并设置了多令牌预测训练目标，以实现更强大的性能。DeepSeek-V3在14.8万亿高质量令牌上进行了预训练，随后进行了监督式微调和强化学习阶段，以充分利用其能力。综合评估显示，DeepSeek-V3超越了其他开源模型，并达到了与领先的闭源模型相当的性能。尽管性能出色，DeepSeek-V3的完整训练仅需要2.788M H800 GPU小时，并且训练过程非常稳定。

一站式大模型算法、模型及优化工具开源项目

FlagAI是由北京智源人工智能研究院推出的一站式、高质量开源项目，集成了全球各种主流大模型算法技术以及多种大模型并行处理和训练加速技术。它支持高效训练和微调，旨在降低大模型开发和应用的门槛，提高开发效率。FlagAI涵盖了多个领域明星模型，如语言大模型OPT、T5，视觉大模型ViT、Swin Transformer，多模态大模型CLIP等。智源研究院也持续将“悟道2.0”“悟道3.0”大模型项目成果开源至FlagAI，目前该项目已经加入Linux基金会，吸引全球科研力量共同创新、共同贡献。