产品库

开源音频样本和声音设计模型

Stable Audio Open是一个开源的文本到音频模型，专为生成短音频样本、音效和制作元素而优化。它允许用户通过简单的文本提示生成高达47秒的高质量音频数据，特别适用于创造鼓点、乐器即兴演奏、环境声音、拟音录音等音乐制作和声音设计。开源发布的关键好处是用户可以根据自己的自定义音频数据微调模型。

AI技术驱动的声音效果生成器

Sound Effect Generator是一个利用AI技术为用户提供个性化音频创作的平台。它结合了专业的声音设计和前沿的AI技术，让用户能够快速将想法转化为高质量的音频。这个平台不仅适合寻找特定声音效果的用户，也适合那些对音频生成技术感兴趣的人。产品的主要优点包括易于使用、快速生成和高质量的音频输出。它为音乐制作人、视频编辑者和游戏开发者等提供了一个创新的解决方案。

高质量音频生成框架

AudioLM是由Google Research开发的一个框架，用于高质量音频生成，具有长期一致性。它将输入音频映射到离散标记序列，并将音频生成视为这一表示空间中的语言建模任务。AudioLM通过在大量原始音频波形上训练，学习生成自然且连贯的音频续篇，即使在没有文本或注释的情况下，也能生成语法和语义上合理的语音续篇，同时保持说话者的身份和韵律。此外，AudioLM还能生成连贯的钢琴音乐续篇，尽管它在训练时没有使用任何音乐的符号表示。

一款具有 17 亿参数的开源图像生成基础模型。

HiDream-I1 是一款新型的开源图像生成基础模型，拥有 170 亿个参数，能够在几秒内生成高质量图像。该模型适用于研究和开发，并在多个评测中表现优异，具有高效性和灵活性，适合用于各种创意设计和生成任务。

提供高级 AI 聊天体验，完全私密。

Together Chat 是一个安全的 AI 聊天平台，提供 100 条免费消息每天，适合需要私密对话和高质量交互的用户。它以 North America 为服务器地点，确保用户信息安全。

AbletonMCP 通过 MCP 与 Claude AI 集成，实现音乐制作的智能化。

AbletonMCP 是一款将 Ableton Live 与 Claude AI 连接的插件，利用模型上下文协议（MCP），能够实现音乐制作、音轨创建及实时会话操控。此工具不仅简化了音乐创作过程，还提高了工作效率，特别适合音乐制作人和创作者，帮助他们通过 AI 技术来激发灵感和快速实现创意。该插件的价格信息未提供，但用户可以在 GitHub 上免费下载和使用。

Wan 2.1 AI 是一款将文本和图像转化为高质量视频的先进 AI 视频生成模型。

Wan 2.1 AI 是由阿里巴巴开发的开源大规模视频生成 AI 模型。它支持文本到视频（T2V）和图像到视频（I2V）的生成，能够将简单的输入转化为高质量的视频内容。该模型在视频生成领域具有重要意义，能够极大地简化视频创作流程，降低创作门槛，提高创作效率，为用户提供丰富多样的视频创作可能性。其主要优点包括高质量的视频生成效果、复杂动作的流畅展现、逼真的物理模拟以及丰富的艺术风格等。目前该产品已完全开源，用户可以免费使用其基础功能，对于有视频创作需求但缺乏专业技能或设备的个人和企业来说，具有很高的实用价值。

CSM 1B 是一个由 Sesame 开发的文本到语音生成模型，可生成高质量的音频。

CSM 1B 是一个基于 Llama 架构的语音生成模型，能够从文本和音频输入中生成 RVQ 音频代码。该模型主要应用于语音合成领域，具有高质量的语音生成能力。其优势在于能够处理多说话人的对话场景，并通过上下文信息生成自然流畅的语音。该模型开源，旨在为研究和教育目的提供支持，但明确禁止用于冒充、欺诈或非法活动。

Gemma 3 是基于 Gemini 2.0 技术的轻量级、高性能开源模型，专为单 GPU 或 TPU 设备设计。

Gemma 3 是 Google 推出的最新开源模型，基于 Gemini 2.0 的研究和技术开发。它是一个轻量级、高性能的模型，能够在单个 GPU 或 TPU 上运行，为开发者提供强大的 AI 能力。Gemma 3 提供多种尺寸（1B、4B、12B 和 27B），支持超过 140 种语言，并具备先进的文本和视觉推理能力。其主要优点包括高性能、低计算需求以及广泛的多语言支持，适合在各种设备上快速部署 AI 应用。Gemma 3 的推出旨在推动 AI 技术的普及和创新，帮助开发者在不同硬件平台上实现高效开发。

HunyuanVideo-I2V 是腾讯推出的基于 HunyuanVideo 的图像到视频生成框架。

HunyuanVideo-I2V 是腾讯开源的图像到视频生成模型，基于 HunyuanVideo 架构开发。该模型通过图像潜在拼接技术，将参考图像信息有效整合到视频生成过程中，支持高分辨率视频生成，并提供可定制的 LoRA 效果训练功能。该技术在视频创作领域具有重要意义，能够帮助创作者快速生成高质量的视频内容，提升创作效率。

Soundlabs AI 提供下一代音频工具，专为音乐专业人士设计，可实时转换声音和乐器。

Soundlabs AI 是一款面向音乐制作人的音频工具，专注于实时声音和乐器转换。它通过先进的 AI 技术，将用户的声音转换为高质量的虚拟歌手或乐器音色，无缝集成到任何数字音频工作站（DAW）中。该技术的主要优点包括实时转换、高质量音频输出以及丰富的音色模型库。Soundlabs AI 不仅提升了音乐创作的灵活性，还为创作者提供了无限的创意可能性，无论是在流行音乐、电子音乐还是其他流派中都能发挥重要作用。其价格定位明确，提供多种购买选项，包括一次性购买和订阅服务，满足不同用户的需求。

一个用于将书籍转为有声读物、剧本转为播客的音频生成平台。

ElevenLabs Studio 是一个专注于音频内容创作的平台，利用先进的人工智能技术，能够将文本内容转化为高质量的音频。其主要优点包括支持多种文件格式、提供丰富的语音库、能够根据情感和上下文调整语音表达等。该平台适用于有声读物制作、播客创作等场景，能够帮助创作者高效地生成音频内容，提升创作效率和质量。其定价策略可能因用户需求和使用场景而异，具体价格可参考官网的定价页面。

Wan2.1-T2V-14B 是一款高性能的文本到视频生成模型，支持多种视频生成任务。

Wan2.1-T2V-14B 是一款先进的文本到视频生成模型，基于扩散变换器架构，结合了创新的时空变分自编码器（VAE）和大规模数据训练。它能够在多种分辨率下生成高质量的视频内容，支持中文和英文文本输入，并在性能和效率上超越现有的开源和商业模型。该模型适用于需要高效视频生成的场景，如内容创作、广告制作和视频编辑等。目前该模型在 Hugging Face 平台上免费提供，旨在推动视频生成技术的发展和应用。

PIKE-RAG 是一种专注于领域知识和推理增强生成的模型。

PIKE-RAG 是微软开发的一种领域知识和推理增强生成模型，旨在通过知识提取、存储和推理逻辑增强大型语言模型（LLM）的能力。该模型通过多模块设计，能够处理复杂的多跳问答任务，并在工业制造、矿业和制药等领域显著提升了问答准确性。PIKE-RAG 的主要优点包括高效的知识提取能力、强大的多源信息整合能力和多步推理能力，使其在需要深度领域知识和复杂逻辑推理的场景中表现出色。

SkyReels V1 是一个开源的人类中心视频基础模型，专注于高质量影视级视频生成。

SkyReels V1 是一个基于 HunyuanVideo 微调的人类中心视频生成模型。它通过高质量影视片段训练，能够生成具有电影级质感的视频内容。该模型在开源领域达到了行业领先水平，尤其在面部表情捕捉和场景理解方面表现出色。其主要优点包括开源领先性、先进的面部动画技术和电影级光影美学。该模型适用于需要高质量视频生成的场景，如影视制作、广告创作等，具有广泛的应用前景。

SkyReels-V1 是首个开源的人类中心视频基础模型，专注于高质量视频生成。

SkyReels-V1 是一个开源的人类中心视频基础模型，基于高质量影视片段微调，专注于生成高质量的视频内容。该模型在开源领域达到了顶尖水平，与商业模型相媲美。其主要优势包括：高质量的面部表情捕捉、电影级的光影效果以及高效的推理框架 SkyReelsInfer，支持多 GPU 并行处理。该模型适用于需要高质量视频生成的场景，如影视制作、广告创作等。

一个基于强化学习优化的大型语言模型，专注于数学问题解决能力的提升。

DeepScaleR-1.5B-Preview 是一个经过强化学习优化的大型语言模型，专注于提升数学问题解决能力。该模型通过分布式强化学习算法，显著提高了在长文本推理场景下的准确率。其主要优点包括高效的训练策略、显著的性能提升以及开源的灵活性。该模型由加州大学伯克利分校的 Sky Computing Lab 和 Berkeley AI Research 团队开发，旨在推动人工智能在教育领域的应用，尤其是在数学教育和竞赛数学领域。模型采用 MIT 开源许可，完全免费供研究人员和开发者使用。

Lumina-Video 是一个用于视频生成的初步尝试项目，支持文本到视频的生成。

Lumina-Video 是 Alpha-VLLM 团队开发的一个视频生成模型，主要用于从文本生成高质量的视频内容。该模型基于深度学习技术，能够根据用户输入的文本提示生成对应的视频，具有高效性和灵活性。它在视频生成领域具有重要意义，为内容创作者提供了强大的工具，能够快速生成视频素材。目前该项目已开源，支持多种分辨率和帧率的视频生成，并提供了详细的安装和使用指南。

Zonos-v0.1 是一款具有高保真语音克隆功能的实时文本转语音（TTS）模型。

Zonos-v0.1 是 Zyphra 团队开发的实时文本转语音（TTS）模型，具备高保真语音克隆功能。该模型包含一个 1.6B 参数的 Transformer 模型和一个 1.6B 参数的混合模型（Hybrid），均在 Apache 2.0 开源许可下发布。它能够根据文本提示生成自然、富有表现力的语音，并支持多种语言。此外，Zonos-v0.1 还可以通过 5 到 30 秒的语音片段实现高质量的语音克隆，并且可以根据说话速度、音调、音质和情绪等条件进行调整。其主要优点是生成质量高、支持实时交互，并且提供了灵活的语音控制功能。该模型的发布旨在推动 TTS 技术的研究和发展。

Hibiki 是一款用于流式语音翻译（即同声传译）的模型，能够实时逐块生成正确翻译。

Hibiki 是一款专注于流式语音翻译的先进模型。它通过实时积累足够的上下文信息来逐块生成正确的翻译，支持语音和文本翻译，并可进行声音转换。该模型基于多流架构，能够同时处理源语音和目标语音，生成连续的音频流和时间戳文本翻译。其主要优点包括高保真语音转换、低延迟实时翻译以及对复杂推理策略的兼容性。Hibiki 目前支持法语到英语的翻译，适合需要高效实时翻译的场景，如国际会议、多语言直播等。模型开源免费，适合开发者和研究人员使用。

支持100万Token上下文的开源Qwen模型，适用于长序列处理任务

Qwen2.5-1M 是一款开源的人工智能语言模型，专为处理长序列任务而设计，支持最多100万Token的上下文长度。该模型通过创新的训练方法和技术优化，显著提升了长序列处理的性能和效率。它在长上下文任务中表现出色，同时保持了短文本任务的性能，是现有长上下文模型的优秀开源替代。该模型适用于需要处理大量文本数据的场景，如文档分析、信息检索等，能够为开发者提供强大的语言处理能力。

BEN2是一个基于深度学习的图像分割模型，专注于背景擦除和前景提取。

BEN2（Background Erase Network）是一个创新的图像分割模型，采用了Confidence Guided Matting（CGM）流程。它通过一个细化网络专门处理模型置信度较低的像素，从而实现更精确的抠图效果。BEN2在头发抠图、4K图像处理、目标分割和边缘细化方面表现出色。其基础模型是开源的，用户可以通过API或Web演示免费试用完整模型。该模型训练数据包括DIS5k数据集和22K专有分割数据集，能够满足多种图像处理需求。

YuE 是一个专注于全曲生成的开源音乐基础模型，能够根据歌词生成完整的音乐作品。

YuE 是由香港科技大学和多模态艺术投影团队开发的开源音乐生成模型。它能够根据给定的歌词生成长达 5 分钟的完整歌曲，包括人声和伴奏部分。该模型通过多种技术创新，如语义增强音频标记器、双标记技术和歌词链式思考等，解决了歌词到歌曲生成的复杂问题。YuE 的主要优点是能够生成高质量的音乐作品，并且支持多种语言和音乐风格，具有很强的可扩展性和可控性。该模型目前免费开源，旨在推动音乐生成技术的发展。

Llasa-1B 是一个基于 LLaMA 的文本转语音 (TTS) 模型，支持中英文语音合成。

Llasa-1B 是一个由香港科技大学音频实验室开发的文本转语音模型。它基于 LLaMA 架构，通过结合 XCodec2 代码本中的语音标记，能够将文本转换为自然流畅的语音。该模型在 25 万小时的中英文语音数据上进行了训练，支持从纯文本生成语音，也可以利用给定的语音提示进行合成。其主要优点是能够生成高质量的多语言语音，适用于多种语音合成场景，如有声读物、语音助手等。该模型采用 CC BY-NC-ND 4.0 许可证，禁止商业用途。

Llasa-3B 是一个基于 LLaMA 的文本到语音合成模型，支持中英文语音生成。

Llasa-3B 是一个强大的文本到语音（TTS）模型，基于 LLaMA 架构开发，专注于中英文语音合成。该模型通过结合 XCodec2 的语音编码技术，能够将文本高效地转换为自然流畅的语音。其主要优点包括高质量的语音输出、支持多语言合成以及灵活的语音提示功能。该模型适用于需要语音合成的多种场景，如有声读物制作、语音助手开发等。其开源性质也使得开发者可以自由探索和扩展其功能。

一个简单的检索增强生成框架，使小型模型通过异构图索引和轻量级拓扑增强检索实现良好的RAG性能。

MiniRAG是一个针对小型语言模型设计的检索增强生成系统，旨在简化RAG流程并提高效率。它通过语义感知的异构图索引机制和轻量级的拓扑增强检索方法，解决了小型模型在传统RAG框架中性能受限的问题。该模型在资源受限的场景下具有显著优势，如在移动设备或边缘计算环境中。MiniRAG的开源特性也使其易于被开发者社区接受和改进。

MatterGen是一个利用生成式AI进行材料设计的工具。

MatterGen是微软研究院推出的一种生成式AI工具，用于材料设计。它能够根据应用的设计要求直接生成具有特定化学、机械、电子或磁性属性的新型材料，为材料探索提供了新的范式。该工具的出现有望加速新型材料的研发进程，降低研发成本，并在电池、太阳能电池、CO2吸附剂等领域发挥重要作用。目前，MatterGen的源代码已在GitHub上开源，供公众使用和进一步开发。

一个拥有8200万参数的前沿文本到语音（TTS）模型。

Kokoro-82M是一个由hexgrad创建并托管在Hugging Face上的文本到语音（TTS）模型。它具有8200万参数，使用Apache 2.0许可证开源。该模型在2024年12月25日发布了v0.19版本，并提供了10种独特的语音包。Kokoro-82M在TTS Spaces Arena中排名第一，显示出其在参数规模和数据使用上的高效性。它支持美国英语和英国英语，可用于生成高质量的语音输出。

开源幻觉评估模型

Llama-3-Patronus-Lynx-8B-Instruct是由Patronus AI开发的一个基于meta-llama/Meta-Llama-3-8B-Instruct模型的微调版本，主要用于检测在RAG设置中的幻觉。该模型训练于包含CovidQA、PubmedQA、DROP、RAGTruth等多个数据集，包含人工标注和合成数据。它能够评估给定文档、问题和答案是否忠实于文档内容，不提供文档之外的新信息，也不与文档信息相矛盾。

高效的文本到音频生成模型

TangoFlux是一个高效的文本到音频（TTA）生成模型，拥有515M参数，能够在单个A40 GPU上仅用3.7秒生成长达30秒的44.1kHz音频。该模型通过提出CLAP-Ranked Preference Optimization (CRPO)框架，解决了TTA模型对齐的挑战，通过迭代生成和优化偏好数据来增强TTA对齐。TangoFlux在客观和主观基准测试中均实现了最先进的性能，并且所有代码和模型均开源，以支持TTA生成的进一步研究。