产品库

基于扩散模型的音频驱动人像和动物图像动画技术

JoyVASA是一种基于扩散模型的音频驱动人像动画技术，它通过分离动态面部表情和静态3D面部表示来生成面部动态和头部运动。这项技术不仅能够提高视频质量和唇形同步的准确性，还能扩展到动物面部动画，支持多语言，并在训练和推理效率上有所提升。JoyVASA的主要优点包括更长视频生成能力、独立于角色身份的运动序列生成以及高质量的动画渲染。

高分辨率、长时音频驱动的人像图像动画技术

Hallo2是一种基于潜在扩散生成模型的人像图像动画技术，通过音频驱动生成高分辨率、长时的视频。它通过引入多项设计改进，扩展了Hallo的功能，包括生成长时视频、4K分辨率视频，并增加了通过文本提示增强表情控制的能力。Hallo2的主要优点包括高分辨率输出、长时间的稳定性以及通过文本提示增强的控制性，这使得它在生成丰富多样的肖像动画内容方面具有显著优势。

使用扩散模型实现时间一致性的人像动画

TCAN是一种基于扩散模型的新型人像动画框架，它能够保持时间一致性并很好地泛化到未见过的领域。该框架通过特有的模块，如外观-姿态自适应层(APPA层)、时间控制网络和姿态驱动的温度图，来确保生成的视频既保持源图像的外观，又遵循驱动视频的姿态，同时保持背景的一致性。

生成逼真动态人像视频的先进技术

EchoMimic是一个先进的人像图像动画模型，能够通过音频和选定的面部特征点单独或组合驱动生成逼真的肖像视频。它通过新颖的训练策略，解决了传统方法在音频驱动时可能的不稳定性以及面部关键点驱动可能导致的不自然结果。EchoMimic在多个公共数据集和自收集数据集上进行了全面比较，并在定量和定性评估中展现出了卓越的性能。

统一的开放命名实体和语音识别模型

WhisperNER是一个结合了自动语音识别（ASR）和命名实体识别（NER）的统一模型，具备零样本能力。该模型旨在作为ASR带NER的下游任务的强大基础模型，并可以在特定数据集上进行微调以提高性能。WhisperNER的重要性在于其能够同时处理语音识别和实体识别任务，提高了处理效率和准确性，尤其在多语言和跨领域的场景中具有显著优势。

AI视频翻译、配音和唇形同步工具

Vozo Video Translator是一款利用人工智能技术提供视频翻译、配音和唇形同步服务的产品。它通过精确的AI翻译技术，结合背景知识，提供定制化、符合语境的翻译，适应用户的风格和语调偏好，确保翻译结果自然流畅。Vozo Video Translator的主要优点包括准确的语境翻译、AI驱动的校对和润色、真实的语音克隆和情感保留、以及多语种的唇形同步技术。产品背景信息显示，Vozo Video Translator支持多种语言的翻译，适用于全球市场，价格方面，新用户可以获得30积分的免费试用，之后可以根据需要升级计划。

123B参数的大型语言模型，具备先进推理和编码能力。

Mistral-Large-Instruct-2411是由Mistral AI提供的一款具有123B参数的大型语言模型，它在推理、知识、编码等方面具有最先进的能力。该模型支持多种语言，并在80多种编程语言上进行了训练，包括但不限于Python、Java、C、C++等。它以代理为中心，具备原生函数调用和JSON输出能力，是进行科研和开发的理想选择。

下一代语音AI，打造自然沟通的AI语音代理。

Ultravox.ai是一个先进的语音语言模型（SLM），直接处理语音，无需转换为文本，实现更自然、流畅的对话。它支持多语言，易于适应新语言或口音，确保与不同受众的顺畅沟通。产品背景信息显示，Ultravox.ai是一个开源模型，用户可以根据自己的需求进行定制和部署，价格为每分钟5美分。

将书籍转化为有声书，脚本转化为播客的全面工作流程

ElevenLabs Projects 是一个专注于长音频内容制作的平台，它允许用户将书籍和脚本转换成有声书和播客。该产品支持多种文件格式，拥有广泛的语音库，并提供情感范围和上下文适应的AI语音技术。它还提供了一系列高级功能，如多语言支持、特定文本片段的语音分配和片段编辑。ElevenLabs Projects 以其高质量的AI音频技术，帮助创作者和企业在全球范围内传播他们的故事。

基于扩散的混合运动动态角色艺术动画生成工具

MikuDance是一个基于扩散的动画生成管道，它结合了混合运动动态来动画化风格化的角色艺术。该技术通过混合运动建模和混合控制扩散两大关键技术，解决了高动态运动和参考引导错位在角色艺术动画中的挑战。MikuDance通过场景运动跟踪策略显式地在像素级空间中建模动态相机，实现统一的角色场景运动建模。在此基础上，混合控制扩散隐式地对不同角色的尺度和体型进行对齐，允许灵活控制局部角色运动。此外，还加入了运动自适应归一化模块，有效注入全局场景运动，为全面的角色艺术动画铺平了道路。通过广泛的实验，MikuDance在各种角色艺术和运动引导下展示了其有效性和泛化能力，始终如一地产生具有显著运动动态的高质量动画。

视频扩散模型，用于虚拟试穿。

Fashion-VDM是一个视频扩散模型（VDM），用于生成虚拟试穿视频。该模型接受一件衣物图片和人物视频作为输入，旨在生成人物穿着给定衣物的高质量试穿视频，同时保留人物的身份和动作。与传统的基于图像的虚拟试穿相比，Fashion-VDM在衣物细节和时间一致性方面表现出色。该技术的主要优点包括：扩散式架构、分类器自由引导增强控制、单次64帧512px视频生成的渐进式时间训练策略，以及联合图像-视频训练的有效性。Fashion-VDM在视频虚拟试穿领域树立了新的行业标准。

基于文本提示修订图像的大型扩散模型

SeedEdit是Doubao Team推出的大型扩散模型，用于根据任何文本提示修订图像。它通过逐步将图像生成器与强大的图像编辑器对齐，实现了图像重建和图像再生之间的最佳平衡。SeedEdit能够实现高审美/分辨率图像的零样本稳定编辑，并支持图像的连续修订。该技术的重要性在于其能够解决图像编辑问题中成对图像数据稀缺的核心难题，通过将文本到图像(T2I)生成模型视为弱编辑模型，并通过生成带有新提示的新图像来实现“编辑”，然后将其蒸馏并与之对齐到图像条件编辑模型中。

Jumper是一个强大的AI视频搜索工具，帮助编辑者快速找到视频素材。

Jumper是一个专为视频编辑者设计的AI搜索工具，它能够让用户在眨眼间搜索自己的视频素材。Jumper集成到了用户的非线性编辑器（NLE）中，无需离开编辑工作流程即可找到所需素材。Jumper支持多语言搜索，能够快速定位特定词汇或短语在视频中的位置，支持多机位和同步剪辑，并且完全在设备上运行，保护用户隐私，无需上传素材至云端。Jumper的主要优点包括快速搜索、完全离线工作、保护隐私和兼容性强。产品背景信息显示，Jumper由Witchcraft Software AB开发，旨在通过AI技术提高视频编辑的效率和创造力。

AI内容审核服务，保护下游部署安全。

Mistral Moderation API是Mistral AI推出的内容审核服务，旨在帮助用户检测和过滤不受欢迎的文本内容。该API是Le Chat中使用的审核服务的同一技术，现在对外开放，以便用户可以根据特定的应用和安全标准定制和使用这一工具。该模型是一个基于LLM（大型语言模型）的分类器，能够将文本输入分类到9个预定义的类别中。Mistral AI的这一API支持原生多语言，特别针对阿拉伯语、中文、英语、法语、德语、意大利语、日语、韩语、葡萄牙语、俄语和西班牙语进行了训练。该API的主要优点包括提高审核的可扩展性和鲁棒性，以及通过技术文档提供的详细政策定义和启动指南，帮助用户有效实施系统级的安全防护。

语鲸，智能语言处理平台

语鲸是一个专注于语言处理的平台，它利用先进的自然语言处理技术，为用户提供文本分析、翻译、校对等服务。产品背景信息显示，语鲸旨在帮助用户提高写作效率和质量，特别是在多语言环境中。语鲸的价格定位尚未明确，但考虑到其提供的服务，可能会有免费试用和付费版本。

简单易用，释放AI的强大力量

5ire是一个以简洁和用户友好为核心的AI产品，旨在让即使是初学者也能轻松利用大型语言模型。它支持多种文档格式的解析和向量化，具备本地知识库、使用分析、提示库、书签和快速关键词搜索等功能。作为一个开源项目，5ire提供免费下载，并且提供了按需付费的大型语言模型API服务。

下一代AI作业助手，免费获取作业答案

AI Homeworkify是一个基于人工智能的在线问答平台，旨在帮助学生通过提供详细的答案和解题步骤来学习和理解各种学术问题。该平台不涉及版权侵犯，注重教育平等，提供免费、即时的作业帮助，支持多种学科和语言。AI Homeworkify的主要优点包括完全免费、无需注册、即时答案、全天候服务、多设备兼容、隐私保护和逐步解决方案。产品背景信息显示，AI Homeworkify致力于通过技术手段减少教育不平等，为全球学生提供免费的优质学习辅助服务。

AI驱动的商业与学术写作助手

PaperGen是一个利用人工智能技术帮助用户生成结构良好的长篇论文和报告的平台。它通过提供完全引用的参考文献、自动生成的图表和图形、以及绕过AI检测的原创写作体验，确保内容的原创性、清晰度和精确度。PaperGen的主要优点包括提高写作效率、保证内容质量、以及节省用户在文献搜索和引用上的时间。产品背景信息显示，PaperGen被全球的大学和企业所信赖，适合需要撰写学术论文、案例研究、文献综述、博客文章和研究报告的用户。价格方面，PaperGen提供多种订阅计划，包括免费计划和其他付费计划，满足不同用户的需求。

用AI记录会议并总结，提升工作效率。

Sona是一款能够记录、转录、总结和聊天的应用程序，它通过捕捉对话并提供最重要的见解来提升用户的工作效率。Sona可以在多种设备上使用，包括Apple Watch、iPhone和桌面客户端，支持99种语言，让用户无论在何种语言环境下都能进行对话记录和总结。产品的主要优点包括无缝捕捉对话、智能总结、继续对话、多语言支持以及在后台工作，不干扰会议。Sona的定位是帮助用户在会议和日常对话中捕捉重要信息，避免遗漏关键细节。

基于Gradio的实时人像动画Web界面

AdvancedLivePortrait-WebUI是一个基于Gradio框架开发的Web界面，用于实时人像动画编辑。该技术允许用户通过上传图片来编辑人物的面部表情，实现了高效的肖像动画制作。它基于LivePortrait算法，利用深度学习技术进行面部特征的捕捉和动画制作，具有操作简便、效果逼真的优点。产品背景信息显示，它是由jhj0517开发的开源项目，适用于需要进行人像动画制作的专业人士和爱好者。目前该项目是免费的，并且开源，用户可以自由使用和修改。

世界上最快的文本到语音模型

Lightning是由smallest.ai开发的最新文本到语音模型，以其超快速度和小巧的体积在多模态AI中突破了性能和尺寸的界限。该模型支持英语和印地语等多种口音，并计划迅速扩展更多语言。Lightning的非自回归架构使其能够同时合成整个音频剪辑，与传统的自回归模型相比，后者需要逐步生成音频。Lightning的主要优点包括生成速度快、模型体积小、支持多语言和快速适应新数据。产品背景信息显示，Lightning的推出旨在帮助语音机器人公司大幅降低延迟和成本，通过简化其架构。价格方面，Lightning的定价从每分钟0.04美元起，对于每月使用超过100,000分钟的企业客户，提供定制定价方案。

语音合成工具，提供高质量的语音生成服务

Fish Speech是一款专注于语音合成的产品，它通过使用先进的深度学习技术，能够将文本转换为自然流畅的语音。该产品支持多种语言，包括中文、英文等，适用于需要文本到语音转换的场景，如语音助手、有声读物制作等。Fish Speech以其高质量的语音输出、易用性和灵活性为主要优点，背景信息显示，该产品不断更新，增加了数据集大小，并改进了量化器的参数，以提供更好的服务。

高精度环境音频信息捕捉与生成的语音转语音模型

Fish Agent V0.1 3B是一个开创性的语音转语音模型，能够以前所未有的精确度捕捉和生成环境音频信息。该模型采用了无语义标记架构，消除了传统语义编码器/解码器的需求。此外，它还是一个尖端的文本到语音(TTS)模型，训练数据涵盖了700,000小时的多语言音频内容。作为Qwen-2.5-3B-Instruct的继续预训练版本，它在200B语音和文本标记上进行了训练。该模型支持包括英语、中文在内的8种语言，每种语言的训练数据量不同，其中英语和中文各约300,000小时，其他语言各约20,000小时。

盲图像恢复技术，利用即时生成参考图像恢复破损图像

InstantIR是一种基于扩散模型的盲图像恢复方法，能够在测试时处理未知退化问题，提高模型的泛化能力。该技术通过动态调整生成条件，在推理过程中生成参考图像，从而提供稳健的生成条件。InstantIR的主要优点包括：能够恢复极端退化的图像细节，提供逼真的纹理，并且通过文本描述调节生成参考，实现创造性的图像恢复。该技术由北京大学、InstantX团队和香港中文大学的研究人员共同开发，得到了HuggingFace和fal.ai的赞助支持。

根据人类指令修复和编辑照片的框架

PromptFix是一个综合框架，能够使扩散模型遵循人类指令执行各种图像处理任务。该框架通过构建大规模的指令遵循数据集，提出了高频引导采样方法来控制去噪过程，并设计了辅助提示适配器，利用视觉语言模型增强文本提示，提高模型的任务泛化能力。PromptFix在多种图像处理任务中表现优于先前的方法，并在盲恢复和组合任务中展现出优越的零样本能力。

全能AI摘要生成器，快速生成文本、PDF、视频摘要。

AI Summarizer是一个强大的AI摘要生成器，支持文本、PDF、视频等多种格式的摘要生成。它通过先进的算法提取关键信息，帮助用户快速理解内容要点，提升工作和学习效率。产品支持超过50种语言，保障用户隐私，不存储任何上传文件，并提供免费的Chrome扩展插件，方便用户随时随地使用。

为你所爱之人创造个性化AI歌曲

LoveTunesAI是一个在线平台，允许用户轻松创建任何特殊场合或仅为娱乐而设计的个性化AI歌曲。它提供了工作室级别的音乐，专为用户所爱的人设计。用户可以分享他们的特殊时刻、感受或记忆，LoveTunesAI将这些故事转化为美丽的定制歌词，并一键生成独特的歌曲。用户可以从500多种音乐风格中选择，从流行到金属，或任何中间的风格，LoveTunesAI都能创造出完美的曲调，提供一首值得分享或永远珍惜的难忘歌曲。产品背景信息显示，LoveTunesAI支持印地语、英语和旁遮普语，价格从9美元起，远低于传统工作室每首歌200美元的平均成本。

AI notepad that organizes meeting notes into structured insights.

Magic Notepad™ 是一款人工智能记事本，它通过AI技术将会议笔记整理成结构化的洞察，提供美观的格式和下一步行动建议。它允许用户在会议中记录重要的事项，然后由AI接手，自动整理笔记，让用户能够更专注于会议内容本身。产品背景信息显示，Magic Notepad™ 旨在通过AI技术提升会议效率，减少会后整理笔记的时间，帮助用户更好地追踪行动项，并为每次会议做好准备。产品定位为免费试用，旨在吸引用户通过实际体验来感受AI技术带来的便利。

大规模视频生成的自回归扩散模型

MarDini是Meta AI Research推出的一款视频扩散模型，它将掩码自回归（MAR）的优势整合到统一的扩散模型（DM）框架中。该模型能够根据任意数量的掩码帧在任意帧位置进行视频生成，支持视频插值、图像到视频生成以及视频扩展等多种视频生成任务。MarDini的设计高效，将大部分计算资源分配给低分辨率规划模型，使得在大规模上进行空间-时间注意力成为可能。MarDini在视频插值方面树立了新的标杆，并且在几次推理步骤内，就能高效生成与更昂贵的高级图像到视频模型相媲美的视频。

AI驱动的键盘布局修正工具

Correctly是一个智能打字工具，能够理解您的打字意图，即使您使用了错误的键盘布局。无需手动切换语言，Correctly能够检测并纠正输入错误，确保您的信息准确传达。该产品背景是解决用户在不同语言键盘布局之间切换的困难，通过AI技术提高输入效率和准确性。产品目前免费提供，主要面向需要频繁切换键盘布局的用户群体。