产品库

基于扩散模型的文本到音频生成技术

Make-An-Audio 2是一种基于扩散模型的文本到音频生成技术，由浙江大学、字节跳动和香港中文大学的研究人员共同开发。该技术通过使用预训练的大型语言模型(LLMs)解析文本，优化了语义对齐和时间一致性，提高了生成音频的质量。它还设计了基于前馈Transformer的扩散去噪器，以改善变长音频生成的性能，并增强时间信息的提取。此外，通过使用LLMs将大量音频标签数据转换为音频文本数据集，解决了时间数据稀缺的问题。

加速视频扩散模型，生成速度提升 8.5 倍。

AccVideo 是一种新颖的高效蒸馏方法，通过合成数据集加速视频扩散模型的推理速度。该模型能够在生成视频时实现 8.5 倍的速度提升，同时保持相似的性能。它使用预训练的视频扩散模型生成多条有效去噪轨迹，从而优化了数据的使用和生成过程。AccVideo 特别适用于需要高效视频生成的场景，如电影制作、游戏开发等，适合研究人员和开发者使用。

实现灵活且高保真度的图像生成，同时保持身份特征。

InfiniteYou（InfU）是一个基于扩散变换器的强大框架，旨在实现灵活的图像重构，并保持用户身份。它通过引入身份特征并采用多阶段训练策略，显著提升了图像生成的质量和美学，同时改善了文本与图像的对齐。该技术对提高图像生成的相似性和美观性具有重要意义，适用于各种图像生成任务。

通过扩散模型实现单目视频的相机轨迹重定向。

TrajectoryCrafter 是一种先进的相机轨迹重定向工具，利用扩散模型技术，将单目视频中的相机运动重新设计，提升视频的表现力和视觉吸引力。该技术可广泛应用于影视制作和虚拟现实等领域，具备高效、便捷和创新的特点，旨在为用户提供更多创意自由和控制能力。

Inception Labs 推出新一代扩散式大语言模型，提供极速、高效和高质量的语言生成能力。

Inception Labs 是一家专注于开发扩散式大语言模型（dLLMs）的公司。其技术灵感来源于先进的图像和视频生成系统，如 Midjourney 和 Sora。通过扩散模型，Inception Labs 提供了比传统自回归模型快 5-10 倍的速度、更高的效率和更强的生成控制能力。其模型支持并行文本生成，能够纠正错误和幻觉，适合多模态任务，并且在推理和结构化数据生成方面表现出色。公司由斯坦福、UCLA 和康奈尔大学的研究人员和工程师组成，是扩散模型领域的先驱。

Project Starlight 是一款基于 AI 的视频增强工具，可将低分辨率和损坏的视频提升为高清质量。

Project Starlight 是 Topaz Labs 推出的一款 AI 视频增强模型，专为提升低分辨率和损坏视频的质量而设计。它采用了扩散模型技术，能够实现视频的超分辨率、降噪、去模糊和锐化等功能，同时保持时间一致性，确保视频帧之间的流畅过渡。该技术是视频增强领域的重大突破，为视频修复和提升带来了前所未有的高质量效果。目前，Project Starlight 提供免费试用，并计划在未来支持 4K 导出，主要面向需要高质量视频修复和增强的用户和企业。

Mercury Coder 是一款基于扩散模型的高性能代码生成语言模型。

Mercury Coder 是 Inception Labs 推出的首款商用级扩散大语言模型（dLLM），专为代码生成优化。该模型采用扩散模型技术，通过‘粗到细’的生成方式，显著提升生成速度和质量。其速度比传统自回归语言模型快 5-10 倍，能够在 NVIDIA H100 硬件上达到每秒 1000 多个 token 的生成速度，同时保持高质量的代码生成能力。该技术的背景是当前自回归语言模型在生成速度和推理成本上的瓶颈，而 Mercury Coder 通过算法优化突破了这一限制，为企业级应用提供了更高效、低成本的解决方案。

VideoGrain 是一种零样本方法，用于实现类别级、实例级和部件级的视频编辑。

VideoGrain 是一种基于扩散模型的视频编辑技术，通过调节时空注意力机制实现多粒度视频编辑。该技术解决了传统方法中语义对齐和特征耦合的问题，能够对视频内容进行精细控制。其主要优点包括零样本编辑能力、高效的文本到区域控制以及特征分离能力。该技术适用于需要对视频进行复杂编辑的场景，如影视后期、广告制作等，能够显著提升编辑效率和质量。

通过强化学习提升大型语言模型在开源软件演变中的推理能力

SWE-RL 是由 Facebook Research 提出的一种基于强化学习的大型语言模型推理技术，旨在利用开源软件演变数据提升模型在软件工程任务中的表现。该技术通过规则驱动的奖励机制，优化模型的推理能力，使其能够更好地理解和生成高质量的代码。SWE-RL 的主要优点在于其创新性的强化学习方法和对开源数据的有效利用，为软件工程领域带来了新的可能性。该技术目前处于研究阶段，尚未明确商业化定价，但其在提升开发效率和代码质量方面具有显著潜力。

探索大型语言模型作为编程辅导工具的潜力，提出Trace-and-Verify工作流。

Coding-Tutor是一个基于大型语言模型（LLM）的编程辅导工具，旨在通过对话式交互帮助学习者提升编程能力。它通过Trace-and-Verify（Traver）工作流，结合知识追踪和逐轮验证，解决编程辅导中的关键挑战。该工具不仅适用于编程教育，还可扩展到其他任务辅导场景，帮助根据学习者的知识水平调整教学内容。项目开源，支持社区贡献。

MakeAnything 是一个用于多领域程序化序列生成的扩散变换器模型。

MakeAnything 是一个基于扩散变换器的模型，专注于多领域程序化序列生成。该技术通过结合先进的扩散模型和变换器架构，能够生成高质量的、逐步的创作序列，如绘画、雕塑、图标设计等。其主要优点在于能够处理多种领域的生成任务，并且可以通过少量样本快速适应新领域。该模型由新加坡国立大学 Show Lab 团队开发，目前以开源形式提供，旨在推动多领域生成技术的发展。

Goedel-Prover 是一款开源的自动化定理证明模型，专注于数学问题的形式化证明。

Goedel-Prover 是一款专注于自动化定理证明的开源大型语言模型。它通过将自然语言数学问题翻译为形式化语言（如 Lean 4），并生成形式化证明，显著提升了数学问题的自动化证明效率。该模型在 miniF2F 基准测试中达到了 57.6% 的成功率，超越了其他开源模型。其主要优点包括高性能、开源可扩展性以及对数学问题的深度理解能力。Goedel-Prover 旨在推动自动化定理证明技术的发展，并为数学研究和教育提供强大的工具支持。

Pippo 是一个从单张照片生成高分辨率多人视角视频的生成模型。

Pippo 是由 Meta Reality Labs 和多所高校合作开发的生成模型，能够从单张普通照片生成高分辨率的多人视角视频。该技术的核心优势在于无需额外输入（如参数化模型或相机参数），即可生成高质量的 1K 分辨率视频。它基于多视角扩散变换器架构，具有广泛的应用前景，如虚拟现实、影视制作等。Pippo 的代码已开源，但不包含预训练权重，用户需要自行训练模型。

OmniParser 是一款通用屏幕解析工具，可将 UI 截图转换为结构化格式，提升基于 LLM 的 UI 代理性能。

OmniParser 是微软开发的一种先进的图像解析技术，旨在将不规则的屏幕截图转换为结构化的元素列表，包括可交互区域的位置和图标的功能描述。它通过深度学习模型，如 YOLOv8 和 Florence-2，实现了对 UI 界面的高效解析。该技术的主要优点在于其高效性、准确性和广泛的适用性。OmniParser 可以显著提高基于大型语言模型（LLM）的 UI 代理的性能，使其能够更好地理解和操作各种用户界面。它在多种应用场景中表现出色，如自动化测试、智能助手开发等。OmniParser 的开源特性和灵活的许可证使其成为开发者和研究人员的有力工具。

On-device Sora 是一个基于扩散模型的移动设备端文本到视频生成项目。

On-device Sora 是一个开源项目，旨在通过线性比例跳跃（LPL）、时间维度标记合并（TDTM）和动态加载并发推理（CI-DL）等技术，实现在移动设备（如 iPhone 15 Pro）上高效的视频生成。该项目基于 Open-Sora 模型开发，能够根据文本输入生成高质量视频。其主要优点包括高效性、低功耗和对移动设备的优化。该技术适用于需要在移动设备上快速生成视频内容的场景，如短视频创作、广告制作等。项目目前开源，用户可以免费使用。

DiffSplat 是一个从文本提示和单视图图像生成 3D 高斯点云的生成框架。

DiffSplat 是一种创新的 3D 生成技术，能够从文本提示和单视图图像快速生成 3D 高斯点云。该技术通过利用大规模预训练的文本到图像扩散模型，实现了高效的 3D 内容生成。它解决了传统 3D 生成方法中数据集有限和无法有效利用 2D 预训练模型的问题，同时保持了 3D 一致性。DiffSplat 的主要优点包括高效的生成速度（1~2 秒内完成）、高质量的 3D 输出以及对多种输入条件的支持。该模型在学术研究和工业应用中具有广泛前景，尤其是在需要快速生成高质量 3D 模型的场景中。

一种用于控制视频扩散模型运动模式的高效方法，支持运动模式的自定义和迁移。

Go with the Flow 是一种创新的视频生成技术，通过使用扭曲噪声代替传统的高斯噪声，实现了对视频扩散模型运动模式的高效控制。该技术无需对原始模型架构进行修改，即可在不增加计算成本的情况下，实现对视频中物体和相机运动的精确控制。其主要优点包括高效性、灵活性和可扩展性，能够广泛应用于图像到视频生成、文本到视频生成等多种场景。该技术由 Netflix Eyeline Studios 等机构的研究人员开发，具有较高的学术价值和商业应用潜力，目前开源免费提供给公众使用。

Mistral Small 24B 是一款多语言、高性能的指令微调型大型语言模型，适用于多种应用场景。

Mistral Small 24B 是一款由 Mistral AI 团队开发的大型语言模型，拥有 240 亿参数，支持多语言对话和指令处理。该模型通过指令微调，能够生成高质量的文本内容，适用于聊天、写作、编程辅助等多种场景。其主要优点包括强大的语言生成能力、多语言支持以及高效推理能力。该模型适合需要高性能语言处理的个人和企业用户，具有开源许可，支持本地部署和量化优化，适合对数据隐私有要求的场景。

TokenVerse 是一种基于预训练文本到图像扩散模型的多概念个性化方法。

TokenVerse 是一种创新的多概念个性化方法，它利用预训练的文本到图像扩散模型，能够从单张图像中解耦复杂的视觉元素和属性，并实现无缝的概念组合生成。这种方法突破了现有技术在概念类型或广度上的限制，支持多种概念，包括物体、配饰、材质、姿势和光照等。TokenVerse 的重要性在于其能够为图像生成领域带来更灵活、更个性化的解决方案，满足用户在不同场景下的多样化需求。目前，TokenVerse 的代码尚未公开，但其在个性化图像生成方面的潜力已经引起了广泛关注。

DeepSeek-R1-Distill-Llama-70B 是一款基于强化学习优化的大型语言模型，专注于推理和对话能力。

DeepSeek-R1-Distill-Llama-70B 是由 DeepSeek 团队开发的一款大型语言模型，基于 Llama-70B 架构并通过强化学习进行优化。该模型在推理、对话和多语言任务中表现出色，支持多种应用场景，包括代码生成、数学推理和自然语言处理。其主要优点是高效的推理能力和对复杂问题的解决能力，同时支持开源和商业使用。该模型适用于需要高性能语言生成和推理能力的企业和研究机构。

X-Dyna是一种基于扩散模型的零样本人类图像动画生成技术。

X-Dyna是一种创新的零样本人类图像动画生成技术，通过将驱动视频中的面部表情和身体动作迁移到单张人类图像上，生成逼真且富有表现力的动态效果。该技术基于扩散模型，通过Dynamics-Adapter模块，将参考外观上下文有效整合到扩散模型的空间注意力中，同时保留运动模块合成流畅复杂动态细节的能力。它不仅能够实现身体姿态控制，还能通过本地控制模块捕捉与身份无关的面部表情，实现精确的表情传递。X-Dyna在多种人类和场景视频的混合数据上进行训练，能够学习物理人体运动和自然场景动态，生成高度逼真和富有表现力的动画。

Hunyuan3D 2.0 是腾讯推出的高分辨率 3D 资产生成系统，基于大规模扩散模型。

Hunyuan3D 2.0 是腾讯推出的一种先进大规模 3D 合成系统，专注于生成高分辨率纹理化的 3D 资产。该系统包括两个基础组件：大规模形状生成模型 Hunyuan3D-DiT 和大规模纹理合成模型 Hunyuan3D-Paint。它通过解耦形状和纹理生成的难题，为用户提供了灵活的 3D 资产创作平台。该系统在几何细节、条件对齐、纹理质量等方面超越了现有的开源和闭源模型，具有极高的实用性和创新性。目前，该模型的推理代码和预训练模型已开源，用户可以通过官网或 Hugging Face 空间快速体验。

这是一个先进的多模态大型语言模型系列，展示了卓越的整体性能。

InternVL2.5-MPO是一个基于InternVL2.5和混合偏好优化（MPO）的多模态大型语言模型系列。它在多模态任务中表现出色，通过整合新近增量预训练的InternViT与多种预训练的大型语言模型（LLMs），如InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。该模型系列在多模态推理偏好数据集MMPR上进行了训练，包含约300万个样本，通过有效的数据构建流程和混合偏好优化技术，提升了模型的推理能力和回答质量。

一个实时适应未见任务的自适应大型语言模型框架。

SakanaAI/self-adaptive-llms是一个名为Transformer²的自适应框架，旨在解决传统微调方法计算密集且处理多样化任务能力静态的挑战。该框架能够在推理过程中通过两步机制实时调整大型语言模型（LLMs）以适应未见任务：首先，调度系统识别任务属性；然后，使用强化学习训练的任务特定'专家'向量被动态混合，以获得针对输入提示的目标行为。主要优点包括实时任务适应性、计算效率和灵活性。该项目由SakanaAI团队开发，目前在GitHub上开源，拥有195颗星和12次分叉。

InternLM3-8B-Instruct是一个开源的80亿参数指令模型，用于通用用途和高级推理。

InternLM3-8B-Instruct是InternLM团队开发的大型语言模型，具有卓越的推理能力和知识密集型任务处理能力。该模型在仅使用4万亿高质量词元进行训练的情况下，实现了比同级别模型低75%以上的训练成本，同时在多个基准测试中超越了Llama3.1-8B和Qwen2.5-7B等模型。它支持深度思考模式，能够通过长思维链解决复杂的推理任务，同时也具备流畅的用户交互能力。该模型基于Apache-2.0许可证开源，适用于需要高效推理和知识处理的各种应用场景。

MinMo是一款多模态大型语言模型，用于无缝语音交互。

MinMo是阿里巴巴集团通义实验室开发的一款多模态大型语言模型，拥有约80亿参数，专注于实现无缝语音交互。它通过多个阶段的训练，包括语音到文本对齐、文本到语音对齐、语音到语音对齐和全双工交互对齐，在140万小时的多样化语音数据和广泛的语音任务上进行训练。MinMo在语音理解和生成的各种基准测试中达到了最先进的性能，同时保持了文本大型语言模型的能力，并支持全双工对话，即用户和系统之间的同时双向通信。此外，MinMo还提出了一种新颖且简单的语音解码器，在语音生成方面超越了以往的模型。MinMo的指令遵循能力得到了增强，支持根据用户指令控制语音生成，包括情感、方言和语速等细节，并模仿特定的声音。MinMo的语音到文本延迟约为100毫秒，全双工延迟理论上约为600毫秒，实际约为800毫秒。MinMo的开发旨在克服以往对齐多模态模型的主要限制，为用户提供更自然、流畅和人性化的语音交互体验。

基于Qwen2.5-Coder系列的大型语言模型，专注于代理应用。

Dria-Agent-a-3B是一个基于Qwen2.5-Coder系列的大型语言模型，专注于代理应用。它采用Pythonic函数调用方式，具有单次并行多函数调用、自由形式推理和动作以及即时复杂解决方案生成等优势。该模型在多个基准测试中表现出色，如Berkeley Function Calling Leaderboard (BFCL)、MMLU-Pro和Dria-Pythonic-Agent-Benchmark (DPAB)。模型大小为3.09B参数，支持BF16张量类型。

一个基于Qwen2.5-Coder系列训练的大型语言模型，专注于代理应用。

Dria-Agent-a-7B是一个基于Qwen2.5-Coder系列训练的大型语言模型，专注于代理应用。它采用Pythonic函数调用方式，与传统JSON函数调用方法相比，具有单次并行多函数调用、自由形式推理和动作以及即时复杂解决方案生成等优势。该模型在多个基准测试中表现出色，包括Berkeley Function Calling Leaderboard (BFCL)、MMLU-Pro和Dria-Pythonic-Agent-Benchmark (DPAB)。模型大小为76.2亿参数，采用BF16张量类型，支持文本生成任务。其主要优点包括强大的编程辅助能力、高效的函数调用方式以及在特定领域的高准确率。该模型适用于需要复杂逻辑处理和多步骤任务执行的应用场景，如自动化编程、智能代理等。目前，该模型在Hugging Face平台上提供，供用户免费使用。

Dria-Agent-α是基于Python的大型语言模型工具交互框架。

Dria-Agent-α是Hugging Face推出的大型语言模型（LLM）工具交互框架。它通过Python代码来调用工具，与传统的JSON模式相比，能更充分地发挥LLM的推理能力，使模型能够以更接近人类自然语言的方式进行复杂问题的解决。该框架利用Python的流行性和接近伪代码的语法，使LLM在代理场景中表现更佳。Dria-Agent-α的开发使用了合成数据生成工具Dria，通过多阶段管道生成逼真的场景，训练模型进行复杂问题解决。目前已有Dria-Agent-α-3B和Dria-Agent-α-7B两个模型在Hugging Face上发布。

基于特定模型的量化大型语言模型，适用于自然语言处理等任务。

该模型是量化版大型语言模型，采用4位量化技术，降低存储与计算需求，适用于自然语言处理，参数量8.03B，免费且可用于非商业用途，适合资源受限环境下高性能语言应用需求者。