产品库

实时视频到视频翻译的扩散模型

StreamV2V是一个扩散模型，它通过用户提示实现了实时的视频到视频（V2V）翻译。与传统的批处理方法不同，StreamV2V采用流式处理方式，能够处理无限帧的视频。它的核心是维护一个特征库，该库存储了过去帧的信息。对于新进来的帧，StreamV2V通过扩展自注意力和直接特征融合技术，将相似的过去特征直接融合到输出中。特征库通过合并存储的和新的特征不断更新，保持紧凑且信息丰富。StreamV2V以其适应性和效率脱颖而出，无需微调即可与图像扩散模型无缝集成。

您的贴身翻译助手，实现高速高精度翻译。

Felo实时翻译是一款应用最新AI技术，提供实时语音翻译服务的应用程序。它通过GPT技术实现高速和高精度的翻译，支持实时转录语音并识别语种，将语音转录为文字并翻译成多种语言，满足国际交流的需求。产品具有朗读支持、语音转录、本地保存和多语言支持等功能，为用户提供了便捷高效的翻译体验。

免费开源的视频翻译配音工具

视频翻译配音是一个免费开源的视频翻译和配音工具,支持多种翻译引擎,可以将视频字幕翻译成多种语言,并生成自然的语音配音,操作简单方便。

一键生成带字幕和配音的视频翻译工具

VideoTrans是一款免费开源的视频翻译配音工具。它可以一键识别视频字幕、翻译成其他语言、进行多种语音合成,最终输出带字幕和配音的目标语言视频。该软件使用简单,支持多种翻译和配音引擎,能大幅提高视频翻译的效率。

实时视频生成技术

PAB 是一种用于实时视频生成的技术，通过 Pyramid Attention Broadcast 实现视频生成过程的加速，提供了高效的视频生成解决方案。该技术的主要优点包括实时性、高效性和质量保障。PAB 适用于需要实时视频生成能力的应用场景，为视频生成领域带来了重大突破。

一款强大的移动端翻译软件，支持多种语言翻译。

疯狂翻译师是一款提供实时翻译服务的移动端软件，支持文字、图片、文档和视频翻译，覆盖200+语种，帮助用户跨越语言障碍，提升翻译效率，适用于国际交流、学习、工作等多种场景。

视频扩散模型，用于虚拟试穿。

Fashion-VDM是一个视频扩散模型（VDM），用于生成虚拟试穿视频。该模型接受一件衣物图片和人物视频作为输入，旨在生成人物穿着给定衣物的高质量试穿视频，同时保留人物的身份和动作。与传统的基于图像的虚拟试穿相比，Fashion-VDM在衣物细节和时间一致性方面表现出色。该技术的主要优点包括：扩散式架构、分类器自由引导增强控制、单次64帧512px视频生成的渐进式时间训练策略，以及联合图像-视频训练的有效性。Fashion-VDM在视频虚拟试穿领域树立了新的行业标准。

视频生成的时空扩散模型

Lumiere是一个文本到视频扩散模型，旨在合成展现真实、多样和连贯运动的视频，解决视频合成中的关键挑战。我们引入了一种空时U-Net架构，可以一次性生成整个视频的时间持续，通过模型的单次传递。这与现有的视频模型形成对比，后者合成远距离的关键帧，然后进行时间超分辨率处理，这种方法本质上使得全局时间一致性难以实现。通过部署空间和（重要的是）时间的下采样和上采样，并利用预训练的文本到图像扩散模型，我们的模型学会直接生成多个时空尺度下的全帧率、低分辨率视频。我们展示了最先进的文本到视频生成结果，并展示了我们的设计轻松促进了各种内容创作任务和视频编辑应用，包括图像到视频、视频修补和风格化生成。

消除语言障碍的实时视频翻译应用

TalkVisions是一款具有突破性的移动应用，通过提供实时视频翻译功能消除语言障碍。它可以将口语转录为文本，确保理解并不漏掉任何一个词。同时，您可以选择多种语言进行翻译，使其成为您随时学习的完美工具。该应用具有直观的设计，轻松启动录制、停止录制和切换语言，操作简单。无论是旅行、学习新语言还是打破语言障碍，TalkVisions都是帮助您与他人沟通和连接的完美应用。立即下载TalkVisions，体验实时视频翻译的强大力量！

一种基于图像到视频扩散模型的视频编辑技术

I2VEdit是一种创新的视频编辑技术，通过预训练的图像到视频模型，将单一帧的编辑扩展到整个视频。这项技术能够适应性地保持源视频的视觉和运动完整性，并有效处理全局编辑、局部编辑以及适度的形状变化，这是现有方法所不能实现的。I2VEdit的核心包括两个主要过程：粗略运动提取和外观细化，通过粗粒度注意力匹配进行精确调整。此外，还引入了跳过间隔策略，以减轻多个视频片段自动回归生成过程中的质量下降。实验结果表明，I2VEdit在细粒度视频编辑方面的优越性能，证明了其能够产生高质量、时间一致的输出。

大规模视频生成扩散模型

Sora是一个基于大规模训练的文本控制视频生成扩散模型。它能够生成长达1分钟的高清视频,涵盖广泛的视觉数据类型和分辨率。Sora通过在视频和图像的压缩潜在空间中训练,将其分解为时空位置补丁,实现了可扩展的视频生成。Sora还展现出一些模拟物理世界和数字世界的能力,如三维一致性和交互,揭示了继续扩大视频生成模型规模来发展高能力模拟器的前景。

AI短视频翻译首发，多国语言精修工具

象寄翻译是一款AI短视频翻译工具，支持中英日韩欧美东南亚等多国语言，提供便捷的图片/短视频精修工具，支持API调用，帮助用户轻松打造精品出海内容素材。产品定价灵活，支持包月模式和张数套餐，定位于提供高效精准的翻译服务。

实时端到端自动驾驶的截断扩散模型

DiffusionDrive是一个用于实时端到端自动驾驶的截断扩散模型，它通过减少扩散去噪步骤来加快计算速度，同时保持高准确性和多样性。该模型直接从人类示范中学习，无需复杂的预处理或后处理步骤，即可实现实时的自动驾驶决策。DiffusionDrive在NAVSIM基准测试中取得了88.1 PDMS的突破性成绩，并且能够在45 FPS的速度下运行。

实时翻译，轻松沟通

智能翻译助手是一款基于人工智能技术的实时翻译工具。它能够快速准确地将多国语言进行互译，轻松帮助用户进行语言沟通。该产品具有智能识别功能，支持语音翻译、文字翻译、拍照翻译等多种翻译方式。优势包括高准确率、实时翻译、便捷易用。定价灵活，提供免费试用和多种付费套餐选择。定位于个人用户、旅行者、跨文化交流者等。

实时翻译，便捷无忧

智能翻译助手是一款实时翻译插件，能够快速准确地翻译多种语言。它具有以下功能和优势：1. 实时翻译，无需等待，即时满足用户需求；2. 支持多种语言，覆盖全球主要语种；3. 界面简洁易用，操作方便；4. 翻译结果准确可靠，提供多种翻译选项；5. 定价合理，免费试用和付费版本可选；6. 适用于各种场景，如网页浏览、办公文档等；7. 支持多种平台，包括浏览器和操作系统插件。定位于提供便捷、高效的翻译服务。

自定义文本到视频扩散模型的动作

MotionDirector是一种能够自定义文本到视频扩散模型以生成具有所需动作的视频的技术。它采用双路径LoRAs架构，以解耦外观和运动的学习，并设计了一种新颖的去偏置时间损失，以减轻外观对时间训练目标的影响。该方法支持各种下游应用，如混合不同视频的外观和运动，以及用定制动作为单个图像添加动画。

开源框架，加速大型视频扩散模型

FastVideo是一个开源框架，旨在加速大型视频扩散模型。它提供了FastHunyuan和FastMochi两种一致性蒸馏视频扩散模型，实现了8倍推理速度提升。FastVideo基于PCM（Phased-Consistency-Model）提供了首个开放的视频DiT蒸馏配方，支持对最先进的开放视频DiT模型进行蒸馏、微调和推理，包括Mochi和Hunyuan。此外，FastVideo还支持使用FSDP、序列并行和选择性激活检查点进行可扩展训练，以及使用LoRA、预计算潜在和预计算文本嵌入进行内存高效微调。FastVideo的开发正在进行中，技术高度实验性，未来计划包括增加更多蒸馏方法、支持更多模型以及代码更新。

视频运动编辑的轻量级得分引导扩散模型

MotionFollower是一个轻量级的得分引导扩散模型，用于视频运动编辑。它通过两个轻量级信号控制器，分别对姿势和外观进行控制，不涉及繁重的注意力计算。该模型设计了基于双分支架构的得分引导原则，包括重建和编辑分支，显著增强了对纹理细节和复杂背景的建模能力。实验表明，MotionFollower在GPU内存使用上比最先进的运动编辑模型MotionEditor减少了约80%，同时提供了更优越的运动编辑性能，并独家支持大范围的摄像机运动和动作。

实时语音翻译APP

speakSync是一个基于人工智能的实时语音翻译APP。它能够实现多种语言之间的即时翻译,支持语音转文本和文本转语音,采用了OpenAI的Whisper和GPT模型,实现了流畅准确的翻译效果。该APP专为旅行者、商务人士和语言学习者设计,简化了翻译流程,创建无障碍的跨语言交流环境。

神经模型驱动的实时游戏引擎

GameNGen是一个完全由神经模型驱动的游戏引擎，能够实现与复杂环境的实时互动，并在长时间轨迹上保持高质量。它能够以每秒超过20帧的速度交互式模拟经典游戏《DOOM》，并且其下一帧预测的PSNR达到29.4，与有损JPEG压缩相当。人类评估者在区分游戏片段和模拟片段方面仅略优于随机机会。GameNGen通过两个阶段的训练：(1)一个RL-agent学习玩游戏并记录训练会话的动作和观察结果，成为生成模型的训练数据；(2)一个扩散模型被训练来预测下一帧，条件是过去的动作和观察序列。条件增强允许在长时间轨迹上稳定自回归生成。

风车AI翻译，专注于图片、视频翻译及智能抠图等多模态翻译服务，助力外贸出海。

风车AI翻译是一款专注于多模态翻译的在线工具，涵盖图片翻译、视频翻译、智能抠图等功能。它利用先进的AI技术，能够快速准确地将图片和视频中的文字进行翻译，并支持多种语言互译。该产品主要面向跨境电商、医疗文献、行业研报等领域，帮助用户跨越语言障碍，提升工作效率。其核心优势在于强大的多语言支持、稳定可靠的服务以及多领域翻译能力，能够满足不同行业用户的需求。产品采用订阅制付费模式，具体价格根据用户需求而定。

高清视频逆问题求解器，使用潜在扩散模型

VISION XL是一个利用潜在扩散模型解决高清视频逆问题的框架。它通过伪批量一致性采样策略和批量一致性反演方法，优化了视频处理的效率和时间，支持多种比例和高分辨率重建。该技术的主要优点包括支持多比例和高分辨率重建、内存和采样时间效率、使用开源潜在扩散模型SDXL。它通过集成SDXL，在各种时空逆问题上实现了最先进的视频重建，包括复杂的帧平均和各种空间退化的组合，如去模糊、超分辨率和修复。

Hibiki 是一款用于流式语音翻译（即同声传译）的模型，能够实时逐块生成正确翻译。

Hibiki 是一款专注于流式语音翻译的先进模型。它通过实时积累足够的上下文信息来逐块生成正确的翻译，支持语音和文本翻译，并可进行声音转换。该模型基于多流架构，能够同时处理源语音和目标语音，生成连续的音频流和时间戳文本翻译。其主要优点包括高保真语音转换、低延迟实时翻译以及对复杂推理策略的兼容性。Hibiki 目前支持法语到英语的翻译，适合需要高效实时翻译的场景，如国际会议、多语言直播等。模型开源免费，适合开发者和研究人员使用。

改进扩散模型采样质量的免费方法

FreeU是一种方法，可以在不增加成本的情况下显著提高扩散模型的采样质量：无需训练，无需引入额外参数，无需增加内存或采样时间。该方法通过重新加权U-Net的跳跃连接和主干特征图的贡献，结合U-Net架构的两个组成部分的优势，从而提高生成质量。通过在图像和视频生成任务上进行实验，我们证明了FreeU可以轻松集成到现有的扩散模型中，例如Stable Diffusion、DreamBooth、ModelScope、Rerender和ReVersion，只需几行代码即可改善生成质量。

实时AI翻译为教堂

OneAccord是一个实时AI翻译平台，为教堂提供语言翻译和字幕服务。它通过AI模型和人工校对，帮助教堂克服语言障碍，使教堂服务对听障人士也能无障碍参与。平台支持多种语言翻译和字幕功能，并提供定制品牌和在线访问。用户可以根据自己的需求选择月度订阅或一次性使用，并可以根据使用时间、语言和听众数量等参数来估算费用。

实时语音翻译，打破语言障碍

Interpre-X 是一款实时语音翻译工具，支持10多种语言，帮助用户在任何地方打破语言障碍。通过最先进的人工智能技术，提供语音到语音、语音到文字、文字到语音和文字到文字的翻译服务。无需额外设备，只需良好的网络连接即可使用。Interpre-X 提供高质量的翻译，以自然、人类质量的声音和准确的口音进行播放。适用于社交、旅行、观看电视、学习语言以及与不同语言的朋友交流等场景。现已推出beta版，欢迎试用。

视频扩散模型加速工具，无需训练即可生成高质量视频内容。

FasterCache是一种创新的无需训练的策略，旨在加速视频扩散模型的推理过程，并生成高质量的视频内容。这一技术的重要性在于它能够显著提高视频生成的效率，同时保持或提升内容的质量，这对于需要快速生成视频内容的行业来说是非常有价值的。FasterCache由来自香港大学、南洋理工大学和上海人工智能实验室的研究人员共同开发，项目页面提供了更多的视觉结果和详细信息。产品目前免费提供，主要面向视频内容生成、AI研究和开发等领域。

加速视频扩散模型，生成速度提升 8.5 倍。

AccVideo 是一种新颖的高效蒸馏方法，通过合成数据集加速视频扩散模型的推理速度。该模型能够在生成视频时实现 8.5 倍的速度提升，同时保持相似的性能。它使用预训练的视频扩散模型生成多条有效去噪轨迹，从而优化了数据的使用和生成过程。AccVideo 特别适用于需要高效视频生成的场景，如电影制作、游戏开发等，适合研究人员和开发者使用。

RF-DETR 是由 Roboflow 开发的实时目标检测模型。

RF-DETR 是一个基于变压器的实时目标检测模型，旨在为边缘设备提供高精度和实时性能。它在 Microsoft COCO 基准测试中超过了 60 AP，具有竞争力的性能和快速的推理速度，适合各种实际应用场景。RF-DETR 旨在解决现实世界中的物体检测问题，适用于需要高效且准确检测的行业，如安防、自动驾驶和智能监控等。