产品库

从视频中推断混合神经流体场

HyFluid是一种从稀疏多视角视频中推断流体密度和速度场的神经方法。与现有的神经动力学重建方法不同，HyFluid能够准确估计密度并揭示底层速度，克服了流体速度的固有视觉模糊性。该方法通过引入一组基于物理的损失来实现推断出物理上合理的速度场，同时处理流体速度的湍流性质，设计了一个混合神经速度表示，包括捕捉大部分无旋能量的基础神经速度场和模拟剩余湍流速度的涡粒子速度。该方法可用于各种围绕3D不可压缩流的学习和重建应用，包括流体再模拟和编辑、未来预测以及神经动态场景合成。

VisionAgent是一个用于生成代码以解决视觉任务的库，支持多种LLM提供商。

VisionAgent是一个强大的工具，它利用人工智能和大语言模型（LLM）来生成代码，帮助用户快速解决视觉任务。该工具的主要优点是能够自动将复杂的视觉任务转化为可执行的代码，极大地提高了开发效率。VisionAgent支持多种LLM提供商，用户可以根据自己的需求选择不同的模型。它适用于需要快速开发视觉应用的开发者和企业，能够帮助他们在短时间内实现功能强大的视觉解决方案。VisionAgent目前是免费的，旨在为用户提供高效、便捷的视觉任务处理能力。

快速轻松地从视频中训练高质量的LoRA模型

One Shot LoRA 是一个专注于从视频中快速训练 LoRA 模型的在线平台。它利用先进的机器学习技术，能够将视频内容高效转化为 LoRA 模型，为用户提供快速、便捷的模型生成服务。该产品的主要优点是操作简单、无需登录且隐私安全。它无需用户上传私人数据，也不存储或收集任何用户信息，确保用户数据的私密性和安全性。该产品主要面向需要快速生成 LoRA 模型的用户，如设计师、开发者等，帮助他们快速获取所需的模型资源，提升工作效率。

为语言模型和AI代理提供视频处理服务，支持多种视频来源。

Deeptrain 是一个专注于视频处理的平台，旨在将视频内容无缝集成到语言模型和AI代理中。通过其强大的视频处理技术，用户可以像使用文本和图像一样轻松地利用视频内容。该产品支持超过200种语言模型，包括GPT-4o、Gemini等，并且支持多语言视频处理。Deeptrain 提供免费的开发支持，仅在生产环境中使用时才收费，这使得它成为开发AI应用的理想选择。其主要优点包括强大的视频处理能力、多语言支持以及与主流语言模型的无缝集成。

Video Depth Anything: Consistent Depth Estimation for Super-Long Videos

Video Depth Anything 是一个基于深度学习的视频深度估计模型，能够为超长视频提供高质量、时间一致的深度估计。该技术基于 Depth Anything V2 开发，具有强大的泛化能力和稳定性。其主要优点包括对任意长度视频的深度估计能力、时间一致性以及对开放世界视频的良好适应性。该模型由字节跳动的研究团队开发，旨在解决长视频深度估计中的挑战，如时间一致性问题和复杂场景的适应性问题。目前，该模型的代码和演示已公开，供研究人员和开发者使用。

Zight AI 是一款将视频转化为可操作文档的智能工具，支持自动生成标题、摘要和多语言字幕。

Zight AI 是一款专注于视频内容处理的智能工具，通过先进的自然语言处理技术，能够快速为视频生成标题、摘要、字幕和多语言翻译。其主要优点是自动化程度高，能够显著节省用户的时间和精力，同时提高视频内容的可访问性和易用性。Zight AI 适用于多种场景，包括企业培训、客户服务、教育等领域，旨在通过智能化手段提升视频内容的生产力。其价格为付费使用，起价为每用户每月 4 美元，适合需要高效处理视频内容的个人和团队。

将单目视频转换为沉浸式立体3D视频的框架

StereoCrafter是一个创新的框架，它利用基础模型作为先验，通过深度估计和立体视频修复技术，将2D视频转换为沉浸式立体3D视频。这项技术突破了传统方法的局限，提高了显示设备所需的高保真度生成性能。StereoCrafter的主要优点包括能够处理不同长度和分辨率的视频输入，以及通过自回归策略和分块处理来优化视频处理。此外，StereoCrafter还开发了复杂的数据处理流程，以重建大规模、高质量的数据集，支持训练过程。这个框架为3D设备（如Apple Vision Pro和3D显示器）创造沉浸式内容提供了实际的解决方案，可能改变我们体验数字媒体的方式。

微软开源的视频分词器家族

VidTok是微软开源的一系列先进的视频分词器，它在连续和离散分词方面表现出色。VidTok在架构效率、量化技术和训练策略上都有显著的创新，提供了高效的视频处理能力，并且在多个视频质量评估指标上超越了以往的模型。VidTok的开发旨在推动视频处理和压缩技术的发展，对于视频内容的高效传输和存储具有重要意义。

AI视频能力展示平台

EndlessAI是一个以AI视频能力为核心的平台，目前处于隐身模式。它通过Lloyd智能手机应用程序在App Store上提供演示，用户可以通过该应用体验AI视频技术的强大功能。EndlessAI的技术背景强调了其在视频处理和AI应用方面的专业性，尽管价格和具体定位信息未在页面上明确，但可以推测其主要面向需要高端视频处理和AI集成解决方案的用户群体。

MMAudio根据视频和/或文本输入生成同步音频。

MMAudio是一种多模态联合训练技术，旨在高质量的视频到音频合成。该技术能够根据视频和文本输入生成同步音频，适用于各种应用场景，如影视制作、游戏开发等。其重要性在于提升了音频生成的效率和质量，适合需要音频合成的创作者和开发者使用。

高清视频逆问题求解器，使用潜在扩散模型

VISION XL是一个利用潜在扩散模型解决高清视频逆问题的框架。它通过伪批量一致性采样策略和批量一致性反演方法，优化了视频处理的效率和时间，支持多种比例和高分辨率重建。该技术的主要优点包括支持多比例和高分辨率重建、内存和采样时间效率、使用开源潜在扩散模型SDXL。它通过集成SDXL，在各种时空逆问题上实现了最先进的视频重建，包括复杂的帧平均和各种空间退化的组合，如去模糊、超分辨率和修复。

视频处理界面，提供视频编码和解码功能

ComfyUI-HunyuanVideoWrapper 是一个基于 HunyuanVideo 的视频处理界面，主要功能是视频编码和解码。它利用先进的视频处理技术，允许用户在较低的硬件要求下处理视频，即使在内存较小的设备上也能实现视频功能。该产品背景信息显示，它特别适合需要在资源受限环境下处理视频的用户，并且是开源的，可以免费使用。

免费在线视频处理工具，支持压缩、转换、倍速等功能

AI-FFmpeg是一个在线视频处理工具，它利用FFmpeg的强大功能，为用户提供了一个简单易用的界面来处理视频文件。该产品支持视频转码、压缩、音频提取、裁剪、旋转和基本效果调整等多种功能，是视频编辑和处理的有力助手。AI-FFmpeg以其免费、易用和功能全面的特点，满足了广大视频爱好者和专业人士的需求。

基于GIMM-VFI的ComfyUI帧插值工具

ComfyUI-GIMM-VFI是一个基于GIMM-VFI算法的帧插值工具，使用户能够在图像和视频处理中实现高质量的帧插值效果。该技术通过在连续帧之间插入新的帧来提高视频的帧率，从而使得动作看起来更加流畅。这对于视频游戏、电影后期制作和其他需要高帧率视频的应用场景尤为重要。产品背景信息显示，它是基于Python开发的，并且依赖于CuPy库，特别适用于需要进行高性能计算的场景。

从手机拍摄的平移视频中生成全景视频

VidPanos 是一个创新的视频处理技术，它能够将用户随意拍摄的平移视频转换成全景视频。这项技术通过空间时间外推的方式，生成与原视频长度相同的全景视频。VidPanos 利用生成视频模型，解决了在移动物体存在时，静态全景图无法捕捉场景动态的问题。它能够处理包括人、车辆、流水以及静态背景在内的各种野外场景，展现出强大的实用性和创新性。

高精度视频唇形同步技术

Wav2Lip 是一个开源项目，旨在通过深度学习技术实现视频中人物的唇形与任意目标语音高度同步。该项目提供了完整的训练代码、推理代码和预训练模型，支持任何身份、声音和语言，包括CGI面孔和合成声音。Wav2Lip 背后的技术基于论文 'A Lip Sync Expert Is All You Need for Speech to Lip Generation In the Wild'，该论文在ACM Multimedia 2020上发表。项目还提供了一个交互式演示和Google Colab笔记本，方便用户快速开始使用。此外，项目还提供了一些新的、可靠的评估基准和指标，以及如何在论文中计算这些指标的说明。

视频眼神校正API，让视频中的眼神看起来始终注视着摄像头。

Sieve Eye Contact Correction API 是一个为开发者设计的快速且高质量的视频眼神校正API。该技术通过重定向眼神，确保视频中的人物即使没有直接看向摄像头，也能模拟出与摄像头进行眼神交流的效果。它支持多种自定义选项来微调眼神重定向，保留了原始的眨眼和头部动作，并通过随机的“看向别处”功能来避免眼神呆板。此外，还提供了分屏视图和可视化选项，以便于调试和分析。该API主要面向视频制作者、在线教育提供者和任何需要提升视频交流质量的用户。定价为每分钟视频0.10美元。

视频背景移除工具，一键去除视频背景。

Video Background Removal 是一个由 innova-ai 提供的 Hugging Face Space，专注于视频背景移除技术。该技术通过深度学习模型，能够自动识别并分离视频中的前景和背景，实现一键去除视频背景的功能。这项技术在视频制作、在线教育、远程会议等多个领域都有广泛的应用，尤其在需要抠图或更换视频背景的场景下，提供了极大的便利。产品背景信息显示，该技术是基于开源社区 Hugging Face 的 Spaces 平台开发的，继承了开源、共享的技术理念。目前，产品提供免费试用，具体价格信息需进一步查询。

利用多指令视频到音频合成技术

Draw an Audio是一个创新的视频到音频合成技术，它通过多指令控制，能够根据视频内容生成高质量的同步音频。这项技术不仅提升了音频生成的可控性和灵活性，还能够在多阶段产生混合音频，展现出更广泛的实际应用潜力。

视频人脸超分辨率的创新框架

KEEP是一个基于Kalman滤波原理的视频人脸超分辨率框架，旨在通过特征传播来保持时间上的稳定人脸先验。它通过融合先前恢复帧的信息来指导和调节当前帧的恢复过程，有效捕捉视频帧中一致的人脸细节。

优质视频中文化工具

YouDub-webui 是一个基于 Gradio 构建的网页交互版本工具，用于将 YouTube 和其他平台上的高质量视频翻译和配音成中文版本。它结合了 AI 技术，包括语音识别、大型语言模型翻译和 AI 声音克隆技术，提供与原视频相似的中文配音，为中文用户提供卓越的观看体验。

视频处理工具，实现从图像到视频的转换。

ComfyUI-CogVideoXWrapper 是一个基于Python的视频处理模型，它通过使用T5模型进行视频内容的生成和转换。该模型支持从图像到视频的转换工作流程，并在实验阶段展现出有趣的效果。它主要针对需要进行视频内容创作和编辑的专业用户，尤其是在视频生成和转换方面有特殊需求的用户。

高性能多模态语言模型，适用于图像和视频理解。

MiniCPM-V 2.6是一个基于8亿参数的多模态大型语言模型，它在单图像理解、多图像理解和视频理解等多个领域展现出领先性能。该模型在OpenCompass等多个流行基准测试中取得了平均65.2分的高分，超越了广泛使用的专有模型。它还具备强大的OCR能力，支持多语言，并在效率上表现出色，能够在iPad等终端设备上实现实时视频理解。

下一代视频和图像实时对象分割模型。

Meta Segment Anything Model 2 (SAM 2)是Meta公司开发的下一代模型，用于视频和图像中的实时、可提示的对象分割。它实现了最先进的性能，并且支持零样本泛化，即无需定制适配即可应用于之前未见过的视觉内容。SAM 2的发布遵循开放科学的方法，代码和模型权重在Apache 2.0许可下共享，SA-V数据集也在CC BY 4.0许可下共享。

超级流体动力学模拟工具

SuperCFD是一个高性能的流体动力学模拟工具，它利用云计算技术，为用户提供快速、全面的模拟服务。产品主要面向需要进行复杂流体和热力学分析的工程师和科研人员，具有速度快、操作简便、成本效益高等特点。

大型多模态模型，处理多图像、视频和3D数据。

LLaVA-NeXT是一个大型多模态模型，它通过统一的交错数据格式处理多图像、视频、3D和单图像数据，展示了在不同视觉数据模态上的联合训练能力。该模型在多图像基准测试中取得了领先的结果，并在不同场景中通过适当的数据混合提高了之前单独任务的性能或保持了性能。

AI字幕生成器，支持视频文件即时字幕生成。

这是一款基于AI技术的在线字幕生成器，允许用户通过浏览器上传视频文件，并在本地设备上完成字幕生成和视频渲染，无需将数据发送至服务器，保证了用户数据的隐私和安全。

对话式视频代理，结合大型语言模型与视频处理API。

Jockey是一个基于Twelve Labs API和LangGraph构建的对话式视频代理。它将现有的大型语言模型(Large Language Models, LLMs)的能力与Twelve Labs的API结合使用，通过LangGraph进行任务分配，将复杂视频工作流程的负载分配给适当的基础模型。LLMs用于逻辑规划执行步骤并与用户交互，而与视频相关的任务则传递给由视频基础模型(Video Foundation Models, VFMs)支持的Twelve Labs API，以原生方式处理视频，无需像预先生成的字幕这样的中介表示。

ComfyUI 实现的 ProPainter 框架用于视频修补。

ComfyUI ProPainter Nodes 是基于 ProPainter 框架的视频修补插件，利用流传播和时空转换器实现高级视频帧编辑，适用于无缝修补任务。该插件具有用户友好的界面和强大的功能，旨在简化视频修补过程。