产品库

利用预训练的图像到视频扩散模型生成连贯中间帧

该产品是一个图像到视频的扩散模型，通过轻量级的微调技术，能够从一对关键帧生成具有连贯运动的连续视频序列。这种方法特别适用于需要在两个静态图像之间生成平滑过渡动画的场景，如动画制作、视频编辑等。它利用了大规模图像到视频扩散模型的强大能力，通过微调使其能够预测两个关键帧之间的视频，从而实现前向和后向的一致性。

一种基于图像到视频扩散模型的视频编辑技术

I2VEdit是一种创新的视频编辑技术，通过预训练的图像到视频模型，将单一帧的编辑扩展到整个视频。这项技术能够适应性地保持源视频的视觉和运动完整性，并有效处理全局编辑、局部编辑以及适度的形状变化，这是现有方法所不能实现的。I2VEdit的核心包括两个主要过程：粗略运动提取和外观细化，通过粗粒度注意力匹配进行精确调整。此外，还引入了跳过间隔策略，以减轻多个视频片段自动回归生成过程中的质量下降。实验结果表明，I2VEdit在细粒度视频编辑方面的优越性能，证明了其能够产生高质量、时间一致的输出。

从长视频中生成引人入胜的YouTube短片

AI Youtube Shorts Generator 是一个利用GPT-4和Whisper技术的Python工具，它可以从长视频中提取最有趣的亮点，检测演讲者，并将内容垂直裁剪，以适应短片格式。这个工具目前处于0.1版本，可能存在一些bug。

将视频转换为动画并进行AI替换的创新工具。

VMagic AI是一款专注于视频内容创作的工具，它通过先进的人工智能技术，能够将视频转换成动画，并实现AI替换功能。这项技术的应用，极大地简化了视频编辑和动画制作的过程，使得用户可以轻松创作出具有专业水准的视频内容。VMagic AI的背景信息显示，它旨在为视频创作者提供一个简单易用、功能强大的平台，以满足日益增长的个性化视频内容需求。产品的价格和定位尚未在页面上明确说明，但可以推测其可能面向专业视频编辑和动画创作者。

AI让动作捕捉更简单

千面视频动捕是一款利用AI技术简化动作捕捉过程的产品。它通过自动化AI算法自动识别动画关键帧，生成流畅的动画效果，无需专业设备和场地，大幅提升制作效率，降低动画制作的门槛，让每个人都能成为动画师。产品支持多种主流动画软件格式，提供7天24小时在线服务，并通过V币系统进行计费，满足不同用户的需求。

视频编辑中的手-物交互意识

HOI-Swap是一个基于扩散模型的视频编辑框架，专注于处理视频编辑中手与物体交互的复杂性。该模型通过自监督训练，能够在单帧中实现物体交换，并学习根据物体属性变化调整手的交互模式，如手的抓握方式。第二阶段将单帧编辑扩展到整个视频序列，通过运动对齐和视频生成，实现高质量的视频编辑。

在线AI视频动画生成工具

TopMixLabs 是一个 AI 动画制作工具，通过上传图片，用户可以轻松地将图像转换为专业级动画，适用于各种规模的企业，提升品牌形象。使用简单，只需要4张照片，上传稍等10 -20分钟左右，即可以生成高质量的动画，生成的动画支持下载mp4格式，而且在平台上创建的动画用于个人和商业目的。

基于文本的视频编辑技术，使用时空切片。

Slicedit是一种零样本视频编辑技术，它利用文本到图像的扩散模型，并结合时空切片来增强视频编辑中的时序一致性。该技术能够保留原始视频的结构和运动，同时符合目标文本描述。通过广泛的实验，证明了Slicedit在编辑真实世界视频方面具有明显优势。

真实人类舞蹈视频生成

MagicDance是一种新颖有效的方法，可以生成逼真的人类视频，实现生动的动作和面部表情转移，以及一致的2D卡通风格动画零调优生成。通过MagicDance，我们可以精确生成外观一致的结果，而原始的T2I模型（如稳定扩散和ControlNet）很难准确地保持主题身份信息。此外，我们提出的模块可以被视为原始T2I模型的扩展/插件，而不需要修改其预训练权重。

用绘画改变视频

EbSynth是一款桌面客户端软件，可以通过绘画改变视频的风格。它的核心功能是将用户绘制的一帧画面应用到整个视频中，从而将静态图像转化为动画。EbSynth具有快速、强大和易于使用的特点，用户可以将自己的绘画作品以动画的形式呈现出来。该产品定价为免费。

创意智能平台，用于构建魔法般的AI产品

Dream Machine API是一个创意智能平台，它提供了一系列先进的视频生成模型，通过直观的API和开源SDKs，用户可以构建和扩展创意AI产品。该平台拥有文本到视频、图像到视频、关键帧控制、扩展、循环和相机控制等功能，旨在通过创意智能与人类合作，帮助他们创造更好的内容。Dream Machine API的推出，旨在推动视觉探索和创造的丰富性，让更多的想法得以尝试，构建更好的叙事，并让那些以前无法做到的人讲述多样化的故事。

专注于计算机视觉和机器学习领域的研究与创新的博客网站

Shangchen Zhou 是一位在计算机视觉和机器学习领域有着深厚研究背景的博士生，他的工作主要集中在视觉内容增强、编辑和生成AI（2D和3D）上。他的研究成果广泛应用于图像和视频的超分辨率、去模糊、低光照增强等领域，为提升视觉内容的质量和用户体验做出了重要贡献。

提升视频生产力，让视频内容更易搜索和互动。

Zight AI 是一款旨在提高视频内容生产力和互动性的人工智能工具。它通过自动生成视频标题、视频摘要、自动转录及翻译字幕等功能，极大地节省了用户编辑视频时的时间，提高了视频的可访问性和搜索性。Zight AI Video支持50多种语言的转录和翻译，使得视频内容能够跨越语言障碍，触及更广泛的观众。此外，它还计划推出智能章节功能，自动将视频内容分割并命名，进一步提升视频的组织和导航效率。产品定价为每月5美元/用户，提供自动转录、视频标题生成、视频描述自动摘要等功能，目前仅支持英语摘要。

由上海人工智能实验室开发的先进视频生成模型

Vchitect 2.0（筑梦2.0）是一款由上海人工智能实验室开发的高级视频生成模型，旨在赋予视频创作新的动力。它支持20秒视频生成，灵活的宽高比，生成空间时间增强，以及长视频评估。Vchitect 2.0通过其先进的技术，能够将静态图像转换为5-10秒的视频，使用户能够轻松地将照片或设计转换为引人入胜的视觉体验。此外，Vchitect 2.0还支持长视频生成模型的评估，通过VBench平台，提供全面且持续更新的评估排行榜，支持多种长视频模型，如Gen-3、Kling、OpenSora等。

为视频快速创建字幕的终极工具。

CaptionKit 是一款为视频创作者设计的应用，它利用先进的AI技术，支持超过100种语言的字幕生成，确保文本识别的高准确度。用户可以选择20多种预设的字幕模板，或自定义风格以适应不同的项目需求。该应用还提供了强大的文本编辑器，允许用户自定义字体、颜色、轮廓、背景等，甚至添加阴影效果。此外，它支持将字幕翻译成不同语言，帮助视频内容触及全球观众。CaptionKit 还具备预览模式，确保在不同社交媒体平台上的显示效果。无论是内容创作者、影响者还是普通用户，CaptionKit 都能够帮助他们在几分钟内创建出专业质量的字幕。

用于精确控制扩散模型中概念的低秩适配器

Concept Sliders 是一种用于精确控制扩散模型中概念的技术，它通过低秩适配器（LoRA）在预训练模型之上进行应用，允许艺术家和用户通过简单的文本描述或图像对来训练控制特定属性的方向。这种技术的主要优点是能够在不改变图像整体结构的情况下，对生成的图像进行细微调整，如眼睛大小、光线等，从而实现更精细的控制。它为艺术家提供了一种新的创作表达方式，同时解决了生成模糊或扭曲图像的问题。

使用SVD技术进行关键帧插值的动画工具

Svd Keyframe Interpolation 是一个基于奇异值分解(SVD)技术的关键帧插值模型，用于在动画制作中自动生成中间帧，从而提高动画师的工作效率。该技术通过分析关键帧的特征，自动计算出中间帧的图像，使得动画更加流畅自然。它的优势在于能够减少动画师手动绘制中间帧的工作量，同时保持高质量的动画效果。

高分辨率视频外延与内容生成技术

Follow-Your-Canvas 是一种基于扩散模型的视频外延技术，它能够生成高分辨率的视频内容。该技术通过分布式处理和空间窗口合并，解决了GPU内存限制问题，同时保持了视频的空间和时间一致性。它在大规模视频外延方面表现出色，能够将视频分辨率显著提升，如从512 X 512扩展到1152 X 2048，同时生成高质量和视觉上令人愉悦的结果。

AI赋能的短视频生产平台，批量生成多样化视频内容。

Giga视频超级工厂是一款基于AI技术，融合多项智能能力的视频生产平台。它通过智能化技术和工业化生产线，实现短视频的批量生产，让创意快速变为现实。产品具备视频生视频、图文生视频、报纸生视频以及视频智能翻译等功能，适用于新闻报道、企业宣传、活动推广等多种场景，助力用户高效制作并传播视频内容。

AI视频生成器，轻松制作专业级视频。

Vidful.ai是一个基于AI技术的在线视频生成器，它利用先进的算法将文本和图片快速转换为高质量的视频内容。产品集成了快手Kling AI和Luma AI Dream Machine技术，提供逼真的运动效果和影院级别的视频效果，简化了视频制作流程，使得用户无需专业的视频编辑技能即可制作出专业级的视频。Vidful.ai支持免费在线使用，适合营销、教育、社交媒体创作者和电商等多个领域的用户。

开源视频编辑框架，支持自动化视频工作流。

Revideo是一个基于Motion Canvas的开源框架，用于程序化视频编辑。它允许开发者自动化复杂的视频工作流程，或在浏览器中构建完整的视频编辑器。Revideo支持使用Typescript创建视频模板，并能够即时预览和渲染为MP4格式的视频。它适用于大规模视频生成、A/B测试视频广告、构建网页内的视频编辑器或视频游戏等场景。

实时预览的高级人脸动画工具

ComfyUI-AdvancedLivePortrait是一个用于实时预览和编辑人脸表情的高级工具。它允许用户在视频中跟踪和编辑人脸，将表情插入到视频中，甚至从样本照片中提取表情。这个项目通过使用ComfyUI-Manager自动安装，简化了安装过程。它结合了图像处理和机器学习技术，为用户提供了一个强大的工具，用于创建动态和互动的媒体内容。

利用扩散引导逆渲染技术实现逼真物体插入

DiPIR是多伦多AI实验室与NVIDIA Research共同研发的一种基于物理的方法，它通过从单张图片中恢复场景照明，使得虚拟物体能够逼真地插入到室内外场景中。该技术不仅能够优化材质和色调映射，还能自动调整以适应不同的环境，提高图像的真实感。

神经模型驱动的实时游戏引擎

GameNGen是一个完全由神经模型驱动的游戏引擎，能够实现与复杂环境的实时互动，并在长时间轨迹上保持高质量。它能够以每秒超过20帧的速度交互式模拟经典游戏《DOOM》，并且其下一帧预测的PSNR达到29.4，与有损JPEG压缩相当。人类评估者在区分游戏片段和模拟片段方面仅略优于随机机会。GameNGen通过两个阶段的训练：(1)一个RL-agent学习玩游戏并记录训练会话的动作和观察结果，成为生成模型的训练数据；(2)一个扩散模型被训练来预测下一帧，条件是过去的动作和观察序列。条件增强允许在长时间轨迹上稳定自回归生成。

视频生成和编辑的AI工具

Captions是一个提供视频生成和编辑服务的AI平台，它利用先进的人工智能技术，帮助用户快速生成和编辑视频内容。该平台拥有多项功能，如AI视频编辑器、AI广告生成器等，旨在提高视频制作的效率和质量，同时降低技术门槛，使视频内容创作更加便捷。

下一代人工智能视频和动画编辑器

Chillin是一个结合了非线性视频编辑和矢量动画的在线编辑器，它利用人工智能技术简化了创意过程，支持Lottie和动画SVG，提供无水印的视频导出，支持高达4k 60fps的视频质量。Chillin正在寻求种子资金来加速AI视频和动画编辑的开发，是一个面向创意专业人士和企业的产品，旨在提高视频和动画制作的效率和质量。

一键全自动视频搬运，生成Netflix品质字幕

VideoLingo是一个基于人工智能的视频字幕生成工具，它利用自然语言处理(NLP)和大型语言模型(LLM)进行字幕分割和上下文感知翻译。该产品支持一键启动，用户可以在Streamlit界面上轻松操作，实现视频的字幕生成和配音。它具有极低成本、高质量的个性化配音和精确的单词级字幕对齐等特点，非常适合需要跨语言视频内容的创作者和教育工作者。

生成各种有趣的TikTok AI语音

TikTok Voice Generator是一个基于最新TikTok文本到语音技术的工具，能够生成多种有趣且逼真的AI语音效果，如Jessie语音、C3PO语音、鬼脸杀手语音等。它支持多种语言，且用户可以轻松地将生成的语音文件下载并应用到TikTok视频中，为视频增添趣味性和个性化。

智能视频多语言AI配音/翻译工具

Linly-Dubbing是一个集成了AI技术的智能视频配音和翻译工具，它通过先进的语音识别、语言模型翻译、声音克隆和数字人口型技术，为用户提供高质量的多语言视频配音和翻译服务。产品背景基于国际教育和全球娱乐内容本地化的需求，致力于帮助团队将优质内容传播到全球各地。

视频涂鸦，将手绘动画与视频结合的艺术创作工具。

VideoDoodles是一个交互式系统，它通过让用户在3D场景中放置平面画布，然后对这些画布进行追踪，以简化视频涂鸦的创作过程。这种技术允许手绘动画在视频中具有正确的透视变形和遮挡效果，并且能够随着摄像机和其他场景中的对象移动而移动。该系统支持用户通过2D图像空间UI精细控制画布，通过关键帧设置位置和方向，并自动插值关键帧以追踪视频中移动对象的运动。