产品库

1.3B参数的图像转视频模型，用于生成3D一致的新场景视图

Stable Virtual Camera是Stability AI开发的一个1.3B参数的通用扩散模型，属于Transformer图像转视频模型。其重要性在于为新型视图合成（NVS）提供了技术支持，能够根据输入视图和目标相机生成3D一致的新场景视图。主要优点是可自由指定目标相机轨迹，能生成大视角变化且时间上平滑的样本，无需额外神经辐射场（NeRF）蒸馏即可保持高一致性，还能生成长达半分钟的高质量无缝循环视频。该模型仅可免费用于研究和非商业用途，定位是为研究人员和非商业创作者提供创新的图像转视频解决方案。

基于 Transformer 的图像识别模型

Google Vision Transformer 是一款基于 Transformer 编码器的图像识别模型，使用大规模图像数据进行预训练，可用于图像分类等任务。该模型在 ImageNet-21k 数据集上进行了预训练，并在 ImageNet 数据集上进行了微调，具备良好的图像特征提取能力。该模型通过将图像切分为固定大小的图像块，并线性嵌入这些图像块来处理图像数据。同时，模型在输入序列前添加了位置编码，以便在 Transformer 编码器中处理序列数据。用户可以通过在预训练的编码器之上添加线性层进行图像分类等任务。Google Vision Transformer 的优势在于其强大的图像特征学习能力和广泛的适用性。该模型免费提供使用。

Masked Diffusion Transformer是图像合成的最新技术，为ICCV 2023的SOTA（State of the Art）

MDT通过引入掩码潜在模型方案来显式增强扩散概率模型（DPMs）在图像中对象部分之间关系学习的能力。MDT在训练期间在潜在空间中操作，掩蔽某些标记，然后设计一个不对称的扩散变换器来从未掩蔽的标记中预测掩蔽的标记，同时保持扩散生成过程。MDTv2进一步通过更有效的宏网络结构和训练策略提高了MDT的性能。

数分钟内创建专业AI视频，支持文本、图像转视频，多模型可选。

VidFlux是一款专注于AI视频创作的网站。它结合了Google Veo3、Kling AI、Runway Gen 3、Sora2、WAN等多个行业领先的AI视频模型，能确保为各种用例提供卓越的质量和可靠性。其主要优点在于能够在60秒内将文本转化为高质量的MP4视频，还支持图像转视频，适用于社交媒体营销、创意内容创作等场景。产品定位为满足不同用户群体的视频创作需求，无论是个人创作者还是企业用户。价格方面，生成专业AI视频从每个视频50个信用点起，用户可选择一次性信用包。

深入理解Transformer模型的可视化工具

Transformer Explainer是一个致力于帮助用户深入理解Transformer模型的在线可视化工具。它通过图形化的方式展示了Transformer模型的各个组件，包括自注意力机制、前馈网络等，让用户能够直观地看到数据在模型中的流动和处理过程。该工具对于教育和研究领域具有重要意义，可以帮助学生和研究人员更好地理解自然语言处理领域的先进技术。

Snap视频:用于文本到视频合成的可扩展空间时间转换器

Snap视频是一个视频优先的模型,通过延伸EDM框架系统地解决视频生成域中的运动保真度、视觉质量和可扩展性等挑战。该模型利用帧间的冗余信息,提出了一个可伸缩的transformer架构,将空间和时间维度作为一个高度压缩的1D潜在向量,从而有效地进行空间时间联合建模,合成时间连贯性强、运动复杂的视频。这种架构使模型可以高效训练,达到数十亿参数规模,在多项基准测试中取得最优效果。

基于Transformer的通用领域文本到图像生成

CogView是一个用于通用领域文本到图像生成的预训练Transformer模型。该模型包含410亿参数,能够生成高质量、多样化的图像。模型的训练思路采用抽象到具体的方式,先 pretrain 获得通用知识,然后 finetune 在特定域生成图像,能显著提升生成质量。值得一提的是,论文还提出了两种帮助大模型稳定训练的技巧:PB-relax 和 Sandwich-LN。

免费在线文本和图像转视频转换器

Vidu Studio AI是一个利用先进AI技术将文本和图像转换成专业质量视频的前沿平台。它简化了视频创作过程，使得各技能水平的用户都能轻松制作视频。该平台以其用户友好性、模板多样性、实时预览和易于定制的特点，适用于商业、社交媒体或促销视频的快速制作。

免费视频生成器，支持文本和图像转视频，有多样模型和效果

Van Gogh Free Video Generator是一款由AI驱动的免费视频生成平台。它运用先进的AI模型，能根据文本描述或图像创造出高质量的艺术视频。产品的定位是为广大用户提供便捷、高效的视频创作工具，无需专业技术知识即可使用。其主要优点包括采用先进VEO 3 AI模型保证视频质量和艺术效果，拥有丰富的创意效果模板，每月提供289个免费积分，无需信用卡即可开始创作，视频生成通常只需2 - 5分钟，高效便捷。

KOOX AI免费图像转视频生成器，照片转视频效果优质、吸睛。

KOOX AI的图像转视频AI生成器是一款基于人工智能技术的产品，它能够将静态的照片转化为动态的视频。其重要性在于为用户节省了制作视频的时间和精力，无需专业的视频制作技能，就能轻松生成高质量的视频。主要优点包括操作简单、生成速度快、视频效果优质且具有吸引力。产品背景信息目前未提及，从页面展示可知可免费使用。该产品定位为面向广大普通用户，满足他们快速将照片转化为视频的需求。

AI文本与图像转视频工具，数秒内将文本或照片转为惊艳动画视频。

KaraVideo是一款强大的AI文本与图像转视频平台，其重要性在于为视频创作者提供了高效、便捷的视频创作途径。主要优点包括拥有最快的现实世界工作流程，无需切换工具和设置开销；一个价格解锁多种模型，统一使用积分，无需为每个引擎单独订阅；始终使用最新模型，无需迁移和重新训练；自带电影级画质，能对视频进行多种处理以保持预览与发布效果接近。产品背景是为满足创作者对多样化、高质量视频创作的需求而开发。价格方面，提供免费试用，有统一的付费计划以解锁多种模型。定位是面向广大视频创作者，帮助他们轻松实现创意。

全球可访问的无水印AI视频生成平台，支持文本、图像转视频等功能。

Sora 2 Online是一个基于先进AI模型的视频生成平台，可让用户在全球范围内通过PC和网页直接访问Sora 2技术。该平台打破地域限制，无需邀请码，生成的视频无水印，适合商业用途和社交媒体。平台提供了完整的AI工具套件，包括文本转视频、图像转视频、水印去除、文本转图像和图像编辑等功能。价格方面，采用灵活的信用系统，不同功能所需的信用不同，如视频生成150信用、水印去除35信用、图像生成20信用。其定位是为全球创作者提供便捷、高效、专业的视频和图像创作解决方案。

多功能大规模扩散模型，支持双向图像合成与理解。

OneDiffusion是一个多功能、大规模的扩散模型，它能够无缝支持双向图像合成和理解，覆盖多种任务。该模型预计将在12月初发布代码和检查点。OneDiffusion的重要性在于其能够处理图像合成和理解任务，这在人工智能领域是一个重要的进步，尤其是在图像生成和识别方面。产品背景信息显示，这是一个由多位研究人员共同开发的项目，其研究成果已在arXiv上发表。

AI视频配音与文本转视频应用

AI视频配音与文本转视频应用是一个完美的工具，适用于内容创作者、营销人员、制作公司和企业。使用我们真实、类似人类的AI声音和动画AI角色，为您现有的视频配音，支持40种自然语言，或通过文本创作视频。快速、准确的翻译、嘴型同步功能为您提供与工作室相似的品质。定价灵活、快速、经济实惠。

大规模训练 Transformer 模型的持续研究

Megatron-LM 是由 NVIDIA 应用深度学习研究团队开发的一种强大的大规模 Transformer 模型。该产品用于大规模训练 Transformer 语言模型的持续研究。我们使用混合精度，高效的模型并行和数据并行，以及多节点的 Transformer 模型（如 GPT、BERT 和 T5）的预训练。

实现增强物体跟踪的Transformer模型

CoTracker是一个基于Transformer的模型,可以在视频序列中联合跟踪稠密点。它与大多数现有的状态最先进的方法不同,后者独立跟踪点,而忽略了它们之间的相关性。我们展示了联合跟踪可以显著提高跟踪精度和鲁棒性。我们还提供了若干技术创新,包括虚拟轨迹的概念,这使CoTracker可以联合跟踪7万个点。此外,CoTracker因果地操作在短时间窗口上(因此适合在线任务),但通过在更长的视频序列上展开窗口进行训练,这使并显著改进了长期跟踪。我们展示了定性印象深刻的跟踪结果,其中点甚至在遮挡或离开视野时也可以跟踪很长时间。从定量上看,CoTracker在标准基准测试上优于所有最近的跟踪器,通常优势显著。

insMind免费AI图像转视频工具，上传图片即可生成4K MP4视频

该产品是insMind推出的一款免费在线AI图像转视频工具。其重要性在于为用户提供了便捷的图片转视频解决方案，无需任何编辑经验。主要优点包括操作简单，用户只需上传图片、设置相关想法即可快速生成高质量的4K MP4视频；无需专业技能，降低了视频制作门槛；支持多种平台，方便用户使用。产品背景是为满足用户对于图片转视频的需求，提供一站式的视频制作服务。价格方面，该工具完全免费，适合广大有图片转视频需求的用户。

高保真新视角合成的视频扩散模型

ViewCrafter 是一种新颖的方法，它利用视频扩散模型的生成能力以及基于点的表示提供的粗略3D线索，从单个或稀疏图像合成通用场景的高保真新视角。该方法通过迭代视图合成策略和相机轨迹规划算法，逐步扩展3D线索和新视角覆盖的区域，从而扩大新视角的生成范围。ViewCrafter 可以促进各种应用，例如通过优化3D-GS表示实现沉浸式体验和实时渲染，以及通过场景级文本到3D生成实现更富有想象力的内容创作。

一致且可控的角色动画图像到视频合成

Animate Anyone旨在通过驱动信号从静态图像生成角色视频。我们利用扩散模型的力量，提出了一个专为角色动画量身定制的新框架。为了保持参考图像中复杂外观特征的一致性，我们设计了ReferenceNet来通过空间注意力合并详细特征。为了确保可控性和连续性，我们引入了一个高效的姿势指导器来指导角色的动作，并采用了一种有效的时间建模方法，以确保视频帧之间的平滑跨帧过渡。通过扩展训练数据，我们的方法可以为任意角色制作动画，与其他图像到视频方法相比，在角色动画方面取得了出色的结果。此外，我们在时尚视频和人类舞蹈合成的基准上评估了我们的方法，取得了最先进的结果。

4D场景创建工具，使用多视图视频扩散模型

CAT4D是一个利用多视图视频扩散模型从单目视频中生成4D场景的技术。它能够将输入的单目视频转换成多视角视频，并重建动态的3D场景。这项技术的重要性在于它能够从单一视角的视频资料中提取并重建出三维空间和时间的完整信息，为虚拟现实、增强现实以及三维建模等领域提供了强大的技术支持。产品背景信息显示，CAT4D由Google DeepMind、Columbia University和UC San Diego的研究人员共同开发，是一个前沿的科研成果转化为实际应用的案例。

基于 Transformer 的预训练语言模型系列

Qwen1.5 是基于 Transformer 架构的解码器语言模型系列，包括不同规模的模型。具有 SwiGLU 激活、注意力 QKV 偏置、组查询注意力等特性。支持多种自然语言和代码。推荐进行后续训练，如 SFT、RLHF 等。定价免费。

Wan 2.5驱动的AI视频生成平台，可文本转视频，高效专业

Wan 2.5 AI Video Generator是由Wan 2.5模型驱动的领先AI视频生成平台。其重要性在于为内容创作者提供了便捷、高效的视频创作途径。主要优点包括能快速从文本或图像生成带音频的1080p专业视频，速度比传统制作快95%，无需专业技能。该平台定位广泛，适用于营销、教育、社交媒体等多个领域。价格方面，提供多种套餐，如Pro Trial 9.9美元可生成4个720p · 5s视频及1000积分；Plus套餐9.5美元/月；Pro套餐19.5美元/月；Enterprise套餐49.5美元/月。

稳定的在线3D视频合成

SV3D Online是一款稳定的在线3D视频合成工具，能够将单个图像转化为引人入胜的3D视角和网格。

解释视频Transformer决策过程的概念发现

这篇论文研究了视频Transformer表示的概念解释问题。具体而言，我们试图解释基于高级时空概念的视频Transformer的决策过程，这些概念是自动发现的。以往关于基于概念的可解释性的研究仅集中在图像级任务上。相比之下，视频模型处理了额外的时间维度，增加了复杂性，并在识别随时间变化的动态概念方面提出了挑战。在这项工作中，我们通过引入第一个视频Transformer概念发现（VTCD）算法系统地解决了这些挑战。为此，我们提出了一种有效的无监督视频Transformer表示单元（概念）识别方法，并对它们在模型输出中的重要性进行排名。所得的概念具有很高的可解释性，揭示了非结构化视频模型中的时空推理机制和以对象为中心的表示。通过在多样的监督和自监督表示上联合进行这种分析，我们发现其中一些机制在视频Transformer中是普遍的。最后，我们证明VTCD可以用于改善精细任务的模型性能。

自由形式文本图像合成与理解的视觉语言大模型

InternLM-XComposer2是一款领先的视觉语言模型，擅长自由形式文本图像合成与理解。该模型不仅能够理解传统的视觉语言，还能熟练地从各种输入中构建交织的文本图像内容，如轮廓、详细的文本规范和参考图像，实现高度可定制的内容创作。InternLM-XComposer2提出了一种部分LoRA（PLoRA）方法，专门将额外的LoRA参数应用于图像标记，以保留预训练语言知识的完整性，实现精确的视觉理解和具有文学才能的文本构成之间的平衡。实验结果表明，基于InternLM2-7B的InternLM-XComposer2在生成高质量长文本多模态内容方面优越，以及在各种基准测试中其出色的视觉语言理解性能，不仅明显优于现有的多模态模型，还在某些评估中与甚至超过GPT-4V和Gemini Pro。这凸显了它在多模态理解领域的卓越能力。InternLM-XComposer2系列模型具有7B参数，可在https://github.com/InternLM/InternLM-XComposer 上公开获取。

Vidux AI是一站式AI视频创作平台，有文本转视频等多种工具。

Vidux AI是一款基于先进人工智能技术的视频创作与处理平台。其重要性在于为用户提供了便捷、高效且专业的视频创作解决方案，无需专业的视频编辑技能。主要优点包括支持多种视频创作与处理功能，如文本转视频、图像转视频、视频压缩、视频增强等；拥有丰富的AI模型，可生成高质量视频；支持多平台视频下载和多种格式转换。产品定位为面向广大视频创作者、内容企业以及普通用户，满足不同层次的视频创作需求。价格方面，提供免费使用版本，同时也有付费的商业版本可供选择。

视频理解基础模型

VideoPrism是一个通用的视频编码模型,能够在各种视频理解任务上取得领先的性能,包括分类、定位、检索、字幕生成和问答等。其创新点在于预训练的数据集非常大且多样,包含3600万高质量的视频-文本对,以及5.82亿带有嘈杂文本的视频剪辑。预训练采用两阶段策略,先利用对比学习匹配视频和文本,然后预测遮蔽的视频块,充分利用不同的监督信号。一个固定的VideoPrism模型可以直接适配到下游任务,并在30个视频理解基准上刷新状态最优成绩。

扩展Transformer模型处理无限长输入

Google开发的“Infini-attention”技术旨在扩展基于Transformer的大语言模型以处理无限长的输入，通过压缩记忆机制实现无限长输入处理，并在多个长序列任务上取得优异表现。技术方法包括压缩记忆机制、局部与长期注意力的结合和流式处理能力等。实验结果显示在长上下文语言建模、密钥上下文块检索和书籍摘要任务上的性能优势。

一体化AI视频与图像生成器，用全球领先AI模型秒创4K视频和高分辨率图像。

Yolly AI是一款一体化的AI视频与图像生成器，其重要性在于整合了全球顶尖的AI视频和图像模型，让用户无需额外订阅多个模型。产品背景源于对高效、便捷AI创作工具的需求。价格方面，提供免费计划，用户可免费创建3 - 5个视频和图像，使用基本功能，还能免费使用全部功能三次；若需要更多创作额度和高级功能，有详细的订阅计划。定位是为创作者和企业提供一站式的AI创作解决方案，降低创作门槛，提高创作效率。主要优点包括使用简单、生成速度快，拥有100个热门模板，能快速将想法转化为高质量的视频和图像。

实时画布转图像演示

Flowty Realtime LCM Canvas是一个使用 LCM 和 gradio 库进行实时素描转图像的演示。通过在一侧进行绘制，您可以近乎实时地在另一侧看到变化。该产品支持使用不同的模型，可以通过在用户界面中更改模型 ID 来实现。您可以根据自己的需求调整参数以获得更好的效果。该产品在 MacBook Pro 上进行了测试，并且可以在 Colab 中使用。