产品库

视频重制，精确控制内容与运动

ReVideo是一个创新的视频编辑技术，它允许用户在特定区域进行精确的视频编辑，通过指定内容和运动来实现。这项技术通过修改第一帧来实现内容编辑，而基于轨迹的运动控制提供了直观的用户交互体验。ReVideo解决了内容和运动控制之间耦合和训练不平衡的新任务。通过开发三阶段训练策略，逐步从粗到细解耦这两方面，并提出一种时空自适应融合模块，以在不同的采样步骤和空间位置整合内容和运动控制。

基于实体表示的任意物体运动控制

DragAnything是一款利用实体表示实现任意物体运动控制的产品。与拖动像素的传统方式不同，DragAnything可以实现真正的实体级运动控制。它可以实现用户轨迹交互，并具有SAM功能。该产品可以精确控制物体的运动，生成高质量视频，用户只需在交互过程中绘制一条轨迹。DragAnything可实现对前景、背景和相机等不同元素的多样化运动控制。定位于设计领域，适用于需要对视频中物体进行精细控制的场景。产品定价未公开。

一种用于控制视频扩散模型运动模式的高效方法，支持运动模式的自定义和迁移。

Go with the Flow 是一种创新的视频生成技术，通过使用扭曲噪声代替传统的高斯噪声，实现了对视频扩散模型运动模式的高效控制。该技术无需对原始模型架构进行修改，即可在不增加计算成本的情况下，实现对视频中物体和相机运动的精确控制。其主要优点包括高效性、灵活性和可扩展性，能够广泛应用于图像到视频生成、文本到视频生成等多种场景。该技术由 Netflix Eyeline Studios 等机构的研究人员开发，具有较高的学术价值和商业应用潜力，目前开源免费提供给公众使用。

视频生成的精细控制工具

Ctrl-Adapter是一个专门为视频生成设计的Controlnet，提供图像和视频的精细控制功能，优化视频时间对齐，适配多种基础模型，具备视频编辑能力，显著提升视频生成效率和质量。

控制视频生成模型

传统的3D内容创作工具赋予用户直接控制场景的几何形状、外观、动作和摄像机路径，从而将他们的想象变为现实。然而，创建计算机生成的视频是一个繁琐的手动过程，可以通过新兴的文本到视频扩散模型实现自动化。尽管前景广阔，视频扩散模型难以控制，限制了用户应用自己的创造力，而不是放大它。为了解决这一挑战，我们提出了一种新颖的方法，将动态3D网格的可控性与新兴扩散模型的表现力和可编辑性相结合。为此，我们的方法以动画化的低保真度渲染网格作为输入，并将从动态网格获得的地面真实对应信息注入预训练的文本到图像生成模型的各个阶段，以输出高质量和时间一致的帧。我们在各种示例上演示了我们的方法，其中动作可以通过对绑定资产进行动画化或改变摄像机路径来获得。

精准控制文本生成视频的相机姿态

CameraCtrl 致力于为文本生成视频模型提供精准相机姿态控制，通过训练相机编码器实现参数化相机轨迹，从而实现视频生成过程中的相机控制。产品通过综合研究各种数据集的效果，证明视频具有多样的相机分布和相似外观可以增强可控性和泛化能力。实验证明 CameraCtrl 在实现精确、领域自适应的相机控制方面非常有效，是从文本和相机姿态输入实现动态、定制视频叙事的重要进展。

为文本到视频扩散模型添加稀疏控制

SparseCtrl是为了增强对文本到视频生成的控制性而开发的，它能够灵活地结合稀疏信号进行结构控制，只需一个或少量输入。它包括一个额外的条件编码器来处理这些稀疏信号，同时不影响预训练的文本到视频模型。该方法兼容各种形式，包括素描、深度和RGB图像，为视频生成提供更实用的控制，并推动故事板、深度渲染、关键帧动画和插值等应用。大量实验证明了SparseCtrl在原始和个性化文本到视频生成器上的泛化能力。

控制型文本转图像生成和编辑模型

BLIP-Diffusion 是一个支持多模态控制的主题驱动图像生成模型。它通过接受主题图像和文本提示作为输入，生成基于文本提示的主题图像。与现有模型相比，BLIP-Diffusion 提供了零 - shot 主题驱动生成和高效的定制主题微调。它还可以与其他技术（如 ControlNet 和 prompt-to-prompt）灵活结合，实现新颖的主题驱动生成和编辑应用。

灵感激发与视频创作平台

跃问视频是一个集灵感激发与视频创作于一体的平台，它通过提供丰富的视觉和创意内容，帮助用户激发创意并创作出独特的视频。该平台以其独特的美学风格和高效的视频生成技术为主要优点，尤其在中国风题材上表现出色。跃问视频的背景信息显示，它是由阶跃星辰公司推出的，该公司在多模态能力方面遥遥领先，提供了从文本到视频的生成技术。产品定位于中高端市场，以其高质量的视频生成和优化服务吸引用户。

一种用于控制人类图像动画的方法

DisPose是一种用于控制人类图像动画的方法，它通过运动场引导和关键点对应来提高视频生成的质量。这项技术能够从参考图像和驱动视频中生成视频，同时保持运动对齐和身份信息的一致性。DisPose通过从稀疏的运动场和参考图像生成密集的运动场，提供区域级别的密集引导，同时保持稀疏姿态控制的泛化能力。此外，它还从参考图像中提取与姿态关键点对应的扩散特征，并将这些点特征转移到目标姿态，以提供独特的身份信息。DisPose的主要优点包括无需额外的密集输入即可提取更通用和有效的控制信号，以及通过即插即用的混合ControlNet提高生成视频的质量和一致性，而无需冻结现有模型参数。

用户视频的生成性视频摄像机控制

ReCapture是一种从单一用户提供的视频生成新视频和新颖摄像机轨迹的方法。该技术允许我们从完全不同的角度重新生成源视频，并带有电影级别的摄像机运动。ReCapture通过使用多视图扩散模型或基于深度的点云渲染生成带有新摄像机轨迹的嘈杂锚视频，然后通过我们提出的掩蔽视频微调技术将锚视频重新生成为干净且时间上一致的重新角度视频。这种技术的重要性在于它能够利用视频模型的强大先验，将近似的视频重新生成为时间上一致且美观的视频。

灵活的视频生成控制器

MotionCtrl 是一个统一而灵活的视频生成控制器，能够独立有效地管理相机和物体的运动。它可以根据相机姿态序列和物体轨迹指导视频生成模型，生成具有复杂相机运动和特定物体运动的视频。MotionCtrl 还可以与其他视频生成方法集成，如 SVD。它的优势包括能够精细地控制相机运动和物体运动，使用外观无关的相机姿态和轨迹，适应各种相机姿态和轨迹，生成具有自然外观的视频等。

生成和交互控制开放世界游戏视频的扩散变换模型

GameGen-X是专为生成和交互控制开放世界游戏视频而设计的扩散变换模型。该模型通过模拟游戏引擎的多种特性，如创新角色、动态环境、复杂动作和多样事件，实现了高质量、开放领域的视频生成。此外，它还提供了交互控制能力，能够根据当前视频片段预测和改变未来内容，从而实现游戏玩法模拟。为了实现这一愿景，我们首先从零开始收集并构建了一个开放世界视频游戏数据集（OGameData），这是第一个也是最大的开放世界游戏视频生成和控制数据集，包含超过150款游戏的100多万个多样化游戏视频片段，这些片段都配有GPT-4o的信息性字幕。GameGen-X经历了两阶段的训练过程，包括基础模型预训练和指令调优。首先，模型通过文本到视频生成和视频续集进行预训练，赋予了其长序列、高质量开放领域游戏视频生成的能力。进一步，为了实现交互控制能力，我们设计了InstructNet来整合与游戏相关的多模态控制信号专家。这使得模型能够根据用户输入调整潜在表示，首次在视频生成中统一角色交互和场景内容控制。在指令调优期间，只有InstructNet被更新，而预训练的基础模型被冻结，使得交互控制能力的整合不会损失生成视频内容的多样性和质量。GameGen-X代表了使用生成模型进行开放世界视频游戏设计的一次重大飞跃。它展示了生成模型作为传统渲染技术的辅助工具的潜力，有效地将创造性生成与交互能力结合起来。

扩展ChatGPT，语音控制与朗读

Voice Control for ChatGPT x Mia AI是一个扩展，为ChatGPT提供语音控制和朗读功能。通过录音按钮，您可以录制并发送语音查询给ChatGPT，无需打字。AI的回答会朗读出来，确保流畅的听觉交互。此外，该插件还可以将ChatGPT变成您的个人语音助手，具备Mia AI的功能。

基于控制网络的图像生成模型

FLUX.1-dev-Controlnet-Canny-alpha是一个基于控制网络的图像生成模型，属于Stable Diffusion系列。它使用先进的Diffusers技术，通过文本到图像的转换为用户提供高质量的图像生成服务。此模型特别适用于需要精确控制图像细节和风格的场景。

控制文本到图像生成过程

FreeControl是一个无需训练就可以实现对文本到图像生成过程的可控制的方法。它支持对多种条件、架构和检查点的同时控制。FreeControl通过结构指导实现与指导图像的结构对齐,通过外观指导实现使用相同种子的生成图像之间的外观共享。FreeControl包含分析阶段和合成阶段。在分析阶段,FreeControl查询文本到图像模型生成少量种子图像,然后从生成的图像构建线性特征子空间。在合成阶段,FreeControl在子空间中运用指导实现与指导图像的结构对齐,以及使用与不使用控制的生成图像之间的外观对齐。

多重时变控制的音乐生成模型

Music ControlNet 是一种基于扩散的音乐生成模型，可以提供多个精确的、时变的音乐控制。它可以根据旋律、动态和节奏控制生成音频，并且可以部分指定时间上的控制。与其他音乐生成模型相比，Music ControlNet 具有更高的旋律准确度，并且参数更少、数据量更小。定价信息请访问官方网站。

团队聊天AI，控制成本，保护数据

SquadGPT是一个团队聊天AI产品，让您的团队能够与AI进行交流和协作，同时控制成本、保持可见性和保护数据安全。它提供了简单的聊天界面，您可以邀请其他人加入到与AI的聊天中。SquadGPT让您能够AI-enable您的团队，同时控制成本。您可以根据需要自定义AI聊天的行为和偏好。您可以在多人协作的情况下使用SquadGPT，例如招聘/面试、辅导、团队学习、头脑风暴、游戏和问题解决、员工入职等。SquadGPT能够提供企业对员工使用AI的控制和可见性。您可以通过SquadGPT监控和控制AI成本，轻松比较AI的成本与其为您的业务带来的价值。您的对话数据由OpenAI的GPT模型通过其API处理，非常安全。根据OpenAI的政策，他们不会查看使用API提交的数据。您还可以创建规则来控制与后端AI模型的数据交互。SquadGPT是未来人工智能与人类的结合，让未来变为现实。

音乐生成模型，通过控制网络进行微调。

Stable Audio ControlNet 是一个基于 Stable Audio Open 的音乐生成模型，通过 DiT ControlNet 进行微调，能够在具有 16GB VRAM 的 GPU 上使用，支持音频控制。此模型仍在开发中，但已经能够实现音乐的生成和控制，具有重要的技术意义和应用前景。

ChatGPT AI助手，语音查询，眼镜控制

Lucyd App是一款配有ChatGPT AI助手的应用程序，支持语音查询和眼镜控制。通过Lucyd App，您可以通过语音与ChatGPT进行交流，无需键盘输入。该应用程序具有简洁易用的界面和灵活的历史功能，支持导出和回放查询记录。Lucyd App免费提供，适用于iOS和Android设备。

利用动态NeRF进行大规模运动和视角变化的人体视频编辑

DynVideo-E是一款利用动态NeRF技术进行大规模运动和视角变化的人体视频编辑工具。该工具将视频表示为3D前景规范化的人体空间，结合变形场和3D背景静态空间。通过利用重建损失、2D个性化扩散先验、3D扩散先验和局部部分超分辨率等技术，在多视角多姿势配置下编辑可动的规范化人体空间。同时，通过特征空间的风格转换损失将参考风格转移到3D背景模型中。用户可以在编辑后的视频-NeRF模型中根据源视频相机姿态进行相应的渲染。DynVideo-E不仅能够处理短视频，还能够处理大规模运动和视角变化的人体视频，为用户提供了更多直接可控的编辑方式。该工具在两个具有挑战性的数据集上的实验证明，相比于现有方法，DynVideo-E在人类偏好方面取得了50% ~ 95%的显著优势。DynVideo-E的代码和数据将会向社区发布。

将智能设备控制权交到您手中。

01 App是一个基于iOS和Android的应用程序，它通过简单的按键对讲界面，允许用户从世界任何地方控制Mac、Windows和Linux机器。该应用代表了一种新型的计算平台，专注于软件而非硬件，通过提供更好的SDK、集成语音模型、提高教学模式的可靠性和增加多模态功能来增强用户体验。01 App的推出，是为了让用户能够更便捷地体验到01平台的智能设备控制能力，同时避免了制造硬件所带来的复杂性和成本。

Portkey.ai - AI应用控制面板

Portkey是一个LLMOps平台，帮助企业更快地开发、发布、维护和迭代生成式AI应用和功能。通过Portkey的可观测性套件和AI网关，数百个团队可以发布可靠、高效和快速的应用。价格根据需求定制。

ComfyUI的详细控制节点，优化图像细节。

ComfyUI-Detail-Daemon是一个基于muerrilla的sd-webui-Detail-Daemon移植的节点，用于ComfyUI，可以调整控制细节的sigmas值。这个工具特别适用于增强Flux模型的细节，同时可能去除不需要的背景模糊。它包括四个节点：Detail Daemon Sampler、Detail Daemon Graph Sigmas、Multiply Sigmas和Lying Sigma Sampler，提供了多种方法来增强图像细节。

用于编辑动态场景的稀疏控制高斯溅射技术

SC-GS是一种新型表示技术,将动态场景的运动和外观分别用稀疏控制点和密集高斯函数表示。它使用少量控制点学习紧凑的6自由度变换基,这些基可通过插值权重在局部插值,得到3D高斯函数的运动场。它采用变形MLP预测每个控制点的时变6自由度变换,降低学习复杂度,增强学习能力,实现时空连贯的运动模式。同时联合学习3D高斯函数、控制点的规范空间位置和变形MLP,重建3D场景的外观、几何和动态。在训练过程中,控制点的位置和数量会自适应调整以适应不同区域的运动复杂度,并采用尽可能刚性的损失函数强制运动的空间连续性和局部刚性。由于运动表示的显式稀疏性和外观分离,该方法实现了用户控制的运动编辑,同时保留高保真度外观。大量实验表明,该方法在新视图合成和高速渲染方面优于现有方法,并支持新的保留外观的运动编辑应用。

物理模拟角色的指令驱动控制系统

InsActor是一个基于物理模拟的角色控制系统。它可以通过自然语言指令驱动角色在复杂环境中完成各种交互任务。该系统利用条件与对抗扩散模型进行多级规划,并与低级控制器相结合,实现稳定、鲁棒的控制。具有控制流畅、交互自然的优势,适用于创意内容生成、互动娱乐、人机交互等应用场景。

为创作者提供终极 AI 动的相机控制。

Higgsfield 是一个 AI 驱动的相机控制平台，旨在帮助创作者轻松实现各种镜头效果，提升拍摄质量。它提供多种运动控制选项，用户可以快速生成所需的镜头动作。该产品定位于视频创作者，适用于各类影片制作，尤其是需要高水平镜头控制的项目。Higgsfield 采用订阅制定价，支持免费试用，适合所有创意工作者。

WordPress插件构建工具，集成AI和版本控制。

BudCoder是一个为WordPress插件开发者设计的构建工具，它通过集成AI技术帮助用户快速创建和优化插件。该工具支持版本控制，允许开发者跟踪和管理代码的每个版本，提高开发效率和代码质量。

超级高效的工具控制台

Raycast是一个快速、可扩展的启动器，让您能够完成任务、计算、分享常用链接等等。Raycast Pro解锁了更高级的功能，包括人工智能、云同步、自定义主题等。