需求人群:
"适合视频创作者、设计师等人群。为他们提供强大的视频生成工具,可快速生成高质量视频内容,满足创意需求。"
使用场景示例:
为广告制作生成逼真的视频场景
用于电影概念设计的视频创作
为游戏开发制作宣传视频
产品特色:
采用 AsymmDiT 架构,提升视频生成质量
可通过命令行或 gradio UI 运行
由 Genmo 团队开发,开源且采用宽松许可证
能处理用户提示并生成视频
经过初步评估具有高保真运动和强提示遵循性
VAE 可压缩视频至更小尺寸
使用教程:
"1. 克隆仓库并安装:git clone https://github.com/genmoai/models,cd models,pip install uv,uv venv.venv,source.venv/bin/activate,uv pip install -e.。\n2. 下载权重。\n3. 通过命令行或 gradio UI 运行:python3 -m mochi_preview.gradio_ui --model_dir \"<路径>\" 或 python3 -m mochi_preview.infer --prompt \"...\" --seed... --cfg_scale... --model_dir \"<路径>\"。"
浏览量:67
最新流量情况
月访问量
27175.38k
平均访问时长
00:04:57
每次访问页数
5.82
跳出率
44.30%
流量来源
直接访问
49.33%
自然搜索
34.96%
邮件
0.03%
外链引荐
12.77%
社交媒体
2.89%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
18.60%
印度
8.26%
日本
3.19%
俄罗斯
5.17%
美国
17.44%
Genmo 的视频生成模型,具有高保真运动和强提示遵循性。
这是一个先进的视频生成模型,采用 AsymmDiT 架构,可免费试用。它能生成高保真视频,缩小了开源与闭源视频生成系统的差距。模型需要至少 4 个 H100 GPU 运行。
Pusa 是一个新颖的视频扩散模型,支持多种视频生成任务。
Pusa 通过帧级噪声控制引入视频扩散建模的创新方法,能够实现高质量的视频生成,适用于多种视频生成任务(文本到视频、图像到视频等)。该模型以其卓越的运动保真度和高效的训练过程,提供了一个开源的解决方案,方便用户进行视频生成任务。
在视频扩散变换器中合成任何内容的框架。
SkyReels-A2 是一个基于视频扩散变换器的框架,允许用户合成和生成视频内容。该模型通过利用深度学习技术,提供了灵活的创作能力,适合多种视频生成应用,尤其是在动画和特效制作方面。该产品的优点在于其开源特性和高效的模型性能,适合研究人员和开发者使用,且目前不收取费用。
Wan2.1 是一款开源的先进大规模视频生成模型,支持多种视频生成任务。
Wan2.1 是一款开源的先进大规模视频生成模型,旨在推动视频生成技术的边界。它通过创新的时空变分自编码器(VAE)、可扩展的训练策略、大规模数据构建和自动化评估指标,显著提升了模型的性能和通用性。Wan2.1 支持多种任务,包括文本到视频、图像到视频、视频编辑等,能够生成高质量的视频内容。该模型在多个基准测试中表现优异,甚至超越了一些闭源模型。其开源特性使得研究人员和开发者可以自由使用和扩展该模型,适用于多种应用场景。
SkyReels V1 是一个开源的人类中心视频基础模型,专注于高质量影视级视频生成。
SkyReels V1 是一个基于 HunyuanVideo 微调的人类中心视频生成模型。它通过高质量影视片段训练,能够生成具有电影级质感的视频内容。该模型在开源领域达到了行业领先水平,尤其在面部表情捕捉和场景理解方面表现出色。其主要优点包括开源领先性、先进的面部动画技术和电影级光影美学。该模型适用于需要高质量视频生成的场景,如影视制作、广告创作等,具有广泛的应用前景。
Magic 1-For-1 是一个高效的图像到视频生成模型,可在一分钟内生成一分钟的视频。
Magic 1-For-1 是一个专注于高效视频生成的模型,其核心功能是将文本和图像快速转换为视频。该模型通过将文本到视频的生成任务分解为文本到图像和图像到视频两个子任务,优化了内存使用并减少了推理延迟。其主要优点包括高效性、低延迟和可扩展性。该模型由北京大学 DA-Group 团队开发,旨在推动交互式基础视频生成领域的发展。目前该模型及相关代码已开源,用户可以免费使用,但需遵守开源许可协议。
On-device Sora 是一个基于扩散模型的移动设备端文本到视频生成项目。
On-device Sora 是一个开源项目,旨在通过线性比例跳跃(LPL)、时间维度标记合并(TDTM)和动态加载并发推理(CI-DL)等技术,实现在移动设备(如 iPhone 15 Pro)上高效的视频生成。该项目基于 Open-Sora 模型开发,能够根据文本输入生成高质量视频。其主要优点包括高效性、低功耗和对移动设备的优化。该技术适用于需要在移动设备上快速生成视频内容的场景,如短视频创作、广告制作等。项目目前开源,用户可以免费使用。
一种用于控制视频扩散模型运动模式的高效方法,支持运动模式的自定义和迁移。
Go with the Flow 是一种创新的视频生成技术,通过使用扭曲噪声代替传统的高斯噪声,实现了对视频扩散模型运动模式的高效控制。该技术无需对原始模型架构进行修改,即可在不增加计算成本的情况下,实现对视频中物体和相机运动的精确控制。其主要优点包括高效性、灵活性和可扩展性,能够广泛应用于图像到视频生成、文本到视频生成等多种场景。该技术由 Netflix Eyeline Studios 等机构的研究人员开发,具有较高的学术价值和商业应用潜力,目前开源免费提供给公众使用。
一种新颖的图像到视频采样技术,基于Hunyuan模型实现高质量视频生成。
leapfusion-hunyuan-image2video 是一种基于 Hunyuan 模型的图像到视频生成技术。它通过先进的深度学习算法,将静态图像转换为动态视频,为内容创作者提供了一种全新的创作方式。该技术的主要优点包括高效的内容生成、灵活的定制化能力以及对高质量视频输出的支持。它适用于需要快速生成视频内容的场景,如广告制作、视频特效等领域。该模型目前以开源形式发布,供开发者和研究人员免费使用,未来有望通过社区贡献进一步提升其性能。
一个开源项目,用于在浏览器中演示 AI 视频生成模型。
video-starter-kit 是一个强大的开源工具包,用于构建基于 AI 的视频应用。它基于 Next.js、Remotion 和 fal.ai 构建,简化了在浏览器中使用 AI 视频模型的复杂性。该工具包支持多种先进的视频处理功能,如多剪辑视频合成、音频轨道集成和语音支持等,同时提供了开发者友好的工具,如元数据编码和视频处理管道。它适用于需要高效视频生成和处理的开发者和创作者。
开源图像到视频生成模型
Ruyi-Mini-7B是由CreateAI团队开发的开源图像到视频生成模型,具有约71亿参数,能够从输入图像生成360p到720p分辨率的视频帧,最长5秒。模型支持不同宽高比,并增强了运动和相机控制功能,提供更大的灵活性和创造力。该模型在Apache 2.0许可下发布,意味着用户可以自由使用和修改。
探索AI前沿,精选国内外AI产品与应用。
智趣AI甄选是一个专注于人工智能领域的综合性平台,旨在洞察行业发展前景,精选并展示国内外的AI产品与应用。平台提供丰富的学习资源,行业融合案例分析,助力用户洞悉AI发展趋势,与AI技术同行,共创未来。
腾讯开源的大型视频生成模型训练框架
HunyuanVideo是腾讯开源的一个系统性框架,用于训练大型视频生成模型。该框架通过采用数据策划、图像-视频联合模型训练和高效的基础设施等关键技术,成功训练了一个超过130亿参数的视频生成模型,是所有开源模型中最大的。HunyuanVideo在视觉质量、运动多样性、文本-视频对齐和生成稳定性方面表现出色,超越了包括Runway Gen-3、Luma 1.6在内的多个行业领先模型。通过开源代码和模型权重,HunyuanVideo旨在缩小闭源和开源视频生成模型之间的差距,推动视频生成生态系统的活跃发展。
实时AI视频生成开源模型
LTXV是Lightricks推出的一个实时AI视频生成开源模型,它代表了视频生成技术的最新发展。LTXV能够提供可扩展的长视频制作能力,优化了GPU和TPU系统,大幅减少了视频生成时间,同时保持了高视觉质量。LTXV的独特之处在于其帧到帧学习技术,确保了帧之间的连贯性,消除了闪烁和场景内的不一致问题。这一技术对于视频制作行业来说是一个巨大的进步,因为它不仅提高了效率,还提升了视频内容的质量。
Mochi视频生成器的ComfyUI包装节点
ComfyUI-MochiWrapper是一个用于Mochi视频生成器的包装节点,它允许用户通过ComfyUI界面与Mochi模型进行交互。这个项目主要优点是能够利用Mochi模型生成视频内容,并且通过ComfyUI简化了操作流程。它是基于Python开发的,并且完全开源,允许开发者自由地使用和修改。目前该项目还处于积极开发中,已经有一些基本功能,但还没有正式发布版本。
开源视频生成模型
genmoai/models 是一个开源的视频生成模型,代表了视频生成技术的最新进展。该模型名为 Mochi 1,是一个基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构的10亿参数扩散模型,从零开始训练,是迄今为止公开发布的最大的视频生成模型。它具有高保真运动和强提示遵循性,显著缩小了封闭和开放视频生成系统之间的差距。该模型在 Apache 2.0 许可下发布,用户可以在 Genmo 的 playground 上免费试用此模型。
高效视频生成建模的金字塔流匹配技术
Pyramid Flow 是一种高效的视频生成建模技术,它基于流匹配方法,通过自回归视频生成模型来实现。该技术主要优点是训练效率高,能够在开源数据集上以较低的GPU小时数进行训练,生成高质量的视频内容。Pyramid Flow 的背景信息包括由北京大学、快手科技和北京邮电大学共同研发,并且已经在多个平台上发布了相关的论文、代码和模型。
集成空间编织注意力,提升扩散模型的高保真条件
HelloMeme是一个集成了空间编织注意力的扩散模型,旨在将高保真和丰富的条件嵌入到图像生成过程中。该技术通过提取驱动视频中的每一帧特征,并将其作为输入到HMControlModule,从而生成视频。通过进一步优化Animatediff模块,提高了生成视频的连续性和保真度。此外,HelloMeme还支持通过ARKit面部混合形状控制生成的面部表情,以及基于SD1.5的Lora或Checkpoint,实现了框架的热插拔适配器,不会影响T2I模型的泛化能力。
文本到视频生成领域的先进模型架构
Open-Sora Plan v1.2是一个开源的视频生成模型,专注于文本到视频的转换任务。它采用3D全注意力架构,优化了视频的视觉表示,并提高了推理效率。该模型在视频生成领域具有创新性,能够更好地捕捉联合空间-时间特征,为视频内容的自动生成提供了新的技术路径。
文本到视频生成的开源模型,性能卓越。
Open-Sora-Plan是一个由北京大学元组团队开发的文本到视频生成模型。它在2024年4月首次推出v1.0.0版本,以其简单高效的设计和显著的性能在文本到视频生成领域获得了广泛认可。v1.1.0版本在视频生成质量和持续时间上进行了显著改进,包括更优的压缩视觉表示、更高的生成质量和更长的视频生成能力。该模型采用了优化的CausalVideoVAE架构,具有更强的性能和更高的推理效率。此外,它还保持了v1.0.0版本的极简设计和数据效率,并且与Sora基础模型的性能相似,表明其版本演进与Sora展示的扩展法则一致。
一款面向高质量长视频生成的实验性框架,具有扩展序列长度和增强动态特性。
Mira(Mini-Sora)是一个实验性的项目,旨在探索高质量、长时视频生成领域,特别是在模仿Sora风格的视频生成方面。它在现有文本到视频(T2V)生成框架的基础上,通过以下几个关键方面实现突破:扩展序列长度、增强动态特性以及保持3D一致性。目前,Mira项目处于实验阶段,与Sora等更高级的视频生成技术相比,仍有提升空间。
视频生成模型,支持无限长度高保真虚拟人视频生成
MuseV是一个基于扩散模型的虚拟人视频生成框架,支持无限长度视频生成,采用了新颖的视觉条件并行去噪方案。它提供了预训练的虚拟人视频生成模型,支持Image2Video、Text2Image2Video、Video2Video等功能,兼容Stable Diffusion生态系统,包括基础模型、LoRA、ControlNet等。它支持多参考图像技术,如IPAdapter、ReferenceOnly、ReferenceNet、IPAdapterFaceID等。MuseV的优势在于可生成高保真无限长度视频,定位于视频生成领域。
昆仑万维开源的高性能数学代码推理模型,性能卓越
Skywork-OR1是由昆仑万维天工团队开发的高性能数学代码推理模型。该模型系列在同等参数规模下实现了业界领先的推理性能,突破了大模型在逻辑理解与复杂任务求解方面的能力瓶颈。Skywork-OR1系列包括Skywork-OR1-Math-7B、Skywork-OR1-7B-Preview和Skywork-OR1-32B-Preview三款模型,分别聚焦数学推理、通用推理和高性能推理任务。此次开源不仅涵盖模型权重,还全面开放了训练数据集和完整训练代码,所有资源均已上传至GitHub和Huggingface平台,为AI社区提供了完全可复现的实践参考。这种全方位的开源策略有助于推动整个AI社区在推理能力研究上的共同进步。
使 AI 能够控制 Android 设备的强大自动化工具。
Droidrun 是一个强大的 Android 自动化工具,旨在使 AI 代理能够无缝地与 Android 应用程序进行互动。它结合了视觉理解和 UI 结构提取,为 AI 提供了一个强大的移动平台。Droidrun 目前处于等待名单阶段,面向个人开发者、小型团队和企业提供不同的解决方案。
mcp-use 是与 MCP 工具交互的最简单方式,支持自定义代理。
mcp-use 是一个开源的 MCP 客户端库,旨在帮助开发者将任何大型语言模型(LLM)连接到 MCP 工具,构建具有工具访问能力的自定义代理,而无需使用闭源或应用程序客户端。该产品提供了简单易用的 API 和强大的功能,可以应用于多个领域。
一款通过生成模型提升图像生成一致性的工具。
UNO 是一个基于扩散变换器的多图像条件生成模型,通过引入渐进式跨模态对齐和通用旋转位置嵌入,实现高一致性的图像生成。其主要优点在于增强了对单一或多个主题生成的可控性,适用于各种创意图像生成任务。
一个用于 PDF 科学论文翻译和双语对比的库。
BabelDOC 是一款旨在简化文档翻译的工具,特别是 PDF 文件。它不仅提供了命令行界面,还支持 Python API,并允许用户进行自我部署。该产品的主要优点在于其支持高达 1000 页的免费在线翻译服务,并具有良好的兼容性和扩展性。BabelDOC 旨在成为各种程序的嵌入式翻译解决方案,适用于学术研究、商业文件翻译等多个场景。
© 2025 AIbase 备案号:闽ICP备08105208号-14