需求人群:
"Pusa 非常适合视频内容创作者、数字艺术家和研究人员,他们希望利用先进的视频生成技术来创造高质量的视觉内容。该产品的开源特性使得用户可以根据自己的需求进行定制和扩展。"
使用场景示例:
文本提示生成视频,例如:' 一个人在打篮球 ',生成相关的视频。
将用户提供的图像转化为动态视频,用于社交媒体内容创建。
为商业广告制作短视频,利用无缝循环和视频过渡效果提升效果。
产品特色:
支持文本到视频生成:用户可以输入文本提示,生成相应的视频内容。
图像到视频转换:允许用户将静态图像转化为动态视频,增强视觉表现。
帧插值功能:通过插值技术平滑视频帧,提升观看体验。
无缝循环生成:创建可以循环播放的视频,适合短视频内容。
视频过渡效果:支持视频间的过渡效果,提升视频制作的专业性。
扩展视频生成:支持生成更长时间的视频,满足不同用户需求。
效率高:训练只需 0.1k H800 GPU 小时,成本低。
完整的开源发布:提供完整代码库和详细文档,便于用户二次开发。
使用教程:
安装 Pusa 模型,使用 Git 克隆代码库并安装依赖。
下载模型权重,从 Hugging Face 或其他渠道获取所需文件。
运行文本到视频生成命令,提供模型路径和提示信息。
尝试不同的条件位置以获得最佳效果。
处理多个图像时,确保每个图像有对应的文本提示文件。
浏览量:156
最新流量情况
月访问量
5.21m
平均访问时长
00:06:29
每次访问页数
6.12
跳出率
35.96%
流量来源
直接访问
52.10%
自然搜索
32.78%
邮件
0.05%
外链引荐
12.82%
社交媒体
2.16%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
13.96%
德国
3.65%
印度
9.02%
俄罗斯
4.03%
美国
19.10%
Pusa 是一个新颖的视频扩散模型,支持多种视频生成任务。
Pusa 通过帧级噪声控制引入视频扩散建模的创新方法,能够实现高质量的视频生成,适用于多种视频生成任务(文本到视频、图像到视频等)。该模型以其卓越的运动保真度和高效的训练过程,提供了一个开源的解决方案,方便用户进行视频生成任务。
开源图像到视频生成模型
Ruyi-Mini-7B是由CreateAI团队开发的开源图像到视频生成模型,具有约71亿参数,能够从输入图像生成360p到720p分辨率的视频帧,最长5秒。模型支持不同宽高比,并增强了运动和相机控制功能,提供更大的灵活性和创造力。该模型在Apache 2.0许可下发布,意味着用户可以自由使用和修改。
腾讯开源的大型视频生成模型训练框架
HunyuanVideo是腾讯开源的一个系统性框架,用于训练大型视频生成模型。该框架通过采用数据策划、图像-视频联合模型训练和高效的基础设施等关键技术,成功训练了一个超过130亿参数的视频生成模型,是所有开源模型中最大的。HunyuanVideo在视觉质量、运动多样性、文本-视频对齐和生成稳定性方面表现出色,超越了包括Runway Gen-3、Luma 1.6在内的多个行业领先模型。通过开源代码和模型权重,HunyuanVideo旨在缩小闭源和开源视频生成模型之间的差距,推动视频生成生态系统的活跃发展。
开源视频生成模型
genmoai/models 是一个开源的视频生成模型,代表了视频生成技术的最新进展。该模型名为 Mochi 1,是一个基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构的10亿参数扩散模型,从零开始训练,是迄今为止公开发布的最大的视频生成模型。它具有高保真运动和强提示遵循性,显著缩小了封闭和开放视频生成系统之间的差距。该模型在 Apache 2.0 许可下发布,用户可以在 Genmo 的 playground 上免费试用此模型。
一款面向高质量长视频生成的实验性框架,具有扩展序列长度和增强动态特性。
Mira(Mini-Sora)是一个实验性的项目,旨在探索高质量、长时视频生成领域,特别是在模仿Sora风格的视频生成方面。它在现有文本到视频(T2V)生成框架的基础上,通过以下几个关键方面实现突破:扩展序列长度、增强动态特性以及保持3D一致性。目前,Mira项目处于实验阶段,与Sora等更高级的视频生成技术相比,仍有提升空间。
开源视频生成模型,支持多种生成任务。
Wan2.1-FLF2V-14B 是一个开源的大规模视频生成模型,旨在推动视频生成领域的进步。该模型在多项基准测试中表现优异,支持消费者级 GPU,能够高效生成 480P 和 720P 的视频。它在文本到视频、图像到视频等多个任务中表现出色,具有强大的视觉文本生成能力,适用于各种实际应用场景。
一个简单易用的语音克隆和语音模型训练工具。
EaseVoice Trainer 是一个后端项目,旨在简化和增强语音合成与转换训练过程。该项目基于 GPT-SoVITS 进行改进,注重用户体验和系统的可维护性。其设计理念不同于原始项目,旨在提供更模块化和定制化的解决方案,适用于从小规模实验到大规模生产的多种场景。该工具可以帮助开发者和研究人员更高效地进行语音合成和转换的研究与开发。
用于视频生成的下一帧预测模型。
FramePack 是一个创新的视频生成模型,旨在通过压缩输入帧的上下文来提高视频生成的质量和效率。其主要优点在于解决了视频生成中的漂移问题,通过双向采样方法保持视频质量,适合需要生成长视频的用户。该技术背景来源于对现有模型的深入研究和实验,以改进视频生成的稳定性和连贯性。
昆仑万维开源的高性能数学代码推理模型,性能卓越
Skywork-OR1是由昆仑万维天工团队开发的高性能数学代码推理模型。该模型系列在同等参数规模下实现了业界领先的推理性能,突破了大模型在逻辑理解与复杂任务求解方面的能力瓶颈。Skywork-OR1系列包括Skywork-OR1-Math-7B、Skywork-OR1-7B-Preview和Skywork-OR1-32B-Preview三款模型,分别聚焦数学推理、通用推理和高性能推理任务。此次开源不仅涵盖模型权重,还全面开放了训练数据集和完整训练代码,所有资源均已上传至GitHub和Huggingface平台,为AI社区提供了完全可复现的实践参考。这种全方位的开源策略有助于推动整个AI社区在推理能力研究上的共同进步。
在视频扩散变换器中合成任何内容的框架。
SkyReels-A2 是一个基于视频扩散变换器的框架,允许用户合成和生成视频内容。该模型通过利用深度学习技术,提供了灵活的创作能力,适合多种视频生成应用,尤其是在动画和特效制作方面。该产品的优点在于其开源特性和高效的模型性能,适合研究人员和开发者使用,且目前不收取费用。
一个强大的文本生成模型,适用于多种对话应用。
DeepSeek-V3-0324 是一个先进的文本生成模型,具有 685 亿参数,采用 BF16 和 F32 张量类型,能够支持高效的推理和文本生成。该模型的主要优点在于其强大的生成能力和开放源码的特性,使其可以被广泛应用于多种自然语言处理任务。该模型的定位是为开发者和研究人员提供一个强大的工具,帮助他们在文本生成领域取得突破。
一个开源文本转语音系统,致力于实现人类语音的自然化。
Orpheus TTS 是一个基于 Llama-3b 模型的开源文本转语音系统,旨在提供更加自然的人类语音合成。它具备较强的语音克隆能力和情感表达能力,适合各种实时应用场景。该产品是免费的,旨在为开发者和研究者提供便捷的语音合成工具。
为Firefox浏览器翻译功能优化的CPU加速神经机器翻译模型。
Firefox Translations Models 是由Mozilla开发的一组CPU优化的神经机器翻译模型,专为Firefox浏览器的翻译功能设计。该模型通过高效的CPU加速技术,提供快速且准确的翻译服务,支持多种语言对。其主要优点包括高性能、低延迟和对多种语言的支持。该模型是Firefox浏览器翻译功能的核心技术,为用户提供无缝的网页翻译体验。
Wan2.1 是一款开源的先进大规模视频生成模型,支持多种视频生成任务。
Wan2.1 是一款开源的先进大规模视频生成模型,旨在推动视频生成技术的边界。它通过创新的时空变分自编码器(VAE)、可扩展的训练策略、大规模数据构建和自动化评估指标,显著提升了模型的性能和通用性。Wan2.1 支持多种任务,包括文本到视频、图像到视频、视频编辑等,能够生成高质量的视频内容。该模型在多个基准测试中表现优异,甚至超越了一些闭源模型。其开源特性使得研究人员和开发者可以自由使用和扩展该模型,适用于多种应用场景。
一个专注于超大规模系统设计和优化的工具,提供高效解决方案。
The Ultra-Scale Playbook 是一个基于 Hugging Face Spaces 提供的模型工具,专注于超大规模系统的优化和设计。它利用先进的技术框架,帮助开发者和企业高效地构建和管理大规模系统。该工具的主要优点包括高度的可扩展性、优化的性能和易于集成的特性。它适用于需要处理复杂数据和大规模计算任务的场景,如人工智能、机器学习和大数据处理。产品目前以开源的形式提供,适合各种规模的企业和开发者使用。
SkyReels V1 是一个开源的人类中心视频基础模型,专注于高质量影视级视频生成。
SkyReels V1 是一个基于 HunyuanVideo 微调的人类中心视频生成模型。它通过高质量影视片段训练,能够生成具有电影级质感的视频内容。该模型在开源领域达到了行业领先水平,尤其在面部表情捕捉和场景理解方面表现出色。其主要优点包括开源领先性、先进的面部动画技术和电影级光影美学。该模型适用于需要高质量视频生成的场景,如影视制作、广告创作等,具有广泛的应用前景。
Magic 1-For-1 是一个高效的图像到视频生成模型,可在一分钟内生成一分钟的视频。
Magic 1-For-1 是一个专注于高效视频生成的模型,其核心功能是将文本和图像快速转换为视频。该模型通过将文本到视频的生成任务分解为文本到图像和图像到视频两个子任务,优化了内存使用并减少了推理延迟。其主要优点包括高效性、低延迟和可扩展性。该模型由北京大学 DA-Group 团队开发,旨在推动交互式基础视频生成领域的发展。目前该模型及相关代码已开源,用户可以免费使用,但需遵守开源许可协议。
On-device Sora 是一个基于扩散模型的移动设备端文本到视频生成项目。
On-device Sora 是一个开源项目,旨在通过线性比例跳跃(LPL)、时间维度标记合并(TDTM)和动态加载并发推理(CI-DL)等技术,实现在移动设备(如 iPhone 15 Pro)上高效的视频生成。该项目基于 Open-Sora 模型开发,能够根据文本输入生成高质量视频。其主要优点包括高效性、低功耗和对移动设备的优化。该技术适用于需要在移动设备上快速生成视频内容的场景,如短视频创作、广告制作等。项目目前开源,用户可以免费使用。
一种用于控制视频扩散模型运动模式的高效方法,支持运动模式的自定义和迁移。
Go with the Flow 是一种创新的视频生成技术,通过使用扭曲噪声代替传统的高斯噪声,实现了对视频扩散模型运动模式的高效控制。该技术无需对原始模型架构进行修改,即可在不增加计算成本的情况下,实现对视频中物体和相机运动的精确控制。其主要优点包括高效性、灵活性和可扩展性,能够广泛应用于图像到视频生成、文本到视频生成等多种场景。该技术由 Netflix Eyeline Studios 等机构的研究人员开发,具有较高的学术价值和商业应用潜力,目前开源免费提供给公众使用。
一种新颖的图像到视频采样技术,基于Hunyuan模型实现高质量视频生成。
leapfusion-hunyuan-image2video 是一种基于 Hunyuan 模型的图像到视频生成技术。它通过先进的深度学习算法,将静态图像转换为动态视频,为内容创作者提供了一种全新的创作方式。该技术的主要优点包括高效的内容生成、灵活的定制化能力以及对高质量视频输出的支持。它适用于需要快速生成视频内容的场景,如广告制作、视频特效等领域。该模型目前以开源形式发布,供开发者和研究人员免费使用,未来有望通过社区贡献进一步提升其性能。
一个开源项目,用于在浏览器中演示 AI 视频生成模型。
video-starter-kit 是一个强大的开源工具包,用于构建基于 AI 的视频应用。它基于 Next.js、Remotion 和 fal.ai 构建,简化了在浏览器中使用 AI 视频模型的复杂性。该工具包支持多种先进的视频处理功能,如多剪辑视频合成、音频轨道集成和语音支持等,同时提供了开发者友好的工具,如元数据编码和视频处理管道。它适用于需要高效视频生成和处理的开发者和创作者。
一个开源AI模型微调与变现平台,助力AI初创企业、机器学习工程师和研究人员。
Bakery是一个专注于开源AI模型的微调与变现的在线平台,为AI初创企业、机器学习工程师和研究人员提供了一个便捷的工具,使他们能够轻松地对AI模型进行微调,并在市场中进行变现。该平台的主要优点在于其简单易用的界面和强大的功能,用户可以快速创建或上传数据集,微调模型设置,并在市场中进行变现。Bakery的背景信息表明,它旨在推动开源AI技术的发展,并为开发者提供更多的商业机会。虽然具体的定价信息未在页面中明确展示,但其定位是为AI领域的专业人士提供一个高效的工具。
一个用于多模型嵌入的图形库,支持多种模型和数据类型的可视化
vectrix-graphs 是一个强大的图形库,专注于多模型嵌入的可视化。它支持多种机器学习模型和数据类型,能够将复杂的数据结构以直观的图形形式展现出来。该库的主要优点在于其灵活性和扩展性,可以轻松集成到现有的数据科学工作流程中。vectrix-ai 团队开发了这个库,旨在帮助研究人员和开发者更好地理解和分析模型的嵌入结果。作为一个开源项目,它在 GitHub 上提供免费使用,适合各种规模的项目和团队。
高效的文本到音频生成模型
TangoFlux是一个高效的文本到音频(TTA)生成模型,拥有515M参数,能够在单个A40 GPU上仅用3.7秒生成长达30秒的44.1kHz音频。该模型通过提出CLAP-Ranked Preference Optimization (CRPO)框架,解决了TTA模型对齐的挑战,通过迭代生成和优化偏好数据来增强TTA对齐。TangoFlux在客观和主观基准测试中均实现了最先进的性能,并且所有代码和模型均开源,以支持TTA生成的进一步研究。
微软开源的视频分词器家族
VidTok是微软开源的一系列先进的视频分词器,它在连续和离散分词方面表现出色。VidTok在架构效率、量化技术和训练策略上都有显著的创新,提供了高效的视频处理能力,并且在多个视频质量评估指标上超越了以往的模型。VidTok的开发旨在推动视频处理和压缩技术的发展,对于视频内容的高效传输和存储具有重要意义。
多模态大型语言模型,提升文本、图像和视频数据处理能力。
Valley是由字节跳动开发的多模态大型模型(MLLM),旨在处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果,远超过其他开源模型,并在OpenCompass多模态模型评估排行榜上展现了出色的性能,平均得分67.40,位列已知开源MLLMs(<10B)中的前两名。
最强大的RWKV模型变体,打破多项英语基准测试。
Q-RWKV-6 32B Instruct Preview是由Recursal AI开发的最新RWKV模型变体,它在多项英语基准测试中超越了之前所有的RWKV、State Space和Liquid AI模型。这个模型通过将Qwen 32B Instruct模型的权重转换到定制的QRWKV6架构中,成功地用RWKV-V6注意力头替换了现有的Transformer注意力头,这一过程是由Recursal AI团队与RWKV和EleutherAI开源社区联合开发的。该模型的主要优点包括在大规模计算成本上的显著降低,以及对环境友好的开源AI技术。
快速因果视频生成器,实现即时视频生成。
CausVid是一个先进的视频生成模型,它通过将预训练的双向扩散变换器适配为因果变换器,实现了即时视频帧的生成。这一技术的重要性在于它能够显著减少视频生成的延迟,使得视频生成能够以交互式帧率(9.4FPS)在单个GPU上进行流式生成。CausVid模型支持从文本到视频的生成,以及零样本图像到视频的生成,展现了视频生成技术的新高度。
开源多模态大型语言模型系列
InternVL 2.5是基于InternVL 2.0的高级多模态大型语言模型系列,它在保持核心模型架构的同时,在训练和测试策略以及数据质量方面引入了显著的增强。该模型深入探讨了模型扩展与性能之间的关系,系统地探索了视觉编码器、语言模型、数据集大小和测试时配置的性能趋势。通过在包括多学科推理、文档理解、多图像/视频理解、现实世界理解、多模态幻觉检测、视觉定位、多语言能力和纯语言处理在内的广泛基准测试中进行的广泛评估,InternVL 2.5展现出了与GPT-4o和Claude-3.5-Sonnet等领先商业模型相媲美的竞争力。特别是,该模型是第一个在MMMU基准测试中超过70%的开源MLLM,通过链式思考(CoT)推理实现了3.7个百分点的提升,并展示了测试时扩展的强大潜力。
© 2025 AIbase 备案号:闽ICP备08105208号-14