需求人群:
"适合视频创作者、设计师等人群。为他们提供强大的视频生成工具,可快速生成高质量视频内容,满足创意需求。"
使用场景示例:
为广告制作生成逼真的视频场景
用于电影概念设计的视频创作
为游戏开发制作宣传视频
产品特色:
采用 AsymmDiT 架构,提升视频生成质量
可通过命令行或 gradio UI 运行
由 Genmo 团队开发,开源且采用宽松许可证
能处理用户提示并生成视频
经过初步评估具有高保真运动和强提示遵循性
VAE 可压缩视频至更小尺寸
使用教程:
"1. 克隆仓库并安装:git clone https://github.com/genmoai/models,cd models,pip install uv,uv venv.venv,source.venv/bin/activate,uv pip install -e.。\n2. 下载权重。\n3. 通过命令行或 gradio UI 运行:python3 -m mochi_preview.gradio_ui --model_dir \"<路径>\" 或 python3 -m mochi_preview.infer --prompt \"...\" --seed... --cfg_scale... --model_dir \"<路径>\"。"
浏览量:33
最新流量情况
月访问量
19075.32k
平均访问时长
00:05:32
每次访问页数
5.52
跳出率
45.07%
流量来源
直接访问
48.31%
自然搜索
36.36%
邮件
0.03%
外链引荐
12.17%
社交媒体
3.11%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
13.13%
印度
7.59%
日本
3.67%
俄罗斯
6.13%
美国
18.18%
Genmo 的视频生成模型,具有高保真运动和强提示遵循性。
这是一个先进的视频生成模型,采用 AsymmDiT 架构,可免费试用。它能生成高保真视频,缩小了开源与闭源视频生成系统的差距。模型需要至少 4 个 H100 GPU 运行。
实时AI视频生成开源模型
LTXV是Lightricks推出的一个实时AI视频生成开源模型,它代表了视频生成技术的最新发展。LTXV能够提供可扩展的长视频制作能力,优化了GPU和TPU系统,大幅减少了视频生成时间,同时保持了高视觉质量。LTXV的独特之处在于其帧到帧学习技术,确保了帧之间的连贯性,消除了闪烁和场景内的不一致问题。这一技术对于视频制作行业来说是一个巨大的进步,因为它不仅提高了效率,还提升了视频内容的质量。
Mochi视频生成器的ComfyUI包装节点
ComfyUI-MochiWrapper是一个用于Mochi视频生成器的包装节点,它允许用户通过ComfyUI界面与Mochi模型进行交互。这个项目主要优点是能够利用Mochi模型生成视频内容,并且通过ComfyUI简化了操作流程。它是基于Python开发的,并且完全开源,允许开发者自由地使用和修改。目前该项目还处于积极开发中,已经有一些基本功能,但还没有正式发布版本。
开源视频生成模型
genmoai/models 是一个开源的视频生成模型,代表了视频生成技术的最新进展。该模型名为 Mochi 1,是一个基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构的10亿参数扩散模型,从零开始训练,是迄今为止公开发布的最大的视频生成模型。它具有高保真运动和强提示遵循性,显著缩小了封闭和开放视频生成系统之间的差距。该模型在 Apache 2.0 许可下发布,用户可以在 Genmo 的 playground 上免费试用此模型。
高效视频生成建模的金字塔流匹配技术
Pyramid Flow 是一种高效的视频生成建模技术,它基于流匹配方法,通过自回归视频生成模型来实现。该技术主要优点是训练效率高,能够在开源数据集上以较低的GPU小时数进行训练,生成高质量的视频内容。Pyramid Flow 的背景信息包括由北京大学、快手科技和北京邮电大学共同研发,并且已经在多个平台上发布了相关的论文、代码和模型。
集成空间编织注意力,提升扩散模型的高保真条件
HelloMeme是一个集成了空间编织注意力的扩散模型,旨在将高保真和丰富的条件嵌入到图像生成过程中。该技术通过提取驱动视频中的每一帧特征,并将其作为输入到HMControlModule,从而生成视频。通过进一步优化Animatediff模块,提高了生成视频的连续性和保真度。此外,HelloMeme还支持通过ARKit面部混合形状控制生成的面部表情,以及基于SD1.5的Lora或Checkpoint,实现了框架的热插拔适配器,不会影响T2I模型的泛化能力。
文本到视频生成领域的先进模型架构
Open-Sora Plan v1.2是一个开源的视频生成模型,专注于文本到视频的转换任务。它采用3D全注意力架构,优化了视频的视觉表示,并提高了推理效率。该模型在视频生成领域具有创新性,能够更好地捕捉联合空间-时间特征,为视频内容的自动生成提供了新的技术路径。
文本到视频生成的开源模型,性能卓越。
Open-Sora-Plan是一个由北京大学元组团队开发的文本到视频生成模型。它在2024年4月首次推出v1.0.0版本,以其简单高效的设计和显著的性能在文本到视频生成领域获得了广泛认可。v1.1.0版本在视频生成质量和持续时间上进行了显著改进,包括更优的压缩视觉表示、更高的生成质量和更长的视频生成能力。该模型采用了优化的CausalVideoVAE架构,具有更强的性能和更高的推理效率。此外,它还保持了v1.0.0版本的极简设计和数据效率,并且与Sora基础模型的性能相似,表明其版本演进与Sora展示的扩展法则一致。
一款面向高质量长视频生成的实验性框架,具有扩展序列长度和增强动态特性。
Mira(Mini-Sora)是一个实验性的项目,旨在探索高质量、长时视频生成领域,特别是在模仿Sora风格的视频生成方面。它在现有文本到视频(T2V)生成框架的基础上,通过以下几个关键方面实现突破:扩展序列长度、增强动态特性以及保持3D一致性。目前,Mira项目处于实验阶段,与Sora等更高级的视频生成技术相比,仍有提升空间。
视频生成模型,支持无限长度高保真虚拟人视频生成
MuseV是一个基于扩散模型的虚拟人视频生成框架,支持无限长度视频生成,采用了新颖的视觉条件并行去噪方案。它提供了预训练的虚拟人视频生成模型,支持Image2Video、Text2Image2Video、Video2Video等功能,兼容Stable Diffusion生态系统,包括基础模型、LoRA、ControlNet等。它支持多参考图像技术,如IPAdapter、ReferenceOnly、ReferenceNet、IPAdapterFaceID等。MuseV的优势在于可生成高保真无限长度视频,定位于视频生成领域。
音频驱动的高保真3D人头化身合成技术
GaussianSpeech是一种新颖的方法,它能够从语音信号中合成高保真度的动画序列,创建逼真、个性化的3D人头化身。该技术通过结合语音信号与3D高斯绘制技术,捕捉人类头部表情和细节动作,包括皮肤皱褶和更细微的面部运动。GaussianSpeech的主要优点包括实时渲染速度、自然的视觉动态效果,以及能够呈现多样化的面部表情和风格。该技术背后是大规模多视角音频-视觉序列数据集的创建,以及音频条件变换模型的开发,这些模型能够直接从音频输入中提取唇部和表情特征。
灵感激发与视频创作平台
跃问视频是一个集灵感激发与视频创作于一体的平台,它通过提供丰富的视觉和创意内容,帮助用户激发创意并创作出独特的视频。该平台以其独特的美学风格和高效的视频生成技术为主要优点,尤其在中国风题材上表现出色。跃问视频的背景信息显示,它是由阶跃星辰公司推出的,该公司在多模态能力方面遥遥领先,提供了从文本到视频的生成技术。产品定位于中高端市场,以其高质量的视频生成和优化服务吸引用户。
为LTX视频模型提供额外控制的ComfyUI节点集合
ComfyUI-LTXTricks是一个为LTX视频模型提供额外控制的ComfyUI节点集合。它通过实现RF-Inversion和RF-Solver-Edit等技术,允许用户对视频内容进行更精细的操作和编辑。该产品背景信息显示,它是基于开源项目构建的,拥有活跃的社区支持,并且遵循GPL-3.0许可证。产品的主要优点包括无需额外安装包、提供丰富的示例工作流以及支持多种视频编辑技术。
一键生成多语言翻译的项目工具,由Azure AI服务支持。
Co-op Translator是一个Python包,旨在使用Azure AI服务自动化您的项目中的多语言翻译。该项目通过集成先进的大型语言模型(LLM)技术和Azure AI服务,简化了将内容翻译成多种语言的过程,使开发者能够轻松地生成组织良好的翻译文件夹,并轻松翻译Markdown文件和图像。
AI驱动的开源笔记/研究平台,尊重您的隐私。
Open Notebook是一个结合了人工智能的强大开源笔记和研究平台,专为研究人员、学生和专业人士设计,旨在增强他们的学习和能力,同时完全控制工作流程、模型以及数据的使用和暴露。该产品代表了一种新型的隐私保护学习工具,它通过AI技术帮助用户整理笔记、生成播客和深入理解学习内容,同时确保用户的数据隐私不受侵犯。Open Notebook的背景信息显示,它是一个开源项目,鼓励社区参与和贡献,以构建一个能够个性化辅助每个人发展的智能伙伴。
基于扩散模型的2D视频生成系统,实现人-物交互动画。
AnchorCrafter是一个创新的扩散模型系统,旨在生成包含目标人物和定制化对象的2D视频,通过人-物交互(HOI)的集成,实现高视觉保真度和可控交互。该系统通过HOI-外观感知增强从任意多视角识别对象外观的能力,并分离人和物的外观;HOI-运动注入则通过克服对象轨迹条件和相互遮挡管理的挑战,实现复杂的人-物交互。此外,HOI区域重新加权损失作为训练目标,增强了对对象细节的学习。该技术在保持对象外观和形状意识的同时,也维持了人物外观和运动的一致性,对于在线商务、广告和消费者参与等领域具有重要意义。
实时端到端自动驾驶的截断扩散模型
DiffusionDrive是一个用于实时端到端自动驾驶的截断扩散模型,它通过减少扩散去噪步骤来加快计算速度,同时保持高准确性和多样性。该模型直接从人类示范中学习,无需复杂的预处理或后处理步骤,即可实现实时的自动驾驶决策。DiffusionDrive在NAVSIM基准测试中取得了88.1 PDMS的突破性成绩,并且能够在45 FPS的速度下运行。
高效率的高分辨率图像合成框架
Sana是一个文本到图像的框架,能够高效生成高达4096×4096分辨率的图像。它以极快的速度合成高分辨率、高质量的图像,并保持强大的文本-图像对齐,可以部署在笔记本电脑GPU上。Sana的核心设计包括深度压缩自编码器、线性扩散变换器(DiT)、仅解码器的小型语言模型作为文本编码器,以及高效的训练和采样策略。Sana-0.6B与现代大型扩散模型相比,体积小20倍,测量吞吐量快100倍以上。此外,Sana-0.6B可以部署在16GB笔记本电脑GPU上,生成1024×1024分辨率图像的时间少于1秒。Sana使得低成本的内容创作成为可能。
一键AI变身、发型、穿搭,发现更美的自己
MagicMirror是一款利用人工智能技术的桌面客户端应用,它能够让用户通过简单的拖拽照片,一键实现变身、换发型和穿搭的效果。这款应用的设计理念是简单易用,无需复杂的设置,也不需要高端的GPU硬件支持。MagicMirror强调隐私保护,所有处理完全在本地进行,不涉及云端处理,确保用户数据的安全。此外,它的安装包体积小,模型文件也轻便,便于用户下载和使用。MagicMirror的主要优点包括简单易用、硬件要求低、隐私保护、轻量级以及开源,这些都是它在图像处理领域中的重要优势。
7B参数的大型语言模型,提升自然语言处理能力
OLMo 2 7B是由Allen Institute for AI (Ai2)开发的一款7B参数的大型语言模型,它在多个自然语言处理任务上展现出色的表现。该模型通过在大规模数据集上的训练,能够理解和生成自然语言,支持多种语言模型相关的科研和应用。OLMo 2 7B的主要优点包括其大规模的参数量,使得模型能够捕捉到更加细微的语言特征,以及其开源的特性,促进了学术界和工业界的进一步研究和应用。
基于频率分解的身份保持文本到视频生成模型
ConsisID是一个基于频率分解的身份保持文本到视频生成模型,它通过在频域中使用身份控制信号来生成与输入文本描述一致的高保真度视频。该模型不需要针对不同案例进行繁琐的微调,并且能够保持生成视频中人物身份的一致性。ConsisID的提出,推动了视频生成技术的发展,特别是在无需调整的流程和频率感知的身份保持控制方案方面。
科学文献综合检索增强型语言模型
Ai2 OpenScholar是由艾伦人工智能研究所与华盛顿大学合作开发的检索增强型语言模型,旨在帮助科学家通过检索相关文献并基于这些文献生成回答来有效导航和综合科学文献。该模型在多个科学领域中表现出色,特别是在引用准确性和事实性方面。它代表了人工智能在科学研究中应用的重要进步,能够加速科学发现并提高研究效率。
Skywork o1 Open系列模型,提升复杂问题解决能力
Skywork-o1-Open-PRM-Qwen-2.5-1.5B是Skywork团队开发的一系列模型,这些模型结合了o1风格的慢思考和推理能力。该模型专门设计用于通过增量过程奖励增强推理能力,适合解决小规模的复杂问题。与简单的OpenAI o1模型复现不同,Skywork o1 Open系列模型不仅在输出中展现出固有的思考、规划和反思能力,而且在标准基准测试中的推理技能有显著提升。这一系列代表了AI能力的一次战略性进步,将原本较弱的基础模型推向了推理任务的最新技术(SOTA)。
高效开源的视觉语言模型
SmolVLM是一个小型但功能强大的视觉语言模型(VLM),拥有2B参数,以其较小的内存占用和高效性能在同类模型中处于领先地位。SmolVLM完全开源,包括所有模型检查点、VLM数据集、训练配方和工具均在Apache 2.0许可下发布。该模型适合在浏览器或边缘设备上进行本地部署,降低推理成本,并允许用户自定义。
先进的指令遵循模型,提供全面后训练技术指南。
Llama-3.1-Tulu-3-8B-RM是Tülu3模型家族的一部分,该家族以开源数据、代码和配方为特色,旨在为现代后训练技术提供全面指南。该模型专为聊天以外的多样化任务(如MATH、GSM8K和IFEval)提供最先进的性能。
Prompt越狱手册,AI技术交流与越狱技巧分享平台。
PromptJailbreakManual是一个专注于AI越狱技术的平台,提供技术交流和分享越狱技巧。它代表了AI技术在越狱领域的应用,强调了技术的重要性和创新性。该平台背景信息显示,它由Acmesec组织发起,旨在通过开源协作的方式,共同探索和突破AI的限制。产品定位为技术爱好者和专业人士提供交流和学习的空间,目前是免费提供给用户使用。
文本图像到视频生成模型
Allegro-TI2V是一个文本图像到视频生成模型,它能够根据用户提供的提示和图像生成视频内容。该模型以其开源性、多样化的内容创作能力、高质量的输出、小巧高效的模型参数以及支持多种精度和GPU内存优化而受到关注。它代表了当前人工智能技术在视频生成领域的前沿进展,具有重要的技术价值和商业应用潜力。Allegro-TI2V模型在Hugging Face平台上提供,遵循Apache 2.0开源协议,用户可以免费下载和使用。
视频生成模型Sora的存档库
SoraVids是一个基于Hugging Face平台的视频生成模型Sora的存档库。它包含了87个视频和83个对应的提示,这些视频和提示在OpenAI撤销API密钥前被公开展示。这些视频均为MIME类型video/mp4,帧率为30 FPS。SoraVids的背景是OpenAI的视频生成技术,它允许用户通过文本提示生成视频内容。这个存档库的重要性在于它保存了在API密钥被撤销前生成的视频,为研究和教育提供了宝贵的资源。
© 2024 AIbase 备案号:闽ICP备08105208号-14