浏览量:189
生成你的AI头像视频!
X Me是一个AI头像视频生成工具,通过输入文本即可快速生成个性化的AI头像视频。它使用轻量级的AI模型,无需复杂的训练过程,快速生成逼真的数字人物视频。X Me提供多种AI名人头像供用户选择,并支持将用户自己的面部特征和声音克隆到生成的头像视频中。用户可以根据自己的喜好和需求,自由创造个性化的AI头像视频。
革命性深度学习工具,用于面部转换和视频生成。
DeepFuze是与ComfyUI无缝集成的先进深度学习工具,用于革新面部转换、lipsyncing、视频生成、声音克隆和lipsync翻译。利用先进的算法,DeepFuze使用户能够以无与伦比的真实性结合音频和视频,确保完美的面部动作同步。这一创新解决方案非常适合内容创作者、动画师、开发者以及任何希望以先进的AI驱动功能提升其视频编辑项目的人士。
腾讯开源的大型视频生成模型训练框架
HunyuanVideo是腾讯开源的一个系统性框架,用于训练大型视频生成模型。该框架通过采用数据策划、图像-视频联合模型训练和高效的基础设施等关键技术,成功训练了一个超过130亿参数的视频生成模型,是所有开源模型中最大的。HunyuanVideo在视觉质量、运动多样性、文本-视频对齐和生成稳定性方面表现出色,超越了包括Runway Gen-3、Luma 1.6在内的多个行业领先模型。通过开源代码和模型权重,HunyuanVideo旨在缩小闭源和开源视频生成模型之间的差距,推动视频生成生态系统的活跃发展。
灵感激发与视频创作平台
跃问视频是一个集灵感激发与视频创作于一体的平台,它通过提供丰富的视觉和创意内容,帮助用户激发创意并创作出独特的视频。该平台以其独特的美学风格和高效的视频生成技术为主要优点,尤其在中国风题材上表现出色。跃问视频的背景信息显示,它是由阶跃星辰公司推出的,该公司在多模态能力方面遥遥领先,提供了从文本到视频的生成技术。产品定位于中高端市场,以其高质量的视频生成和优化服务吸引用户。
基于扩散模型的2D视频生成系统,实现人-物交互动画。
AnchorCrafter是一个创新的扩散模型系统,旨在生成包含目标人物和定制化对象的2D视频,通过人-物交互(HOI)的集成,实现高视觉保真度和可控交互。该系统通过HOI-外观感知增强从任意多视角识别对象外观的能力,并分离人和物的外观;HOI-运动注入则通过克服对象轨迹条件和相互遮挡管理的挑战,实现复杂的人-物交互。此外,HOI区域重新加权损失作为训练目标,增强了对对象细节的学习。该技术在保持对象外观和形状意识的同时,也维持了人物外观和运动的一致性,对于在线商务、广告和消费者参与等领域具有重要意义。
基于频率分解的身份保持文本到视频生成模型
ConsisID是一个基于频率分解的身份保持文本到视频生成模型,它通过在频域中使用身份控制信号来生成与输入文本描述一致的高保真度视频。该模型不需要针对不同案例进行繁琐的微调,并且能够保持生成视频中人物身份的一致性。ConsisID的提出,推动了视频生成技术的发展,特别是在无需调整的流程和频率感知的身份保持控制方案方面。
文本图像到视频生成模型
Allegro-TI2V是一个文本图像到视频生成模型,它能够根据用户提供的提示和图像生成视频内容。该模型以其开源性、多样化的内容创作能力、高质量的输出、小巧高效的模型参数以及支持多种精度和GPU内存优化而受到关注。它代表了当前人工智能技术在视频生成领域的前沿进展,具有重要的技术价值和商业应用潜力。Allegro-TI2V模型在Hugging Face平台上提供,遵循Apache 2.0开源协议,用户可以免费下载和使用。
视频生成模型Sora的存档库
SoraVids是一个基于Hugging Face平台的视频生成模型Sora的存档库。它包含了87个视频和83个对应的提示,这些视频和提示在OpenAI撤销API密钥前被公开展示。这些视频均为MIME类型video/mp4,帧率为30 FPS。SoraVids的背景是OpenAI的视频生成技术,它允许用户通过文本提示生成视频内容。这个存档库的重要性在于它保存了在API密钥被撤销前生成的视频,为研究和教育提供了宝贵的资源。
高性能的文本到语音合成模型
OuteTTS-0.2-500M是基于Qwen-2.5-0.5B构建的文本到语音合成模型,它在更大的数据集上进行了训练,实现了在准确性、自然度、词汇量、声音克隆能力以及多语言支持方面的显著提升。该模型特别感谢Hugging Face提供的GPU资助,支持了模型的训练。
专为开发者设计的AI搜索引擎,提升搜索效率。
代悟是一个专为开发者设计的AI搜索引擎,它通过智能化的搜索技术,帮助开发者快速找到所需的技术信息和解决方案。产品背景信息显示,代悟由上海深宇识智能科技有限公司开发,目前处于Beta版本试用中。该产品的主要优点包括提高搜索效率、精准匹配技术问题和解决方案,以及可能的个性化搜索体验。产品定位于服务开发者群体,通过AI技术提升开发工作的效率和质量。
基于DiT的视频生成模型,实时生成高质量视频。
LTX-Video是由Lightricks开发的首个基于DiT的视频生成模型,能够实时生成高质量的视频内容。该模型以24 FPS的速度生成768x512分辨率的视频,速度超过观看速度。模型经过大规模多样化视频数据集的训练,能够生成高分辨率且内容真实多样的视频。LTX-Video支持文本到视频(text-to-video)以及图像+文本到视频(image+text-to-video)的应用场景。
实时AI视频生成开源模型
LTXV是Lightricks推出的一个实时AI视频生成开源模型,它代表了视频生成技术的最新发展。LTXV能够提供可扩展的长视频制作能力,优化了GPU和TPU系统,大幅减少了视频生成时间,同时保持了高视觉质量。LTXV的独特之处在于其帧到帧学习技术,确保了帧之间的连贯性,消除了闪烁和场景内的不一致问题。这一技术对于视频制作行业来说是一个巨大的进步,因为它不仅提高了效率,还提升了视频内容的质量。
统一可控的视频生成方法
AnimateAnything是一个统一的可控视频生成方法,它支持在不同条件下进行精确和一致的视频操作,包括相机轨迹、文本提示和用户动作注释。该技术通过设计多尺度控制特征融合网络来构建不同条件下的通用运动表示,并将所有控制信息转换为逐帧光流,以此作为运动先导来指导视频生成。此外,为了减少大规模运动引起的闪烁问题,提出了基于频率的稳定模块,以确保视频在频域的一致性,增强时间连贯性。实验表明,AnimateAnything的方法优于现有的最先进方法。
AI技术预览纹身去除效果,辅助决策
AI Tattoo Removal是一个利用人工智能技术展示纹身去除效果的先进工具。它提供了多种可视化选项和用户友好的界面,适用于考虑纹身去除的个人和专业纹身去除专家。该平台使用尖端的机器学习算法分析并展示纹身去除进度,用户可以查看不同的去除阶段、结果和治疗方案,以更好地理解去除过程。产品的主要优点包括即时可视化、个性化体验和免费的基础功能,同时提供高级功能订阅服务。
AI驱动的客户参与和营销自动化平台
ZEPIC是一个AI驱动的客户参与和营销自动化平台,它通过统一数据和渠道,赋予营销人员建立更深层次联系和推动实际业务影响的能力,更快、更智能。ZEPIC提供了一个内置的客户数据平台(CDP),通过集成来自50多个工具的数据,创建每个客户的全面360度视图。它的实时跟踪和统一档案确保用户始终拥有最新的信息。ZEPIC的主要优点包括AI驱动的营销自动化、客户数据的集中管理、跨渠道的个性化客户体验以及实时的洞察和报告。产品定位于帮助企业提升营销效率和客户满意度,通过智能化工具降低运营成本。
提供视频翻译、换 脸、语音克隆等 AI 技术,快速制作本地化营销视频
BoomCut是一个一站式AI视频本地化平台,专为全球市场营销设计。它提供视频翻译、面部交换、声音克隆等功能,快速创建本地化营销视频。这个平台支持10种本地语言,覆盖15亿人口,极大提高了营销效率。BoomCut通过AI技术,如字幕擦除、视频翻译,帮助企业打破语言障碍,扩大视频覆盖范围,降低海外本地化成本。产品背景信息显示,BoomCut深受合作客户信任,从个体卖家到行业领导者都有使用。价格方面,BoomCut提供免费试用,让用户可以先体验产品效果。
视频扩散模型,用于虚拟试穿。
Fashion-VDM是一个视频扩散模型(VDM),用于生成虚拟试穿视频。该模型接受一件衣物图片和人物视频作为输入,旨在生成人物穿着给定衣物的高质量试穿视频,同时保留人物的身份和动作。与传统的基于图像的虚拟试穿相比,Fashion-VDM在衣物细节和时间一致性方面表现出色。该技术的主要优点包括:扩散式架构、分类器自由引导增强控制、单次64帧512px视频生成的渐进式时间训练策略,以及联合图像-视频训练的有效性。Fashion-VDM在视频虚拟试穿领域树立了新的行业标准。
高级人工智能内容创作工具
Genbler是一个革命性的人工智能生成平台,专为个性化视觉营销和广告而设计。它利用尖端的人工智能技术提升业务,推动创新和效率,通过创造独特、迷人的体验,让个人沉浸在品牌中,促进转化为忠实客户。Genbler解决了消费者被营销信息淹没的问题,通过提供沉浸式体验,增强广告和购物体验的吸引力。
AI技术保留亲人声音和经历,实现未来互动
Maibrain是一个利用人工智能技术的平台,它允许用户存储和保存亲人的记忆、经历、照片、多媒体、文本等,并提供声音克隆服务,让用户能够与已故亲人的声音进行互动和个性化聊天。这个平台的主要优点在于它能够创造持久的情感联系,帮助保持亲人的记忆,并通过共享记忆促进家庭和社会的联系。Maibrain提供试用计划和高级计划,满足不同用户的需求。
开源视频生成模型,支持10秒视频和更高分辨率。
CogVideoX1.5-5B-SAT是由清华大学知识工程与数据挖掘团队开发的开源视频生成模型,是CogVideoX模型的升级版。该模型支持生成10秒视频,并支持更高分辨率的视频生成。模型包含Transformer、VAE和Text Encoder等模块,能够根据文本描述生成视频内容。CogVideoX1.5-5B-SAT模型以其强大的视频生成能力和高分辨率支持,为视频内容创作者提供了一个强大的工具,尤其在教育、娱乐和商业领域有着广泛的应用前景。
用户视频的生成性视频摄像机控制
ReCapture是一种从单一用户提供的视频生成新视频和新颖摄像机轨迹的方法。该技术允许我们从完全不同的角度重新生成源视频,并带有电影级别的摄像机运动。ReCapture通过使用多视图扩散模型或基于深度的点云渲染生成带有新摄像机轨迹的嘈杂锚视频,然后通过我们提出的掩蔽视频微调技术将锚视频重新生成为干净且时间上一致的重新角度视频。这种技术的重要性在于它能够利用视频模型的强大先验,将近似的视频重新生成为时间上一致且美观的视频。
高度表现力的肖像动画技术
字节跳动智能创作团队推出最新单图视频驱动技术 X-Portrait 2。X-Portrait 2是一种肖像动画技术,它通过用户提供的静态肖像图像和驱动表演视频,能够生成具有高度表现力和真实感的角色动画和视频片段。这项技术显著降低了现有的动作捕捉、角色动画和内容创作流程的复杂性。X-Portrait 2通过构建一个最先进的表情编码器模型,隐式编码输入中的每一个微小表情,并通过大规模数据集进行训练。然后,该编码器与强大的生成扩散模型结合,生成流畅且富有表现力的视频。X-Portrait 2能够传递微妙和微小的面部表情,包括撅嘴、吐舌、脸颊充气和皱眉等具有挑战性的表情,并在生成的视频中实现高保真的情感传递。
ComfyUI中集成的最新视频生成模型
Mochi是Genmo最新推出的开源视频生成模型,它在ComfyUI中经过优化,即使使用消费级GPU也能实现。Mochi以其高保真度动作和卓越的提示遵循性而著称,为ComfyUI社区带来了最先进的视频生成能力。Mochi模型在Apache 2.0许可下发布,这意味着开发者和创作者可以自由使用、修改和集成Mochi,而不受限制性许可的阻碍。Mochi能够在消费级GPU上运行,如4090,且在ComfyUI中支持多种注意力后端,使其能够适应小于24GB的VRAM。
一款通过纯语言模型实现的文本到语音合成模型
OuteTTS-0.1-350M是一款基于纯语言模型的文本到语音合成技术,它不需要外部适配器或复杂架构,通过精心设计的提示和音频标记实现高质量的语音合成。该模型基于LLaMa架构,使用350M参数,展示了直接使用语言模型进行语音合成的潜力。它通过三个步骤处理音频:使用WavTokenizer进行音频标记化、CTC强制对齐创建精确的单词到音频标记映射、以及遵循特定格式的结构化提示创建。OuteTTS的主要优点包括纯语言建模方法、声音克隆能力、与llama.cpp和GGUF格式的兼容性。
生成和交互控制开放世界游戏视频的扩散变换模型
GameGen-X是专为生成和交互控制开放世界游戏视频而设计的扩散变换模型。该模型通过模拟游戏引擎的多种特性,如创新角色、动态环境、复杂动作和多样事件,实现了高质量、开放领域的视频生成。此外,它还提供了交互控制能力,能够根据当前视频片段预测和改变未来内容,从而实现游戏玩法模拟。为了实现这一愿景,我们首先从零开始收集并构建了一个开放世界视频游戏数据集(OGameData),这是第一个也是最大的开放世界游戏视频生成和控制数据集,包含超过150款游戏的100多万个多样化游戏视频片段,这些片段都配有GPT-4o的信息性字幕。GameGen-X经历了两阶段的训练过程,包括基础模型预训练和指令调优。首先,模型通过文本到视频生成和视频续集进行预训练,赋予了其长序列、高质量开放领域游戏视频生成的能力。进一步,为了实现交互控制能力,我们设计了InstructNet来整合与游戏相关的多模态控制信号专家。这使得模型能够根据用户输入调整潜在表示,首次在视频生成中统一角色交互和场景内容控制。在指令调优期间,只有InstructNet被更新,而预训练的基础模型被冻结,使得交互控制能力的整合不会损失生成视频内容的多样性和质量。GameGen-X代表了使用生成模型进行开放世界视频游戏设计的一次重大飞跃。它展示了生成模型作为传统渲染技术的辅助工具的潜力,有效地将创造性生成与交互能力结合起来。
基于Transformer的实时开放世界AI模型
Oasis是由Decart AI开发的首个可玩、实时、开放世界的AI模型,它是一个互动视频游戏,由Transformer端到端生成,基于逐帧生成。Oasis能够接收用户键盘和鼠标输入,实时生成游戏玩法,内部模拟物理、游戏规则和图形。该模型通过直接观察游戏玩法学习,允许用户移动、跳跃、拾取物品、破坏方块等。Oasis被视为研究更复杂交互世界的基础模型的第一步,未来可能取代传统的游戏引擎。Oasis的实现需要模型架构的改进和模型推理技术的突破,以实现用户与模型的实时交互。Decart AI采用了最新的扩散训练和Transformer模型方法,并结合了大型语言模型(LLMs)来训练一个自回归模型,该模型可以根据用户即时动作生成视频。此外,Decart AI还开发了专有的推理框架,以提供NVIDIA H100 Tensor Core GPU的峰值利用率,并支持Etched即将推出的Sohu芯片。
首款实时生成式AI开放世界模型
Decart是一个高效的AI平台,提供了在训练和推理大型生成模型方面的数量级改进。利用这些先进的能力,Decart能够训练基础的生成交互模型,并使每个人都能在实时中访问。Decart的OASIS模型是一个实时生成的AI开放世界模型,代表了实时视频生成的未来。该平台还提供了对1000+ NVIDIA H100 Tensor Core GPU集群进行训练或推理的能力,为AI视频生成领域带来了突破性进展。
音频变声技术,转换声音同时保留原始表达和情感
Voice Changer是Cartesia推出的一款音频变声模型,它能够在转换音频声音的同时,保持原始音频的表达方式和情感。这项技术基于Cartesia在状态空间模型(SSM)架构上的开创性工作,能够以惊人的质量处理和生成高分辨率的声音。Voice Changer的主要优点包括自然语音保留、精确控制交付、多样化的使用场景以及与Sonic声音生成技术的结合使用。
© 2024 AIbase 备案号:闽ICP备08105208号-14