需求人群:
"可用于各类文本到视频任务,如故事视频、商业广告、课程演示等自动视频内容生成。"
使用场景示例:
根据广告语‘小白兔奶糖,好吃不上火’生成相关视频。
输入‘一只猫正在追逐蝴蝶’生成相关短视频。
输入'புத்தாண்டு வாழ்த்துக்கள்'生成相关的新年问候视频。
产品特色:
延伸EDM框架支持视频生成
提出transformer可伸缩架构
空间时间联合建模
高质量和时间连贯的视频合成
浏览量:539
最新流量情况
月访问量
29.91k
平均访问时长
00:00:28
每次访问页数
1.13
跳出率
86.66%
流量来源
直接访问
41.37%
自然搜索
15.34%
邮件
3.08%
外链引荐
10.48%
社交媒体
29.73%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
美国
43.55%
越南
6.75%
韩国
5.78%
印度
4.72%
Hotshot - ACT 1是一个先进的直接文本到视频合成系统,由Hotshot开发,旨在赋予世界通过视频分享他们的想象力的能力
ACT 1(Advanced Cinematic Transformer)是一个由Hotshot Research开发的直接文本到视频合成系统,它能够生成高清晰度的视频,具有多种宽高比且无水印,提供引人入胜的用户体验。该系统通过使用大规模高分辨率文本视频语料库进行训练,以实现高保真度的空间对齐、时间对齐和审美质量。
AI模型,动态多角度视频生成。
Stable Video 4D是Stability AI最新推出的AI模型,它能够将单个对象视频转换成八个不同角度/视图的多个新颖视图视频。这项技术代表了从基于图像的视频生成到完整的3D动态视频合成的能力飞跃。它在游戏开发、视频编辑和虚拟现实等领域具有潜在的应用前景,并且正在不断优化中。
视频生成的前沿模型
WorldDreamer是一个创新的视频生成模型,它通过预测遮蔽的视觉令牌来理解并模拟世界动态。它在图像到视频合成、文本到视频生成、视频修复、视频风格化以及动作到视频生成等多个方面表现出色。该模型借鉴了大型语言模型的成功经验,将世界建模视为一个无监督的视觉序列建模挑战,通过将视觉输入映射到离散的令牌并预测被遮蔽的令牌来实现。
一种单步视频生成模型,实现高质量视频合成。
SF-V是一种基于扩散的视频生成模型,通过对抗训练优化预训练模型,实现了单步生成高质量视频的能力。这种模型在保持视频数据的时间和空间依赖性的同时,显著降低了去噪过程的计算成本,为实时视频合成和编辑铺平了道路。
生成丰富可控运动的视频合成工具
Boximator是一款由Jiawei Wang、Yuchen Zhang等人开发的智能视频合成工具。它利用先进的深度学习技术,通过添加文本提示和额外的盒子约束,生成丰富且可控制的视频运动。用户可以通过示例或自定义文本来创造独特的视频场景。Boximator与其他方法相比,使用了来自文本提示的附加盒子约束,提供更灵活的运动控制。
基于Transformer的通用领域文本到图像生成
CogView是一个用于通用领域文本到图像生成的预训练Transformer模型。该模型包含410亿参数,能够生成高质量、多样化的图像。模型的训练思路采用抽象到具体的方式,先 pretrain 获得通用知识,然后 finetune 在特定域生成图像,能显著提升生成质量。值得一提的是,论文还提出了两种帮助大模型稳定训练的技巧:PB-relax 和 Sandwich-LN。
低成本高质量文本到图像生成模型
PIXART-α是一种基于Transformer的文本到图像生成模型,其图像生成质量与最先进的图像生成器相当,支持高分辨率图像合成,训练速度明显优于现有的大规模T2I模型,训练成本低,可节省近30万美元,并减少90%的CO2排放。PIXART-α在图像质量、艺术性和语义控制方面表现出色,可为AIGC社区和初创企业提供新的见解,加速从头开始构建高质量、低成本的生成模型。
多语言大型语言模型,优化对话场景。
Meta Llama 3.1是一系列多语言的大型预训练和指令调整的生成模型,包含8B、70B和405B大小的版本。这些模型专为多语言对话用例而优化,并在常见行业基准测试中表现优于许多开源和闭源聊天模型。模型使用优化的transformer架构,并通过监督式微调(SFT)和强化学习与人类反馈(RLHF)进行调整,以符合人类对有用性和安全性的偏好。
多语言大型语言模型,优化对话和文本生成。
Meta Llama 3.1是一系列预训练和指令调整的多语言大型语言模型(LLMs),包含8B、70B和405B三种大小的模型,专门针对多语言对话使用案例进行了优化,并在行业基准测试中表现优异。该模型使用优化的transformer架构,并通过监督式微调(SFT)和人类反馈的强化学习(RLHF)进一步与人类偏好对齐,以确保其有用性和安全性。
70亿参数的大型多语言对话生成模型
Meta Llama 3.1是Meta公司推出的一种大型语言模型,拥有70亿参数,支持8种语言的文本生成和对话。该模型使用优化的Transformer架构,并通过监督微调(SFT)和人类反馈强化学习(RLHF)进行调优,以符合人类对有用性和安全性的偏好。它旨在为商业和研究用途提供支持,特别是在多语言对话场景下表现出色。
基于Transformer的文本到音乐生成模型
MusiConGen是一个基于Transformer的文本到音乐生成模型,它通过时间条件增强对节奏和和弦的控制。该模型从预训练的MusicGen-melody框架中微调而来。它使用符号表示的和弦和节奏控制,并结合五种不同风格的文本描述来生成样本。生成样本的和弦通过BTC和弦识别模型进行估计,如论文中所述。
8B参数的大型多语言生成模型
Meta Llama 3.1是一系列预训练和指令调整的多语言大型语言模型(LLMs),包含8B、70B和405B大小的版本,支持8种语言,专为多语言对话用例优化,并在行业基准测试中表现优异。Llama 3.1模型采用自回归语言模型,使用优化的Transformer架构,并通过监督式微调(SFT)和强化学习结合人类反馈(RLHF)来提高模型的有用性和安全性。
新一代大模型架构,超越 Transformer。
RWKV 是一种革新的深度学习架构,结合了 RNN 和 Transformer 的最佳特性。它提供出色的性能,快速的推理和训练,并且不依赖自注意力机制,节省 VRAM,支持 ' 无限 ' 的上下文长度。RWKV 在多个语言和编码中表现出色,成为全球开发者的热门选择,推动了开源大语言模型的进步。
高性能的开源代码模型
Mamba-Codestral-7B-v0.1 是 Mistral AI Team 开发的基于 Mamba2 架构的开源代码模型,性能与最先进的基于 Transformer 的代码模型相当。它在多个行业标准基准测试中表现出色,提供高效的代码生成和理解能力,适用于编程和软件开发领域。
一款专注于代码生成的高级语言模型
Codestral Mamba是Mistral AI团队发布的专注于代码生成的语言模型,它基于Mamba2架构,拥有线性时间推理的优势和理论上无限序列建模的能力。该模型经过专业训练,具备高级代码和推理能力,能够与当前最先进的基于Transformer的模型相媲美。
快速且内存高效的精确注意力机制
FlashAttention是一个开源的注意力机制库,专为深度学习中的Transformer模型设计,以提高计算效率和内存使用效率。它通过IO感知的方法优化了注意力计算,减少了内存占用,同时保持了精确的计算结果。FlashAttention-2进一步改进了并行性和工作分配,而FlashAttention-3针对Hopper GPU进行了优化,支持FP16和BF16数据类型。
本地语音聊天机器人,保护隐私,无需联网。
june是一个结合了Ollama、Hugging Face Transformers和Coqui TTS Toolkit的本地语音聊天机器人。它提供了一种灵活、注重隐私的解决方案,可以在本地机器上进行语音辅助交互,确保没有数据被发送到外部服务器。产品的主要优点包括无需联网即可使用、保护用户隐私、支持多种交互模式等。
大型视频语言模型,提供视觉问答和视频字幕生成。
VideoLLaMA2-7B-Base 是由 DAMO-NLP-SG 开发的大型视频语言模型,专注于视频内容的理解与生成。该模型在视觉问答和视频字幕生成方面展现出卓越的性能,通过先进的空间时间建模和音频理解能力,为用户提供了一种新的视频内容分析工具。它基于 Transformer 架构,能够处理多模态数据,结合文本和视觉信息,生成准确且富有洞察力的输出。
高效生成一致性人物视频动画的模型
UniAnimate是一个用于人物图像动画的统一视频扩散模型框架。它通过将参考图像、姿势指导和噪声视频映射到一个共同的特征空间,以减少优化难度并确保时间上的连贯性。UniAnimate能够处理长序列,支持随机噪声输入和首帧条件输入,显著提高了生成长期视频的能力。此外,它还探索了基于状态空间模型的替代时间建模架构,以替代原始的计算密集型时间Transformer。UniAnimate在定量和定性评估中都取得了优于现有最先进技术的合成结果,并且能够通过迭代使用首帧条件策略生成高度一致的一分钟视频。
实时表情生成人类模型
PROTEUS是Apparate Labs推出的一款下一代基础模型,用于实时表情生成人类。它采用先进的transformer架构的潜在扩散模型,创新的潜在空间设计实现了实时效率,并能通过进一步的架构和算法改进,达到每秒100帧以上视频流。PROTEUS旨在提供一种通过语音控制的视觉体现,为人工对话实体提供直观的接口,并且与多种大型语言模型兼容,可定制用于多种不同应用。
Lumalabs AI从文本和图像快速生成高质量、逼真视频的AI模型
Lumalabs AI的Dream Machine是一个AI模型,能够直接从文本和图像快速生成高质量的逼真视频。它是一个高度可扩展且高效的transformer模型,专门针对视频进行训练,能够生成物理上准确、一致且充满事件的镜头。Dream Machine是构建通用想象力引擎的第一步,现已对所有人开放。
高效的分布式数据并行框架,专为大型语言模型设计。
YaFSDP是一个分布式数据并行框架,专为与transformer类神经网络结构良好协作而设计。它在预训练大型语言模型(Large Language Models, LLMs)时比传统的FSDP快20%,并且在高内存压力条件下表现更佳。YaFSDP旨在减少通信和内存操作的开销。
在浏览器中直接运行先进的机器学习模型。
transformers.js 是一个JavaScript库,旨在为网页提供先进的机器学习能力。它允许用户在浏览器中直接运行预训练的Transformers模型,无需服务器支持。该库使用ONNX Runtime作为后端,支持将PyTorch、TensorFlow或JAX模型转换为ONNX格式。transformers.js 与 Hugging Face 的 transformers Python 库功能等价,提供相似的API,使得开发者能够轻松地将现有代码迁移到网页端。
强大的结构化文本生成工具
Outlines是一个用于生成结构化文本的开源库,它支持多种模型集成,如OpenAI、transformers等,并提供了基于Jinja模板引擎的简单而强大的提示原语。它通过多种方式控制语言模型的生成,使输出更加可预测,从而提高模型效率并减少所需的示例数量。Outlines是提高包含大型语言模型的系统可靠性的第一步,通过确保模型输出与用户定义的代码之间有明确定义的接口。
生成高分辨率和长视频的端到端解决方案
EasyAnimate 是一个基于 transformer 架构的流水线,可以用于生成 AI 照片和视频,训练基线模型和 Lora 模型以用于 Diffusion Transformer。支持直接从预训练的 EasyAnimate 模型进行预测,生成不同分辨率、约 6 秒(24fps)的视频。用户还可以训练自己的基线模型和 Lora 模型以执行特定风格转换。
基于扩散模型的文本到音频生成技术
Make-An-Audio 2是一种基于扩散模型的文本到音频生成技术,由浙江大学、字节跳动和香港中文大学的研究人员共同开发。该技术通过使用预训练的大型语言模型(LLMs)解析文本,优化了语义对齐和时间一致性,提高了生成音频的质量。它还设计了基于前馈Transformer的扩散去噪器,以改善变长音频生成的性能,并增强时间信息的提取。此外,通过使用LLMs将大量音频标签数据转换为音频文本数据集,解决了时间数据稀缺的问题。
利用 AI 技术,一键从图片中提取设计元素。
AI 智能图像分割是一款基于 Figma 的插件,利用先进的 Segment Anything 模型 (SAM) 和 🤗 Transformers.js 技术,为设计师和艺术家提供了一个交互式和精确的图像分割工具。它通过点击交互的方式,简化了从图像中提取对象或区域的过程,极大提升了设计效率,释放了创造力。该插件免费使用且开源,允许用户自定义并为其开发做出贡献。
© 2024 AIbase 备案号:闽ICP备08105208号-14