产品库

SCEdit是一个高效和可控制的图像扩散生成框架

SCEdit是一个由阿里巴巴提出的高效的生成模型精调框架。该框架增强了下游文本到图像生成任务的精调能力,并实现了对特定生成场景的快速适配,相比LoRA可以节省30%-50%的训练内存成本。此外,它可以直接扩展到可控图像生成任务,只需要ControlNet条件生成所需参数量的7.9%,并可以节省30%的内存使用。它支持各种条件生成任务,包括边缘图、深度图、分割图、姿态、色彩图以及图像补全等。

对HandRefiner模型进行剪枝压缩后的fp16版本

ControlNet-HandRefiner-pruned模型是对HandRefiner模型进行剪枝压缩处理后的fp16版本,可以更快速地进行手部图像修复。该模型采用弥散模型进行条件性图像补全,可以精确修复手部图像中的缺失或畸形部分。该模型压缩率高,inference速度快,非常适合在资源受限的环境下,仍然进行高质量手部图像修复。

AI驱动的代码生成，快速实现从想法到生产。

Jovu是一个AI驱动的代码生成模型，旨在帮助开发者快速构建新服务或扩展现有应用程序。它通过AI技术生成生产就绪的代码，确保一致性、可预测性，并遵循最高标准。Jovu能够加速开发过程，从概念到部署只需几分钟，提供完全可操作的、健壮的后端服务，准备立即上线。它还通过简化开发工作流程、减少时间、优化资源来提高效率和速度。

谷歌高质量文本到图像模型，生成逼真、生活化图像。

Imagen 3 是谷歌一个先进的文本到图像的生成模型，它能够生成具有极高细节水平和逼真效果的图像，并且相较于之前的模型，其视觉干扰元素显著减少。该模型对自然语言的理解更为深入，能够更好地把握提示背后的意图，并从更长的提示中提取细节。此外，Imagen 3 在渲染文本方面表现出色，为个性化生日信息、演示文稿标题幻灯片等提供了新的可能性。

Google最先进的视频生成模型，提供高质量1080p视频生成。

Veo是Google最新推出的视频生成模型，能够生成高质量的1080p分辨率视频，支持多种电影和视觉风格。它通过先进的自然语言和视觉语义理解，能够精确捕捉用户创意愿景，生成与提示语调一致且细节丰富的视频内容。Veo模型提供前所未有的创意控制水平，理解电影术语如“延时摄影”或“航拍景观”，创造出连贯一致的画面，使人物、动物和物体在镜头中逼真地移动。

Yi-1.5是零一万物2024年5月更新的先进文本生成模型。

Yi-1.5是零一万物一款文本生成模型，它利用最新的人工智能技术，能够生成流畅、连贯且多样化的文本。该模型特别适合于需要大量文本创作的领域，如内容创作、新闻撰写、社交媒体管理等。它的优势在于能够快速生成高质量的文本，提高工作效率，同时降低人力成本。

Autodesk 推出的实验性生成式 AI 模型，用于 3D 形状的创建。

Project Bernini 是 Autodesk 研究项目，旨在开发用于设计和制造行业的生成式人工智能。该模型能够从多种输入（包括 2D 图像、文本、体素和点云）快速生成功能性的 3D 形状。Bernini 模型专为专业几何工作流程设计，可以生成给定输入的多个功能性变体。Autodesk 致力于创建可以用于建筑、产品设计、娱乐等多个用例的生成模型，专注于生成功能性 3D 结构，因为这些模型的输出必须在现实世界中工作，以满足设计师的意图。

StoryDiffusion 能够通过生成一致的图像和视频来创造魔法故事。

StoryDiffusion 是一个开源的图像和视频生成模型，它通过一致自注意力机制和运动预测器，能够生成连贯的长序列图像和视频。这个模型的主要优点在于它能够生成具有角色一致性的图像，并且可以扩展到视频生成，为用户提供了一个创造长视频的新方法。该模型对AI驱动的图像和视频生成领域有积极的影响，并且鼓励用户负责任地使用该工具。

通过视频生成实现基于物理的3D对象交互

PhysDreamer是一个基于物理的方法，它通过利用视频生成模型学习到的对象动力学先验，为静态3D对象赋予交互式动力学。这种方法允许在缺乏真实物体物理属性数据的情况下，模拟出对新颖交互（如外力或代理操作）的真实反应。PhysDreamer通过用户研究评估合成交互的真实性，推动了更吸引人和真实的虚拟体验的发展。

一款由Gradient AI团队开发的高性能文本生成模型。

Llama-3 8B Instruct 262k是一款由Gradient AI团队开发的文本生成模型，它扩展了LLama-3 8B的上下文长度至超过160K，展示了SOTA（State of the Art）大型语言模型在学习长文本操作时的潜力。该模型通过适当的调整RoPE theta参数，并结合NTK-aware插值和数据驱动的优化技术，实现了在长文本上的高效学习。此外，它还基于EasyContext Blockwise RingAttention库构建，以支持在高性能硬件上的可扩展和高效训练。

通过交互式3D生成技术，实现高质量且可控的3D模型创建。

Interactive3D是一个先进的3D生成模型，它通过交互式设计为用户提供了精确的控制能力。该模型采用两阶段级联结构，利用不同的3D表示方法，允许用户在生成过程的任何中间步骤进行修改和引导。它的重要性在于能够实现用户对3D模型生成过程的精细控制，从而创造出满足特定需求的高质量3D模型。

一种用于逆渲染的先进学习扩散先验方法，能够从任意图像中恢复物体材质并实现单视图图像重照明。

IntrinsicAnything 是一种先进的图像逆渲染技术，它通过学习扩散模型来优化材质恢复过程，解决了在未知静态光照条件下捕获的图像中物体材质恢复的问题。该技术通过生成模型学习材质先验，将渲染方程分解为漫反射和镜面反射项，利用现有丰富的3D物体数据进行训练，有效地解决了逆渲染过程中的歧义问题。此外，该技术还开发了一种从粗到细的训练策略，利用估计的材质引导扩散模型产生多视图一致性约束，从而获得更稳定和准确的结果。

探索不同的文本生成模型，通过草拟消息和微调响应来提升体验。

Workers AI LLM Playground是一个在线平台，允许用户通过草拟消息和微调响应来探索不同的文本生成模型。该平台由先进的人工智能技术驱动，旨在为开发者和研究人员提供一个实验和学习的环境，以更好地理解和利用大型语言模型（LLM）的能力。

图像分析和描述工具

Clip Interrogator是一个使用CLIP模型来分析图像并生成描述性文本的工具。它通过解释图像内容来有效地将视觉内容和语言联系起来，对于理解和复制现有图像的风格和内容非常有用。

音乐生成工具，助力音乐制作人

musicgen-songstarter-v0.2是一个针对音乐制作人设计的音频生成模型，专门用于生成有用的旋律循环。该模型在Splice样本库中的旋律循环数据集上进行了微调，能够生成立体声音频，音频频率为32kHz。与v0.1版本相比，v0.2版本使用了三倍的独特样本，并且模型大小从中等提升到了大型。

提升生成模型质量和加速推理的项目

UniFL是一个项目，旨在提升生成模型质量和加速推理速度。它通过感知反馈学习、解耦反馈学习和对抗性反馈学习三个关键组件，有效解决了当前扩散模型存在的图像质量、美学吸引力和推理速度等问题。经过实验验证和用户研究，UniFL在多个扩散模型上展现出显著的性能提升和强大的泛化能力。

用于评估文本到视觉生成的创新性指标和基准测试

Evaluating Text-to-Visual Generation with Image-to-Text Generation提出了一种新的评估指标VQAScore,能够更好地评估复杂的文本到视觉生成效果,并引入了GenAI-Bench基准测试集。VQAScore基于CLIP-FlanT5模型,能够在文本到图像/视频/3D生成评估中取得最佳性能,是一种强大的替代CLIPScore的方案。GenAI-Bench则提供了包含丰富组合语义的实际场景测试文本,可用于全面评估生成模型的性能。

对视觉生成模型进行基准测试

GenAI-Arena是一个用于在野外对视觉生成模型进行基准测试的平台。用户可以匿名参与竞技，对比目标模型的表现，并投票选出更优秀的模型。平台支持不同领域的匿名模型对决，帮助用户找到最佳的条件图像生成模型。用户可以点击“New Round”开始新的对决，并通过点击按钮投票选择更优秀的模型。

通过表情丰富的掩蔽音频手势建模实现整体共话手势生成

EMAGE是一种统一的整体共话手势生成模型,通过表情丰富的掩蔽音频手势建模来生成自然的手势动作。它可以从音频输入中捕捉语音和韵律信息,并生成相应的身体姿势和手势动作序列。EMAGE能够生成高度动态和表现力丰富的手势,从而增强虚拟人物的互动体验。

ChatGPT集成的内容创意辅助工具

Adob​​e Express GPT是Adobe为ChatGPT Plus用户提供的定制GPT,可以根据用户的文字提示快速匹配Adobe Express的20多万个专业设计模板,并将匹配结果直接导入Adobe Express进行进一步编辑和发布。插件还集成了Adobe Firefly等生成式AI功能,如文本到图像、对象移除等,帮助用户轻松创建出色的视觉内容。Adobe致力于负责任地开发AI技术,Firefly模型使用授权内容训练,可安全用于商业用途。

文本编码器微调技术，提升文本到图像生成模型性能

TextCraftor是一种创新的文本编码器微调技术，能够显著提升文本到图像生成模型的性能。通过奖励函数优化，它改善了图像质量与文本对齐，无需额外数据集。

AI 原生思维导图在线工具

Chatmind 是一款由 Xmind 团队推出的免费在线 AI 思维导图和头脑风暴工具，通过 ChatGPT 技术，帮助用户在几分钟内创建思维导图。用户可以通过简单的文本描述生成思维导图，快速总结文档或 URL 链接为思维导图，与 AI 对话产生创意并整合到思维导图中，描述文本即可立即生成图像，轻松为任何主题创建视觉内容，自动保存文件历史以便跨设备访问，编辑文本和重新排列主题轻松自如，将思维导图转化为幻灯片展示只需一键，轻松以多种格式分享思维导图。

Champ：一种用于生成 3D 物体形状的生成模型

Champ 是一种用于生成 3D 物体形状的生成模型，它结合了隐函数和卷积神经网络，以生成高质量、多样化和逼真的 3D 形状。它可以生成各种类别的形状，包括动物、车辆和家具。

AI面部工作室：独特的面部变换

AI Face Studio是一个革命性的面部变换工具，可以使用人工智能实现独特的面部变换和艺术效果，创建令人惊叹的视觉内容。利用先进的技术，AI Face Studio提供多样化且易于使用的面部变换功能，让您在任何设备上开始快速而令人惊叹的面部更新之旅。

提供一种新颖的视频到视频编辑框架，无需训练即可使用

AnyV2V是一个创新的视频到视频编辑框架，允许用户使用任何现成的图像编辑工具编辑视频的第一帧，然后使用现有的图像到视频生成模型进行图像到视频的重建。这种方法使得各种编辑任务变得简单，包括基于提示的编辑、样式转换、主题驱动的编辑和身份操纵。

用于自动驾驶的大规模视频生成模型

GenAD是由上海人工智能实验室联合香港科技大学、德国图宾根大学和香港大学共同推出的首个大规模自动驾驶视频生成模型。它通过预测和模拟真实世界场景,为自动驾驶技术的研究和应用提供支撑。GenAD在理解复杂动态环境、适应开放世界场景、精准预测等方面具有较强能力,能够通过语言和行车轨迹进行控制,并展现出应用于自动驾驶规划任务的潜力,有助于提高行车安全性和效率。

专注于动漫风格的生成模型,呈现细腻的画面效果

AWPainting是一款基于Stable Diffusion的图像生成模型,专注于动漫风格的图像生成。相比于标准模型,AWPainting在光照和细节表现方面有着更出色的效果,画面更加细腻、有呼吸感,人物面部光照更加柔和自然。同时AWPainting也对Prompt指令的响应更加良好。无论是单纯的动漫风格图像生成,还是动画化真人照片等场景,AWPainting都能提供满意的输出效果。

基于稳定扩散生成高质量动漫风格图像的文本到图像模型

Animagine XL 3.1 是一款能够基于文本提示生成高质量动漫风格图像的文本到图像生成模型。它建立在稳定扩散 XL 的基础之上,专门针对动漫风格进行了优化。该模型具有更广泛的动漫角色知识、优化过的数据集和新的美学标签,从而提高了生成图像的质量和准确性。它旨在为动漫爱好者、艺术家和内容创作者提供有价值的资源。

CRM是一个高保真的单图像到3D纹理网格的卷积重建模型

CRM是一个高保真的单图像到3D纹理网格的生成模型，它通过整合几何先验到网络设计中，能够从单个输入图像生成六个正交视图图像，然后利用卷积U-Net创建高分辨率的三平面（triplane）。CRM进一步使用Flexicubes作为几何表示，便于在纹理网格上进行直接的端到端优化。整个模型能够在10秒内从图像生成高保真的纹理网格，无需测试时优化。

官方实现的自纠正LLM控制的扩散模型

SLD是一个自纠正的LLM控制的扩散模型框架，它通过集成检测器增强生成模型，以实现精确的文本到图像对齐。SLD框架支持图像生成和精细编辑，并且与任何图像生成器兼容，如DALL-E 3，无需额外训练或数据。