产品库

重新构想20万个样本或生成自己的样本

MUSIC SAMPLING是一款音乐采样插件，拥有200,000+的采样库，支持AI Sample Generation功能，可以根据用户输入的指令生成音乐样品。此外，用户还可以使用自己的样品进行创作，并在数字音频工作站中进行编辑和处理。MUSIC SAMPLING的使用场景包括音乐制作、音乐创作、音乐采样等。该产品的优势在于丰富的采样库和AI Sample Generation功能，可以帮助用户快速生成音乐采样，提高音乐创作效率。

一种优化扩散模型采样时间表的方法，以提高生成模型的输出质量。

Align Your Steps 是一种用于优化扩散模型（Diffusion Models, DMs）采样时间表的方法。这种方法利用随机微积分的方法，为不同的求解器、训练有素的DMs和数据集找到特定的最优采样时间表。它通过最小化KLUB项来优化时间离散化，即采样调度，从而在相同的计算预算下提高输出质量。该方法在图像、视频以及2D玩具数据合成基准测试中表现出色，优化的采样时间表在几乎所有实验中都优于之前手工制定的时间表。

视频超分辨率模型，细节丰富

VideoGigaGAN是一款基于大规模图像上采样器GigaGAN的视频超分辨率(VSR)模型。它能够生成具有高频细节和时间一致性的视频。该模型通过添加时间注意力层和特征传播模块，显著提高了视频的时间一致性，并使用反锯齿块减少锯齿效应。VideoGigaGAN在公共数据集上与最先进的VSR模型进行了比较，并展示了8倍超分辨率的视频结果。

4K文本到图像生成的扩散变换器

PixArt-Sigma是一个基于PyTorch的模型定义、预训练权重和推理/采样代码的集合，用于探索4K文本到图像生成的弱到强训练扩散变换器。它支持从低分辨率到高分辨率的图像生成，提供了多种功能和优势，如快速体验、用户友好的代码库和多种模型选择。

提升文本到图像生成的可控性

ControlNet++是一种新型的文本到图像扩散模型，通过显式优化生成图像与条件控制之间的像素级循环一致性，显著提高了在各种条件控制下的可控性。它通过使用预训练的判别性奖励模型来提取生成图像的对应条件，并优化输入条件控制与提取条件之间的一致性损失。此外，ControlNet++引入了一种高效的奖励策略，通过向输入图像中添加噪声来扰动图像，然后使用单步去噪图像进行奖励微调，避免了与图像采样相关的大量时间和内存成本。

从单张 RGB 图像生成多个逼真的 3D 人体重建

DiffHuman 是一种概率性的光度逼真的 3D 人体重建方法。它可以从单张 RGB 图像预测一个 3D 人体重建的概率分布,并通过迭代降噪采样多个细节丰富、色彩鲜明的 3D 人体模型。与现有的确定性方法相比,DiffHuman 在未知或不确定区域能生成更加细节丰富的重建结果。同时,我们还引入了一个加速渲染的生成网络,大幅提高了推理速度。

实时一步潜在扩散模型,可用图像条件控制生成

SDXS是一种新的扩散模型,通过模型微型化和减少采样步骤,大幅降低了模型延迟。它利用知识蒸馏来简化U-Net和图像解码器架构,并引入了一种创新的单步DM训练技术,使用特征匹配和分数蒸馆。SDXS-512和SDXS-1024模型可在单个GPU上分别实现约100 FPS和30 FPS的推理速度,比之前模型快30至60倍。此外,该训练方法在图像条件控制方面也有潜在应用,可实现高效的图像到图像翻译。

基于真实世界动漫图像和视频源的超分辨率恢复和增强

APISR旨在恢复和增强来自现实世界场景的低质量、低分辨率动漫图像和视频源，使用不同的退化处理。项目支持多种上采样因子权重，如2x、4x等，并提供Gradio演示。

基于语言模型架构的预训练时间序列预测模型

Chronos是一系列基于语言模型架构的预训练时间序列预测模型。时间序列通过缩放和量化转换为一系列标记，然后使用交叉熵损失训练语言模型。训练完成后，通过给定历史上下文采样多个未来轨迹，获得概率性预测。Chronos模型已经在大量公开可用的时间序列数据和使用高斯过程生成的合成数据上进行了训练。

提高文本到图像合成质量的一致性蒸馏技术

TCD是一种用于文本到图像合成的一致性蒸馏技术，它通过轨迹一致性函数（TCF）和策略性随机采样（SSS）来减少合成过程中的错误。TCD在低NFE（噪声自由能量）时显著提高图像质量，并在高NFE时保持比教师模型更详细的结果。TCD不需要额外的判别器或LPIPS监督，即可在低NFE和高NFE时均保持优越的生成质量。

GoEnhance AI是一款基于AI的图文增强工具

GoEnhance AI是一款基于人工智能的图像和视频增强工具。它可以实现视频到视频、图像增强和超分辨率scaling等功能。GoEnhance AI采用了最先进的深度学习算法,可以增强和上采样图像到极致的细节和高分辨率。它简单易用,功能强大,是创作者、设计师等用户释放创意的绝佳工具。

ComfyUI 3D处理插件包

ComfyUI-3D-Pack是一个强大的3D处理插件集合,它为ComfyUI提供了处理3D模型(网格、纹理等)的能力,集成了各种前沿3D重建和渲染算法,如3D高斯采样、NeRF不同iable渲染等,可以实现单视角图像快速重建3D高斯模型,并可转换为三角网格模型,同时还提供了交互式3D可视化界面。

这是一个使用深度学习为文字描述生成动画视频的模型

AnimateLCM是一个使用深度学习生成动画视频的模型。它可以仅使用极少的采样步骤就生成高保真的动画视频。与直接在原始视频数据集上进行一致性学习不同,AnimateLCM采用了解耦的一致性学习策略,将图像生成先验知识和运动生成先验知识的萃取进行解耦,从而提高了训练效率并增强了生成的视觉质量。此外,AnimateLCM还可以与Stable Diffusion社区的插件模块配合使用,实现各种可控生成功能。AnimateLCM已经在基于图像的视频生成和基于布局的视频生成中验证了其性能。

超千亿参数的大语言模型

百川智能Baichuan 3是一款超千亿参数的大语言模型，在多个权威通用能力评测中展现出色，特别在中文任务上超越了GPT-4。它在自然语言处理、代码生成、医疗任务等领域表现优异，采用了多项创新技术手段提升模型能力，包括动态数据选择、重要度保持和异步CheckPoint存储等。训练过程中采用因果采样的动态训练数据选择方案，保证数据质量；引入了重要度保持的渐进式初始化方法，优化模型训练稳定性；并针对并行训练问题进行了一系列优化，性能提升超过30%。

增强LLM推理能力的ReFT

ReFT是一种增强大型语言模型（LLMs）推理能力的简单而有效的方法。它首先通过监督微调（SFT）对模型进行预热，然后使用在线强化学习，具体来说是本文中的PPO算法，进一步微调模型。ReFT通过自动对给定问题进行大量推理路径的采样，并从真实答案中自然地得出奖励，从而显著优于SFT。ReFT的性能可能通过结合推理时策略（如多数投票和重新排名）进一步提升。需要注意的是，ReFT通过学习与SFT相同的训练问题而获得改进，而无需依赖额外或增强的训练问题。这表明ReFT具有更强的泛化能力。

高保真几何渲染

这款产品是一种3D GAN技术，通过学习基于神经体积渲染的方法，能够以前所未有的细节解析细粒度的3D几何。产品采用学习型采样器，加速3D GAN训练，使用更少的深度采样，实现在训练和推断过程中直接渲染完整分辨率图像的每个像素，同时学习高质量的表面几何，合成高分辨率3D几何和严格视角一致的图像。产品在FFHQ和AFHQ上展示了最先进的3D几何质量，为3D GAN中的无监督学习建立了新的标准。

一种基于一致性模型的歌唱音高转换技术

COMOSVC是一种基于一致性模型的歌唱音高转换技术,它可以实现高质量的转换效果和快速的采样速度。该技术首先设计了一个基于弥散的教师模型,用于歌唱音高转换任务,然后通过自我一致性属性进行知识蒸馏,以实现一步采样。相比当前最先进的基于弥散的歌唱音高转换系统,COMOSVC在保持可比甚至优越的转换性能的同时,也实现了显著更快的推理速度。

端到端MLLM，实现精准引用和定位

ml-ferret是一个端到端的机器学习语言模型（MLLM），能够接受各种形式的引用并响应性地在多模态环境中进行精准定位。它结合了混合区域表示和空间感知的视觉采样器，支持细粒度和开放词汇的引用和定位。此外，ml-ferret还包括GRIT数据集（约110万个样本）和Ferret-Bench评估基准。

文本到视频的指导生成模型

InstructVideo 是一种通过人类反馈用奖励微调来指导文本到视频的扩散模型的方法。它通过编辑的方式进行奖励微调，减少了微调成本，同时提高了微调效率。它使用已建立的图像奖励模型，通过分段稀疏采样和时间衰减奖励的方式提供奖励信号，显著提高了生成视频的视觉质量。InstructVideo 不仅能够提高生成视频的视觉质量，还能保持较强的泛化能力。欲了解更多信息，请访问官方网站。

基于文本条件的3D发型生成模型

HAAR是一种基于文本输入的生成模型，可生成逼真的3D发型。它采用文本提示作为输入，生成准备用于各种计算机图形动画应用的3D发型资产。与当前基于AI的生成模型不同，HAAR利用3D发丝作为基础表示，通过2D视觉问答系统自动注释生成的合成发型模型。我们提出了一种基于文本引导的生成方法，使用条件扩散模型在潜在的发型UV空间生成引导发丝，并使用潜在的上采样过程重建含有数十万发丝的浓密发型，给定文本描述。生成的发型可以使用现成的计算机图形技术进行渲染。

高分辨率图像生成的无门槛解决方案

DemoFusion 是一款无需高额费用的高分辨率图像生成解决方案。通过使用渐进式升采样、跳跃残差和扩张采样等机制，DemoFusion 扩展了开源生成人工智能模型，实现了更高分辨率的图像生成。它具有简单易用的特点，无需调整参数和大量内存，适用于广泛的用户群体。DemoFusion 可以与其他基于潜在扩散模型的应用程序无缝集成，实现可控的高分辨率图像生成。

从单个图像中提取材料

Material Palette从单个真实世界图像中提取PBR材料（漫反射率、法线和粗糙度）的调色板。该产品提供了一种方法，通过扩散模型将图像的区域映射到材料概念，从而允许采样类似场景中每种材料的纹理图像。随后，利用独立网络将生成的纹理分解为空间变化的BRDF（SVBRDF），为渲染应用提供准备好的材料。该方法利用合成材料库和扩散生成的RGB纹理数据集，通过无监督域自适应实现对新样本的泛化。产品通过合成和真实世界数据集进行了全面评估，并展示了从真实照片估算材料并用于编辑3D场景的方法的适用性。

使用解码器-仅变压器生成三角网格

MeshGPT通过自回归地从经过训练以生成来自学习几何词汇的标记的变压器模型中采样来创建三角网格。这些标记然后可以被解码成三角网格的面。我们的方法生成干净、连贯和紧凑的网格，具有清晰的边缘和高保真度。MeshGPT在形状覆盖率上表现比现有的网格生成方法有显著改进，各种类别的FID得分提高了30个点。

高保真文本到4D生成

4D-fy是一种文本到4D生成方法，通过混合分数蒸馏采样技术，结合了多种预训练扩散模型的监督信号，实现了高保真的文本到4D场景生成。其方法通过神经表示参数化4D辐射场，使用静态和动态多尺度哈希表特征，并利用体积渲染从表示中渲染图像和视频。通过混合分数蒸馏采样，首先使用3D感知文本到图像模型（3D-T2I）的梯度来优化表示，然后结合文本到图像模型（T2I）的梯度来改善外观，最后结合文本到视频模型（T2V）的梯度来增加场景的运动。4D-fy可以生成具有引人入胜外观、3D结构和运动的4D场景。

实时文本转图像生成模型

SDXL Turbo是一种实时文本到图像模型，基于一种名为对抗扩散蒸馏（ADD）的新蒸馏技术。该模型能够在单步内合成图像输出，并在维持高采样保真度的同时实现实时文本到图像输出。SDXL Turbo还提供了主要改进，包括推理速度的显著提高。

解决随机逆问题，无需直接监督

该产品是一种新型去噪扩散概率模型，学习从未直接观察到的信号分布中采样，而是通过已知的可微分前向模型测量。该产品可直接从部分观测的未知信号分布中采样，适用于计算机视觉任务。在逆图形学中，它能够生成与单个2D输入图像一致的3D场景分布。产品定价灵活，定位于图像处理和计算机视觉领域。

Medbeat是一个AI驱动的在线医疗咨询和诊断平台。

Medbeat是一个基于人工智能的在线医疗诊断和建议平台。用户可以通过回答AI生成的问题来获取完整的医疗摘要、专家建议和实验室检查推荐,实现精准诊断。平台还提供医生预约、上门采样等服务。Medbeat致力于利用AI技术改善医疗诊断,提高诊断效率。

一站式创意编辑工具平台

Ceacle Tools是一个一站式的创意编辑工具平台,提供图像增强、背景替换、矢量转换等AI驱动的工具,助力无缝的创意之旅。主要功能包括:高效率的图像和视频编辑工具,一键实现上采样、背景去除、转换、压缩等功能;不同格式文件的全能编辑工具,无需在不同工具间切换;支持批量文件编辑,workflow设计提高工作流程效率;功能强大、价格亲民。适用于设计师、创意工作者、影视后期从业者等创意行业人士。

真实图像补全的参考驱动生成

RealFill是一种图像补全的生成模型，通过使用少量场景的参考图像，能够填充图像中的缺失区域，并生成与原始场景相符的视觉内容。RealFill通过在参考图像和目标图像上微调预训练的图像补全扩散模型来创建个性化的生成模型。该模型不仅保持了良好的图像先验，还学习了输入图像中的内容、光照和风格。然后，我们使用这个微调后的模型通过标准的扩散采样过程来填充目标图像中的缺失区域。RealFill在一个包含多种复杂场景的新的图像补全基准测试中进行了评估，并发现其在性能上大大优于现有方法。

Show-1 将像素和潜在扩散模型结合起来，以实现高效的高质量文本到视频的生成

Show-1是一种高效的文本到视频生成模型,它结合了像素级和潜变量级的扩散模型,既能生成与文本高度相关的视频,也能以较低的计算资源要求生成高质量的视频。它首先用像素级模型生成低分辨率的初步视频,然后使用潜变量模型将其上采样到高分辨率,从而结合两种模型的优势。相比纯潜变量模型,Show-1生成的视频文本关联更准确;相比纯像素模型,它的运算成本也更低。