产品库

从图像或视频中执行多种推断

PRISMA是一个计算摄影管道,可以从任何图像或视频中执行多种推断。就像光线通过棱镜折射成不同的波长一样,这个管道将图像扩展成可用于3D重建或实时后期处理操作的数据。它结合了不同的算法和开源的预训练模型,比如单目深度(MiDAS v3.1, ZoeDepth, Marigold, PatchFusion)、光流(RAFT)、分割掩模(mmdet)、相机姿态(colmap)等。结果带存储在与输入文件同名的文件夹中,每个band以.png或.mp4文件的形式单独存储。对于视频,在最后一步,它会尝试执行稀疏重建,可用于NeRF(如NVidia的Instant-ngp)或高斯扩散训练。推断出的深度信息默认导出为可以使用LYGIA的heatmap GLSL/HLSL采样实时解码的热度图,而光流编码为HUE(角度)和饱和度,也可以使用LYGIA的光流GLSL/HLSL采样器实时解码。

高效3D高斯重建模型，实现大场景快速重建

Long-LRM是一个用于3D高斯重建的模型，能够从一系列输入图像中重建出大场景。该模型能在1.3秒内处理32张960x540分辨率的源图像，并且仅在单个A100 80G GPU上运行。它结合了最新的Mamba2模块和传统的transformer模块，通过高效的token合并和高斯修剪步骤，在保证质量的同时提高了效率。与传统的前馈模型相比，Long-LRM能够一次性重建整个场景，而不是仅重建场景的一小部分。在大规模场景数据集上，如DL3DV-140和Tanks and Temples，Long-LRM的性能可与基于优化的方法相媲美，同时效率提高了两个数量级。

生成新视角的图像，保持语义信息。

GenWarp是一个用于从单张图像生成新视角图像的模型，它通过语义保持的生成变形框架，使文本到图像的生成模型能够学习在哪里变形和在哪里生成。该模型通过增强交叉视角注意力与自注意力来解决现有方法的局限性，通过条件化生成模型在源视图图像上，并纳入几何变形信号，提高了在不同领域场景下的性能。

无需相机校准信息的密集立体3D重建

DUSt3R是一种新颖的密集和无约束立体3D重建方法，适用于任意图像集合。它不需要事先了解相机校准或视点姿态信息，通过将成对重建问题视为点图的回归，放宽了传统投影相机模型的严格约束。DUSt3R提供了一种统一的单目和双目重建方法，并在多图像情况下提出了一种简单有效的全局对齐策略。基于标准的Transformer编码器和解码器构建网络架构，利用强大的预训练模型。DUSt3R直接提供场景的3D模型和深度信息，并且可以从中恢复像素匹配、相对和绝对相机信息。

基于视频的3D场景重建

VisFusion是一个利用视频数据进行在线3D场景重建的技术，它能够实时地从视频中提取和重建出三维环境。这项技术结合了计算机视觉和深度学习，为用户提供了一个强大的工具，用于创建精确的三维模型。

统一的开放命名实体和语音识别模型

WhisperNER是一个结合了自动语音识别（ASR）和命名实体识别（NER）的统一模型，具备零样本能力。该模型旨在作为ASR带NER的下游任务的强大基础模型，并可以在特定数据集上进行微调以提高性能。WhisperNER的重要性在于其能够同时处理语音识别和实体识别任务，提高了处理效率和准确性，尤其在多语言和跨领域的场景中具有显著优势。

3D网格生成与语言模型的统一

LLaMA-Mesh是一项将大型语言模型（LLMs）预训练在文本上扩展到生成3D网格的能力的技术。这项技术利用了LLMs中已经嵌入的空间知识，并实现了对话式3D生成和网格理解。LLaMA-Mesh的主要优势在于它能够将3D网格的顶点坐标和面定义表示为纯文本，允许与LLMs直接集成而无需扩展词汇表。该技术的主要优点包括能够从文本提示生成3D网格、按需产生交错的文本和3D网格输出，以及理解和解释3D网格。LLaMA-Mesh在保持强大的文本生成性能的同时，实现了与从头开始训练的模型相当的网格生成质量。

AI云平台，为所有人服务

Kalavai是一个AI云平台，旨在为所有人提供服务。它通过集成各种AI技术，使得用户能够构建、部署和运行AI应用。Kalavai平台的主要优点是其易用性和灵活性，用户无需深入了解复杂的AI技术，即可快速构建自己的AI应用。平台背景信息显示，它支持多种语言和框架，适合不同层次的开发者使用。目前，Kalavai提供免费试用，具体价格和定位需要进一步了解。

人脸匿名化技术，保留关键细节同时有效保护隐私。

face_anon_simple是一个人脸匿名化技术，旨在通过先进的算法在保护个人隐私的同时保留原始照片中的面部表情、头部姿势、眼神方向和背景元素。这项技术对于需要发布包含人脸的图片但又希望保护个人隐私的场合非常有用，比如在新闻报道、社交媒体和安全监控等领域。产品基于开源代码，允许用户自行部署和使用，具有很高的灵活性和应用价值。

图像水印技术，可在图片中嵌入局部化水印信息

Watermark Anything是一个由Facebook Research开发的图像水印技术，它允许在图片中嵌入一个或多个局部化水印信息。这项技术的重要性在于它能够在保证图像质量的同时，实现对图像内容的版权保护和追踪。该技术背景是基于深度学习和图像处理的研究，主要优点包括高鲁棒性、隐蔽性和灵活性。产品定位为研究和开发用途，目前是免费提供给学术界和开发者使用。

3D高斯生成技术，实现任意未摆姿势图像的3D重建

LucidFusion是一个灵活的端到端前馈框架，用于从未摆姿势、稀疏和任意数量的多视图图像中生成高分辨率3D高斯。该技术利用相对坐标图（RCM）来对齐不同视图间的几何特征，使其在3D生成方面具有高度适应性。LucidFusion能够与原始单图像到3D的流程无缝集成，生成512x512分辨率的详细3D高斯，适合广泛的应用场景。

基于Gradio的实时人像动画Web界面

AdvancedLivePortrait-WebUI是一个基于Gradio框架开发的Web界面，用于实时人像动画编辑。该技术允许用户通过上传图片来编辑人物的面部表情，实现了高效的肖像动画制作。它基于LivePortrait算法，利用深度学习技术进行面部特征的捕捉和动画制作，具有操作简便、效果逼真的优点。产品背景信息显示，它是由jhj0517开发的开源项目，适用于需要进行人像动画制作的专业人士和爱好者。目前该项目是免费的，并且开源，用户可以自由使用和修改。

基于文本生成服装图像的AI模型

FLUX.1-dev LoRA Outfit Generator是一个文本到图像的AI模型，能够根据用户详细描述的颜色、图案、合身度、风格、材质和类型来生成服装。该模型使用了H&M Fashion Captions Dataset数据集进行训练，并基于Ostris的AI Toolkit进行开发。它的重要性在于能够辅助设计师快速实现设计想法，加速服装行业的创新和生产流程。

构建视频搜索和摘要代理，提取视频洞察

NVIDIA Video Search and Summarization 是一个利用深度学习和人工智能技术，能够处理大量实时或存档视频，并从中提取信息以进行摘要和交互式问答的模型。该产品代表了视频内容分析和处理技术的最新进展，它通过生成式AI和视频到文本的技术，为用户提供了一种全新的视频内容管理和检索方式。NVIDIA Video Search and Summarization 的主要优点包括高效的视频内容分析、准确的摘要生成和交互式问答能力，这些功能对于需要处理大量视频数据的企业来说至关重要。产品背景信息显示，NVIDIA 致力于通过其先进的AI模型，推动视频内容的智能化处理和分析。

语音合成工具，提供高质量的语音生成服务

Fish Speech是一款专注于语音合成的产品，它通过使用先进的深度学习技术，能够将文本转换为自然流畅的语音。该产品支持多种语言，包括中文、英文等，适用于需要文本到语音转换的场景，如语音助手、有声读物制作等。Fish Speech以其高质量的语音输出、易用性和灵活性为主要优点，背景信息显示，该产品不断更新，增加了数据集大小，并改进了量化器的参数，以提供更好的服务。

高容量真实世界图像修复与隐私安全数据管理

DreamClear是一个专注于高容量真实世界图像修复的深度学习模型，它通过隐私安全的数据管理技术，提供了一种高效的图像超分辨率和修复解决方案。该模型在NeurIPS 2024上被提出，主要优点包括高容量处理能力、隐私保护以及实际应用中的高效性。DreamClear的背景信息显示，它是基于先前工作的改进，并且提供了多种预训练模型和代码，以便于研究者和开发者使用。产品是免费的，定位于科研和工业界的图像处理需求。

8B参数变分自编码器模型，用于高效的文本到图像生成。

Flux.1 Lite是一个由Freepik发布的8B参数的文本到图像生成模型，它是从FLUX.1-dev模型中提取出来的。这个版本相较于原始模型减少了7GB的RAM使用，并提高了23%的运行速度，同时保持了与原始模型相同的精度（bfloat16）。该模型的发布旨在使高质量的AI模型更加易于获取，特别是对于消费级GPU用户。

超轻量级数字人模型，移动端实时运行

Ultralight-Digital-Human是一个超轻量级的数字人模型，可以在移动端实时运行。这个模型是开源的，据开发者所知，它是第一个如此轻量级的开源数字人模型。该模型的主要优点包括轻量级设计，适合移动端部署，以及实时运行的能力。它的背后是深度学习技术，特别是在人脸合成和声音模拟方面的应用，这使得数字人模型能够以较低的资源消耗实现高质量的表现。产品目前是免费的，主要面向技术爱好者和开发者。

基于Flux的IC-Light模型，专注于图像细节保留和风格化处理

IC-Light V2是一系列基于Flux的IC-Light模型，采用16ch VAE和原生高分辨率技术。该模型在细节保留、风格化图像处理等方面相较于前代有显著提升。它特别适合需要在保持图像细节的同时进行风格化处理的应用场景。目前，该模型以非商业性质发布，主要面向个人用户和研究者。

基于MaskGCT模型的文本到语音演示

MaskGCT TTS Demo 是一个基于MaskGCT模型的文本到语音（TTS）演示，由Hugging Face平台上的amphion提供。该模型利用深度学习技术，将文本转换为自然流畅的语音，适用于多种语言和场景。MaskGCT模型因其高效的语音合成能力和对多种语言的支持而受到关注。它不仅可以提高语音识别和合成的准确性，还能在不同的应用场景中提供个性化的语音服务。目前，该产品在Hugging Face平台上提供免费试用，具体价格和定位信息需进一步了解。

轻量级推理模型，用于生成高质量图像

Stable Diffusion 3.5是一个用于简单推理的轻量级模型，它包含了文本编码器、VAE解码器和核心MM-DiT技术。该模型旨在帮助合作伙伴组织实现SD3.5，并且可以用于生成高质量的图像。它的重要性在于其高效的推理能力和对资源的低要求，使得广泛的用户群体能够使用和享受生成图像的乐趣。该模型遵循Stability AI Community License Agreement，并且可以免费使用。

强大的图像生成模型

Stable Diffusion 3.5是Stability AI推出的一款图像生成模型，具有多种变体，包括Stable Diffusion 3.5 Large和Stable Diffusion 3.5 Large Turbo。这些模型可高度定制，能在消费级硬件上运行，并且根据Stability AI社区许可协议，可以免费用于商业和非商业用途。该模型的发布体现了Stability AI致力于让视觉媒体变革的工具更易于获取、更前沿、更自由的使命。

通过多样化合成数据和全局到局部自适应感知增强文档布局分析

DocLayout-YOLO是一个用于文档布局分析的深度学习模型，它通过多样化的合成数据和全局到局部自适应感知来增强文档布局分析的准确性和处理速度。该模型通过Mesh-candidate BestFit算法生成大规模多样化的DocSynth-300K数据集，显著提升了不同文档类型在微调性能上的表现。此外，它还提出了一个全局到局部可控的感受野模块，更好地处理文档元素的多尺度变化。DocLayout-YOLO在各种文档类型上的下游数据集上表现出色，无论是在速度还是准确性上都有显著优势。

OCR-free 文档理解的统一结构学习模型

mPLUG-DocOwl 1.5 是一个致力于OCR-free文档理解的统一结构学习模型，它通过深度学习技术实现了对文档的直接理解，无需传统的光学字符识别(OCR)过程。该模型能够处理包括文档、网页、表格和图表在内的多种类型的图像，支持结构感知的文档解析、多粒度的文本识别和定位，以及问答等功能。mPLUG-DocOwl 1.5 的研发背景是基于对文档理解自动化和智能化的需求，旨在提高文档处理的效率和准确性。该模型的开源特性也促进了学术界和工业界的进一步研究和应用。

高精度视频唇形同步技术

Wav2Lip 是一个开源项目，旨在通过深度学习技术实现视频中人物的唇形与任意目标语音高度同步。该项目提供了完整的训练代码、推理代码和预训练模型，支持任何身份、声音和语言，包括CGI面孔和合成声音。Wav2Lip 背后的技术基于论文 'A Lip Sync Expert Is All You Need for Speech to Lip Generation In the Wild'，该论文在ACM Multimedia 2020上发表。项目还提供了一个交互式演示和Google Colab笔记本，方便用户快速开始使用。此外，项目还提供了一些新的、可靠的评估基准和指标，以及如何在论文中计算这些指标的说明。

使用AI技术快速生成令人惊叹的图像

Flux AI是一个利用先进AI算法来生成高质量图像的平台。它通过深度学习模型，能够在几秒钟内将用户的想法转化为视觉杰作。该平台提供实时生成、自定义输出、多语言支持、伦理AI和无缝集成等特点，旨在帮助用户快速实现创意，提高工作效率。Flux AI的背景信息显示，它致力于负责任的AI开发，尊重版权，避免偏见，并促进积极的社会影响。

基于Stable Diffusion的LoRA模型，生成逼真动漫风格图像

RealAnime - Detailed V1 是一个基于Stable Diffusion的LoRA模型，专门用于生成逼真的动漫风格图像。该模型通过深度学习技术，能够理解并生成高质量的动漫人物图像，满足动漫爱好者和专业插画师的需求。它的重要性在于能够大幅度提高动漫风格图像的生成效率和质量，为动漫产业提供强大的技术支持。目前，该模型在Tensor.Art平台上提供，用户可以通过在线方式使用，无需下载安装，方便快捷。价格方面，用户可以通过购买Buffet计划来解锁下载权益，享受更灵活的使用方式。

视频背景移除工具，一键去除视频背景。

Video Background Removal 是一个由 innova-ai 提供的 Hugging Face Space，专注于视频背景移除技术。该技术通过深度学习模型，能够自动识别并分离视频中的前景和背景，实现一键去除视频背景的功能。这项技术在视频制作、在线教育、远程会议等多个领域都有广泛的应用，尤其在需要抠图或更换视频背景的场景下，提供了极大的便利。产品背景信息显示，该技术是基于开源社区 Hugging Face 的 Spaces 平台开发的，继承了开源、共享的技术理念。目前，产品提供免费试用，具体价格信息需进一步查询。

文本到图像生成模型，支持高分辨率图像生成

由清华大学团队开发的文本到图像生成模型，开源，在图像生成领域有广泛应用前景，有高分辨率输出等优点。

AI动漫生成器，将文本或照片转换成动漫风格。

Easy Anime Maker是一个基于人工智能的动漫生成器，它使用深度学习技术，如生成对抗网络，将用户输入的文本描述或上传的照片转换成动漫风格的艺术作品。这项技术的重要性在于它降低了创作动漫艺术的门槛，使得没有专业绘画技能的用户也能创造出个性化的动漫图像。产品背景信息显示，它是一个在线平台，用户可以通过简单的文本提示或上传照片来生成动漫艺术，非常适合动漫爱好者和需要快速生成动漫风格图像的专业人士。产品提供免费试用，用户注册后可以获得5个免费积分，如果需要更多生成需求，可以选择购买积分，无需订阅。