PromptFix是一个综合框架，能够使扩散模型遵循人类指令执行各种图像处理任务。该框架通过构建大规模的指令遵循数据集，提出了高频引导采样方法来控制去噪过程，并设计了辅助提示适配器，利用视觉语言模型增强文本提示，提高模型的任务泛化能力。PromptFix在多种图像处理任务中表现优于先前的方法，并在盲恢复和组合任务中展现出优越的零样本能力。
需求人群：
"目标受众为图像处理专业人士、研究人员以及对图像编辑有需求的普通用户。PromptFix因其强大的图像处理能力和易用性，特别适合需要对图像进行高质量编辑和修复的用户，无论是在学术研究还是商业应用中都能发挥重要作用。"
使用场景示例：
用户可以通过PromptFix去除照片中的模糊，提升图片质量。
在风景照片中注入更多色彩，使场景更加生动。
从照片中移除不需要的物体或人物，如去除照片中的印章或排除左侧的人物。
产品特色：
构建大规模指令遵循数据集，覆盖低级任务、图像编辑和对象创建。
提出高频引导采样方法，控制去噪过程，保留未处理区域的高频细节。
设计辅助提示适配器，利用视觉语言模型增强文本提示，提升任务泛化能力。
在多种图像处理任务中表现优异，包括图像去模糊、色彩增强、物体移除等。
实现与基线模型相当的推理效率，并在盲恢复和组合任务中展现优越的零样本能力。
使用教程：
1. 访问PromptFix网站并了解产品概述。
2. 根据需要的图像处理任务，选择相应的指令。
3. 上传需要处理的图片到PromptFix平台。
4. 输入具体的处理指令，如‘去除模糊’或‘增强色彩’。
5. PromptFix将根据指令对图片进行处理。
6. 查看处理后的图片，并根据需要进行进一步的编辑或下载。
7. 如果需要，可以利用高频引导采样方法对细节进行更精细的控制。
浏览量：64
根据人类指令修复和编辑照片的框架
PromptFix是一个综合框架，能够使扩散模型遵循人类指令执行各种图像处理任务。该框架通过构建大规模的指令遵循数据集，提出了高频引导采样方法来控制去噪过程，并设计了辅助提示适配器，利用视觉语言模型增强文本提示，提高模型的任务泛化能力。PromptFix在多种图像处理任务中表现优于先前的方法，并在盲恢复和组合任务中展现出优越的零样本能力。
基于扩散模型的高保真服装重建虚拟试穿技术
TryOffDiff是一种基于扩散模型的高保真服装重建技术，用于从穿着个体的单张照片中生成标准化的服装图像。这项技术与传统的虚拟试穿不同，它旨在提取规范的服装图像，这在捕捉服装形状、纹理和复杂图案方面提出了独特的挑战。TryOffDiff通过使用Stable Diffusion和基于SigLIP的视觉条件来确保高保真度和细节保留。该技术在VITON-HD数据集上的实验表明，其方法优于基于姿态转移和虚拟试穿的基线方法，并且需要较少的预处理和后处理步骤。TryOffDiff不仅能够提升电子商务产品图像的质量，还能推进生成模型的评估，并激发未来在高保真重建方面的工作。
视频扩散模型，用于虚拟试穿。
Fashion-VDM是一个视频扩散模型（VDM），用于生成虚拟试穿视频。该模型接受一件衣物图片和人物视频作为输入，旨在生成人物穿着给定衣物的高质量试穿视频，同时保留人物的身份和动作。与传统的基于图像的虚拟试穿相比，Fashion-VDM在衣物细节和时间一致性方面表现出色。该技术的主要优点包括：扩散式架构、分类器自由引导增强控制、单次64帧512px视频生成的渐进式时间训练策略，以及联合图像-视频训练的有效性。Fashion-VDM在视频虚拟试穿领域树立了新的行业标准。
从多视角图像创建3D场景
CAT3D是一个利用多视角扩散模型从任意数量的输入图像生成新视角的3D场景的网站。它通过一个强大的3D重建管道，将生成的视图转化为可交互渲染的3D表示。整个处理时间（包括视图生成和3D重建）仅需一分钟。
一种通过计数事实数据集和自举监督实现真实物体删除和插入的方法
ObjectDrop是一种监督方法,旨在实现照片级真实的物体删除和插入。它利用了一个计数事实数据集和自助监督技术。主要功能是可以从图像中移除物体及其对场景产生的影响(如遮挡、阴影和反射),也能够将物体以极其逼真的方式插入图像。它通过在一个小型的专门捕获的数据集上微调扩散模型来实现物体删除,而对于物体插入,它采用自助监督方式利用删除模型合成大规模的计数事实数据集,在此数据集上训练后再微调到真实数据集,从而获得高质量的插入模型。相比之前的方法,ObjectDrop在物体删除和插入的真实性上有了显著提升。
多模态视觉语言模型
MouSi是一种多模态视觉语言模型，旨在解决当前大型视觉语言模型（VLMs）面临的挑战。它采用集成专家技术，将个体视觉编码器的能力进行协同，包括图像文本匹配、OCR、图像分割等。该模型引入融合网络来统一处理来自不同视觉专家的输出，并在图像编码器和预训练LLMs之间弥合差距。此外，MouSi还探索了不同的位置编码方案，以有效解决位置编码浪费和长度限制的问题。实验结果表明，具有多个专家的VLMs表现出比孤立的视觉编码器更出色的性能，并随着整合更多专家而获得显著的性能提升。
加速视频扩散模型，生成速度提升 8.5 倍。
AccVideo 是一种新颖的高效蒸馏方法，通过合成数据集加速视频扩散模型的推理速度。该模型能够在生成视频时实现 8.5 倍的速度提升，同时保持相似的性能。它使用预训练的视频扩散模型生成多条有效去噪轨迹，从而优化了数据的使用和生成过程。AccVideo 特别适用于需要高效视频生成的场景，如电影制作、游戏开发等，适合研究人员和开发者使用。
生成高质量 SVG 代码的基础模型。
StarVector 是一个先进的生成模型，旨在将图像和文本指令转化为高质量的可缩放矢量图形（SVG）代码。其主要优点在于能够处理复杂的 SVG 元素，并在各种图形风格和复杂性上表现出色。作为开放源代码资源，StarVector 推动了图形设计的创新和效率，适用于设计、插图和技术文档等多种应用场景。
实现灵活且高保真度的图像生成，同时保持身份特征。
InfiniteYou（InfU）是一个基于扩散变换器的强大框架，旨在实现灵活的图像重构，并保持用户身份。它通过引入身份特征并采用多阶段训练策略，显著提升了图像生成的质量和美学，同时改善了文本与图像的对齐。该技术对提高图像生成的相似性和美观性具有重要意义，适用于各种图像生成任务。
一种无混叠的任意尺度超分辨率方法。
Thera 是一种先进的超分辨率技术，能够在不同尺度下生成高质量图像。其主要优点在于内置物理观察模型，有效避免了混叠现象。该技术由 ETH Zurich 的研究团队开发，适用于图像增强和计算机视觉领域，尤其在遥感和摄影测量中具有广泛应用。
一款免费在线的AI工具，可快速去除照片和视频中的水印。
AI Watermark Remover 是一款基于人工智能技术的在线工具，专注于快速去除照片和视频中的水印。它利用先进的AI算法，能够精准识别并去除水印，无需复杂的编辑技能。该工具的主要优点是免费、高效且易于使用，适合需要快速清理图片和视频的用户。产品定位为简单易用的在线工具，旨在帮助用户快速恢复图片和视频的原始质量，同时保护用户隐私，不存储任何数据。
一款强大的在线AI图像生成与编辑工具，提供多种图像处理功能。
Picture AI 是一个基于人工智能的在线图像生成和编辑平台，它利用先进的AI技术帮助用户轻松创建和优化图像。该平台的主要优点是操作简单、功能多样且完全在线，无需下载或安装任何软件。它适用于各种用户，包括设计师、摄影师、普通用户等，能够满足从创意设计到日常图像处理的多种需求。目前该平台提供免费试用，用户可以根据自己的需求选择不同的功能和服务。
通过多实例扩散模型将单张图像生成高保真度的3D场景。
MIDI是一种创新的图像到3D场景生成技术，它利用多实例扩散模型，能够从单张图像中直接生成具有准确空间关系的多个3D实例。该技术的核心在于其多实例注意力机制，能够有效捕捉物体间的交互和空间一致性，无需复杂的多步骤处理。MIDI在图像到场景生成领域表现出色，适用于合成数据、真实场景数据以及由文本到图像扩散模型生成的风格化场景图像。其主要优点包括高效性、高保真度和强大的泛化能力。
通过扩散模型实现单目视频的相机轨迹重定向。
TrajectoryCrafter 是一种先进的相机轨迹重定向工具，利用扩散模型技术，将单目视频中的相机运动重新设计，提升视频的表现力和视觉吸引力。该技术可广泛应用于影视制作和虚拟现实等领域，具备高效、便捷和创新的特点，旨在为用户提供更多创意自由和控制能力。
Inception Labs 推出新一代扩散式大语言模型，提供极速、高效和高质量的语言生成能力。
Inception Labs 是一家专注于开发扩散式大语言模型（dLLMs）的公司。其技术灵感来源于先进的图像和视频生成系统，如 Midjourney 和 Sora。通过扩散模型，Inception Labs 提供了比传统自回归模型快 5-10 倍的速度、更高的效率和更强的生成控制能力。其模型支持并行文本生成，能够纠正错误和幻觉，适合多模态任务，并且在推理和结构化数据生成方面表现出色。公司由斯坦福、UCLA 和康奈尔大学的研究人员和工程师组成，是扩散模型领域的先驱。
HunyuanVideo-I2V 是腾讯推出的基于 HunyuanVideo 的图像到视频生成框架。
HunyuanVideo-I2V 是腾讯开源的图像到视频生成模型，基于 HunyuanVideo 架构开发。该模型通过图像潜在拼接技术，将参考图像信息有效整合到视频生成过程中，支持高分辨率视频生成，并提供可定制的 LoRA 效果训练功能。该技术在视频创作领域具有重要意义，能够帮助创作者快速生成高质量的视频内容，提升创作效率。
8亿参数的多语言视觉语言模型，支持OCR、图像描述、视觉推理等功能
CohereForAI的Aya Vision 8B是一个8亿参数的多语言视觉语言模型，专为多种视觉语言任务优化，支持OCR、图像描述、视觉推理、总结、问答等功能。该模型基于C4AI Command R7B语言模型，结合SigLIP2视觉编码器，支持23种语言，具有16K上下文长度。其主要优点包括多语言支持、强大的视觉理解能力以及广泛的适用场景。该模型以开源权重形式发布，旨在推动全球研究社区的发展。根据CC-BY-NC许可协议，用户需遵守C4AI的可接受使用政策。
Project Starlight 是一款基于 AI 的视频增强工具，可将低分辨率和损坏的视频提升为高清质量。
Project Starlight 是 Topaz Labs 推出的一款 AI 视频增强模型，专为提升低分辨率和损坏视频的质量而设计。它采用了扩散模型技术，能够实现视频的超分辨率、降噪、去模糊和锐化等功能，同时保持时间一致性，确保视频帧之间的流畅过渡。该技术是视频增强领域的重大突破，为视频修复和提升带来了前所未有的高质量效果。目前，Project Starlight 提供免费试用，并计划在未来支持 4K 导出，主要面向需要高质量视频修复和增强的用户和企业。
UniTok是一个用于视觉生成和理解的统一视觉分词器。
UniTok是一种创新的视觉分词技术，旨在弥合视觉生成和理解之间的差距。它通过多码本量化技术，显著提升了离散分词器的表示能力，使其能够捕捉到更丰富的视觉细节和语义信息。这一技术突破了传统分词器在训练过程中的瓶颈，为视觉生成和理解任务提供了一种高效且统一的解决方案。UniTok在图像生成和理解任务中表现出色，例如在ImageNet上实现了显著的零样本准确率提升。该技术的主要优点包括高效性、灵活性以及对多模态任务的强大支持，为视觉生成和理解领域带来了新的可能性。
Mercury Coder 是一款基于扩散模型的高性能代码生成语言模型。
Mercury Coder 是 Inception Labs 推出的首款商用级扩散大语言模型（dLLM），专为代码生成优化。该模型采用扩散模型技术，通过‘粗到细’的生成方式，显著提升生成速度和质量。其速度比传统自回归语言模型快 5-10 倍，能够在 NVIDIA H100 硬件上达到每秒 1000 多个 token 的生成速度，同时保持高质量的代码生成能力。该技术的背景是当前自回归语言模型在生成速度和推理成本上的瓶颈，而 Mercury Coder 通过算法优化突破了这一限制，为企业级应用提供了更高效、低成本的解决方案。
VideoGrain 是一种零样本方法，用于实现类别级、实例级和部件级的视频编辑。
VideoGrain 是一种基于扩散模型的视频编辑技术，通过调节时空注意力机制实现多粒度视频编辑。该技术解决了传统方法中语义对齐和特征耦合的问题，能够对视频内容进行精细控制。其主要优点包括零样本编辑能力、高效的文本到区域控制以及特征分离能力。该技术适用于需要对视频进行复杂编辑的场景，如影视后期、广告制作等，能够显著提升编辑效率和质量。
olmOCR-7B-0225-preview 是一个基于 Qwen2-VL-7B-Instruct 微调的文档图像识别模型，用于高效转换文档为纯文本。
olmOCR-7B-0225-preview 是由 Allen Institute for AI 开发的先进文档识别模型，旨在通过高效的图像处理和文本生成技术，将文档图像快速转换为可编辑的纯文本。该模型基于 Qwen2-VL-7B-Instruct 微调，结合了强大的视觉和语言处理能力，适用于大规模文档处理任务。其主要优点包括高效处理能力、高精度文本识别以及灵活的提示生成方式。该模型适用于研究和教育用途，遵循 Apache 2.0 许可证，强调负责任的使用。
SigLIP2 是谷歌推出的一种多语言视觉语言编码器，用于零样本图像分类。
SigLIP2 是谷歌开发的多语言视觉语言编码器，具有改进的语义理解、定位和密集特征。它支持零样本图像分类，能够通过文本描述直接对图像进行分类，无需额外训练。该模型在多语言场景下表现出色，适用于多种视觉语言任务。其主要优点包括高效的语言图像对齐能力、支持多种分辨率和动态分辨率调整，以及强大的跨语言泛化能力。SigLIP2 的推出为多语言视觉任务提供了新的解决方案，尤其适合需要快速部署和多语言支持的场景。
VLM-R1 是一个稳定且通用的强化视觉语言模型，专注于视觉理解任务。
VLM-R1 是一种基于强化学习的视觉语言模型，专注于视觉理解任务，如指代表达理解（Referring Expression Comprehension, REC）。该模型通过结合 R1（Reinforcement Learning）和 SFT（Supervised Fine-Tuning）方法，展示了在领域内和领域外数据上的出色性能。VLM-R1 的主要优点包括其稳定性和泛化能力，使其能够在多种视觉语言任务中表现出色。该模型基于 Qwen2.5-VL 构建，利用了先进的深度学习技术，如闪存注意力机制（Flash Attention 2），以提高计算效率。VLM-R1 旨在为视觉语言任务提供一种高效且可靠的解决方案，适用于需要精确视觉理解的应用场景。
MakeAnything 是一个用于多领域程序化序列生成的扩散变换器模型。
MakeAnything 是一个基于扩散变换器的模型，专注于多领域程序化序列生成。该技术通过结合先进的扩散模型和变换器架构，能够生成高质量的、逐步的创作序列，如绘画、雕塑、图标设计等。其主要优点在于能够处理多种领域的生成任务，并且可以通过少量样本快速适应新领域。该模型由新加坡国立大学 Show Lab 团队开发，目前以开源形式提供，旨在推动多领域生成技术的发展。
VisionAgent是一个用于生成代码以解决视觉任务的库，支持多种LLM提供商。
VisionAgent是一个强大的工具，它利用人工智能和大语言模型（LLM）来生成代码，帮助用户快速解决视觉任务。该工具的主要优点是能够自动将复杂的视觉任务转化为可执行的代码，极大地提高了开发效率。VisionAgent支持多种LLM提供商，用户可以根据自己的需求选择不同的模型。它适用于需要快速开发视觉应用的开发者和企业，能够帮助他们在短时间内实现功能强大的视觉解决方案。VisionAgent目前是免费的，旨在为用户提供高效、便捷的视觉任务处理能力。
Light-A-Video 是一种无需训练的视频重光照技术，通过渐进式光照融合实现平滑的视频重光照效果。
Light-A-Video 是一种创新的视频重光照技术，旨在解决传统视频重光照中存在的光照不一致和闪烁问题。该技术通过 Consistent Light Attention（CLA）模块和 Progressive Light Fusion（PLF）策略，增强了视频帧之间的光照一致性，同时保持了高质量的图像效果。该技术无需额外训练，可以直接应用于现有的视频内容，具有高效性和实用性。它适用于视频编辑、影视制作等领域，能够显著提升视频的视觉效果。
© 2025 AIbase 备案号：闽ICP备08105208号-14