产品库

基于llama3 8B的SOTA视觉模型

llama3v是一个基于Llama3 8B和siglip-so400m的SOTA（State of the Art，即最先进技术）视觉模型。它是一个开源的VLLM（视觉语言多模态学习模型），在Huggingface上提供模型权重，支持快速本地推理，并发布了推理代码。该模型结合了图像识别和文本生成，通过添加投影层将图像特征映射到LLaMA嵌入空间，以提高模型对图像的理解能力。

一款由XTuner优化的LLaVA模型，结合了图像和文本处理能力。

llava-llama-3-8b-v1_1是一个由XTuner优化的LLaVA模型，它基于meta-llama/Meta-Llama-3-8B-Instruct和CLIP-ViT-Large-patch14-336，并通过ShareGPT4V-PT和InternVL-SFT进行了微调。该模型专为图像和文本的结合处理而设计，具有强大的多模态学习能力，适用于各种下游部署和评估工具包。

SceneScript：通过Reality Labs研究实现3D场景重建

SceneScript是Reality Labs研究团队开发的一种新型3D场景重建技术。该技术利用AI来理解和重建复杂的3D场景，能够从单张图片中创建详细的3D模型。SceneScript通过结合多种先进的深度学习技术，如半监督学习、自监督学习和多模态学习，显著提高了3D重建的准确性和效率。

基于大规模视觉-语言模型的专家混合模型

MoE-LLaVA是一种基于大规模视觉-语言模型的专家混合模型，展现出在多模态学习中出色的性能。其具有较少的参数，但表现出较高的性能，并且可以在短时间内完成训练。该模型支持Gradio Web UI和CLI推理，并提供模型库、需求和安装、训练和验证、自定义、可视化、API等功能。

用于生成图像与语言的多模态模型

MiniGPT-5是一个基于生成式vokens的交错式视觉语言生成技术,能够同时生成文字叙述和相关的图像。它采用两阶段训练策略,第一阶段进行无描述的多模态生成训练,第二阶段进行多模态学习。该模型在多模态对话生成任务上取得了良好效果。

安博思公司开发的40亿参数通用式生成世界模型

GAIA-1是一种具有90亿参数的通用式生成世界模型,专为自动驾驶而设计。它可以通过视频、文本和动作输入生成逼真的驾驶场景视频,并可以精细控制自己车辆的行为以及场景中的特征。GAIA-1利用多模态学习方法,可以生成丰富多样的驾驶场景,增强自动驾驶系统的学习和解释能力。它的关键功能包括:基于视频、文本和动作的生成能力、可控性高、支持长时间生成、可扩展等。GAIA-1可用于自动驾驶研究、仿真、数据增强等多种应用场景。它代表了生成式AI在自动驾驶领域的先进探索,为创新提供了无限可能。

ComfyUI 的 IPAdapter 模型参考实现

这是一个 ComfyUI 的 IPAdapter 模型参考实现。IPAdapter 是一种非常强大的模型,用于基于一个或多个参考图像进行图像到图像的条件生成。通过文本提示、控制网络和掩码,您可以生成增强图像的变体。可以将其视为单张图像的 Lora。该实现代码内存高效、运行快速,并且不会因 Comfy 更新而中断。作为开源项目,开发者欢迎捐赠以支持项目维护和新功能开发。

大规模代码生成预训练模型

StarCoder2是一个1500亿参数的Transformer模型,在包括GitHub在内的600多种编程语言数据集上进行了预训练,使用了Grouped Query Attention等技术。该模型可用于代码生成任务,支持多种编程语言。

开放式基于提示的图像生成

GLIGEN是一个开放式的基于文本提示的图像生成模型,它可以基于文本描述和边界框等限定条件生成图像。该模型通过冻结预训练好的文本到图像Diffusion模型的参数,并在其中插入新的数据来实现。这种模块化设计可以高效地进行训练,并具有很强的推理灵活性。GLIGEN可以支持开放世界的有条件图像生成,对新出现的概念和布局也具有很强的泛化能力。

Lepton是一个开源的语言模型搜索平台

Lepton是一个开源的自然语言处理平台,提供语言理解、生成和推理能力。它采用Transformer模型架构,能够进行多轮对话、问答、文本生成等任务。Lepton具有高效、可扩展的特点,可以在多个领域部署使用。

基于Transformer的通用领域文本到图像生成

CogView是一个用于通用领域文本到图像生成的预训练Transformer模型。该模型包含410亿参数,能够生成高质量、多样化的图像。模型的训练思路采用抽象到具体的方式,先 pretrain 获得通用知识,然后 finetune 在特定域生成图像,能显著提升生成质量。值得一提的是,论文还提出了两种帮助大模型稳定训练的技巧:PB-relax 和 Sandwich-LN。

SCEdit是一个高效和可控制的图像扩散生成框架

SCEdit是一个由阿里巴巴提出的高效的生成模型精调框架。该框架增强了下游文本到图像生成任务的精调能力,并实现了对特定生成场景的快速适配,相比LoRA可以节省30%-50%的训练内存成本。此外,它可以直接扩展到可控图像生成任务,只需要ControlNet条件生成所需参数量的7.9%,并可以节省30%的内存使用。它支持各种条件生成任务,包括边缘图、深度图、分割图、姿态、色彩图以及图像补全等。

人工智能健身指导

BodyCompAI是一个利用人工智能算法分析身体组成并提供个性化营养和训练计划的在线健身平台。用户只需上传一张照片,BodyCompAI就可以分析肌肉质量、体脂率等指标,并根据目标和身体条件生成定制的健身方案。主要功能包括AI身体分析、针对性营养建议、动态调整的训练计划等。适合各类健身爱好者,帮助更有效达成目标。

基于感知损失的扩散模型

该论文介绍了一种基于感知损失的扩散模型，通过将感知损失直接纳入扩散训练中来提高样本质量。对于有条件生成，该方法仅改善样本质量而不会影响条件输入，因此不会牺牲样本多样性。对于无条件生成，这种方法也能提高样本质量。论文详细介绍了方法的原理和实验结果。

将简单涂鸦转换为详细图像的免费在线AI图像生成器

Ai Drawing Generator是一款免费在线AI图像生成器，可以将您的简单涂鸦转换为详细图像。通过使用先进的神经网络结构，它能够根据您提供的条件生成逼真的图像。该工具可用于创意、教育和其他用途。

视频生成、预测和插值的通用模型

MCVD是一种用于视频生成、预测和插值的通用模型，使用基于分数的扩散损失函数生成新颖的帧，通过将高斯噪声注入当前帧并对过去和/或未来帧进行条件去噪，通过随机屏蔽过去和/或未来帧进行训练，实现无条件生成、未来预测、过去重建和插值四种情况的处理。该模型使用2D卷积U-Net，通过串联或时空自适应归一化对过去和未来帧进行条件处理，产生高质量和多样化的视频样本，使用1-4个GPU进行训练，能够扩展到更多通道。MCVD是一种简单的非递归2D卷积架构，能够生成任意长度的视频样本，具有SOTA的结果。

生成高保真音乐的文本到音频模型

MusicLM是一个模型，可以根据文本描述生成高保真音乐。它可以生成24kHz的音频，音乐风格和文本描述一致，并支持根据旋律进行条件生成。通过使用MusicCaps数据集，模型在音频质量和与文本描述的一致性方面优于之前的系统。MusicLM可以应用于不同的场景，如生成音乐片段、根据画作描述生成音乐等。

生成视频的模型，根据文本生成真实感视频。

Phenaki是一个可以根据一系列文本提示生成逼真视频的模型。它通过将视频压缩为离散令牌的小表示来学习视频表达。模型使用时间上的因果注意力来生成视频令牌，并根据预先计算的文本令牌来条件生成视频。与之前的视频生成方法相比，Phenaki可以根据一系列提示（例如时间可变的文本或故事）生成任意长的视频。它的定位是在开放领域中生成视频。该模型还具有超出现有视频数据集范围的泛化能力。为了更好地满足用户需求，Phenaki还提供了交互式示例和其他应用场景。

一键去除背景，智能抠图工具。

美间美盒是一款 AI 智能在线抠图工具，通过一键去除背景功能，用户可以轻松获得高质量透明图像，无需复杂的 Photoshop 基础，简单快捷。该工具的主要优点在于精准的发丝级抠图，支持多种图片格式和尺寸，帮助用户快速完成抠图任务。

Comate 是百度研发的编程辅助工具，提供自动代码生成、单元测试生成、注释生成等能力。

Comate 是基于文心大模型研发的编程辅助工具，支持上百种编程语言，提供自动代码生成、单元测试生成、注释生成、研发智能问答等能力。该工具的主要优点在于提高编程效率、减少重复性劳动，以及提供智能的编程辅助功能。

实时视频生成技术

PAB 是一种用于实时视频生成的技术，通过 Pyramid Attention Broadcast 实现视频生成过程的加速，提供了高效的视频生成解决方案。该技术的主要优点包括实时性、高效性和质量保障。PAB 适用于需要实时视频生成能力的应用场景，为视频生成领域带来了重大突破。

根据照片匹配古诗词 生成分享卡片

诗境主要功能就是根据用户上传的图片分析主体和意境，匹配诗句，最终生成漂亮的卡片。不知道你们有没有遇到过，就是拍了一幅很美的照片，想吟诗一首再发个朋友圈，奈何文化程度有限，往往想半天最后配了段大白话。这时候诗境就能派上用场，把图片喂给她，让她给你配个最符合当前画面意境的诗。

基于 GPT-4 的代码审查模型

CriticGPT 是基于 GPT-4 模型开发的工具，旨在帮助人类审查 ChatGPT 的代码输出。通过识别错误并提供评论，提高训练师审查的准确性和效率。该工具能有效捕捉潜在问题，为 AI 模型的改进提供有力支持。

由 AI 和 .NET 驱动的智能桌面应用

小幻助理是一款基于 AI 和 .NET 技术的智能桌面应用，支持主流 AI 服务和开源模型，用户可以调用各种服务进行组合，轻松构建属于自己的助理工作流，让用户更加高效便捷地完成工作。

AuraSR 是基于 GAN 的超分辨率图像处理模型，可用于提升生成图像的质量。

AuraSR 是基于 GAN 的 Super-Resolution 模型，通过图像条件化增强技术，提升生成图像的质量。该模型采用 GigaGAN 论文的变体实现，并使用 Torch 框架。AuraSR 的优势在于能够有效提高图像的分辨率和质量，适用于图像处理领域。

AI辅助的设计工具，快速创建完美应用界面。

Pixelmost是一个AI辅助的应用设计工具，专为初创公司、设计师和公司提供服务。它利用先进的人工智能技术，通过用户输入的提示生成设计，提供预设计的组件和模板，支持在不同设备框架中预览和测试设计，实现快速、高效的应用界面设计。产品支持iOS、iPad和Android平台，具有云端存储和iCloud同步功能，方便用户随时随地进行设计工作。

RAG-based LLM agents的Elo排名工具

RAGElo是一个工具集，使用Elo评分系统帮助选择最佳的基于检索增强生成（RAG）的大型语言模型（LLM）代理。随着生成性LLM在生产中的原型设计和整合变得更加容易，评估仍然是解决方案中最具有挑战性的部分。RAGElo通过比较不同RAG管道和提示对多个问题的答案，计算不同设置的排名，提供了一个良好的概览，了解哪些设置有效，哪些无效。

一个判断文风的趣味测试工具

「测测你写得像谁」testurtext.site是一个通过分析文本来识别不同作家文风的在线工具。它利用先进的算法和人工智能技术，帮助用户了解文本的写作风格，并与著名作家的风格进行比较。这个文风测试工具不仅具有娱乐性，还能为写作爱好者提供灵感和学习的机会。

AI驱动的演示平台，提供人性化交互体验。

DemoDazzle是一个利用OpenAI高级语言模型的AI驱动演示平台，旨在自动化各种产品和服务的演示和引导过程。该平台通过创建定制化的虚拟形象，提供实时的AI会话和问题解答，以提升用户体验和满意度。产品的主要优点包括智能化、个性化和高效率。DemoDazzle即将上线，目前处于测试模式。

AI 驱动的创意工具集，激发无限想象。

Glif AI 应用是一个集成了多种 AI 创意工具的平台，用户可以在这里找到和构建各种 AI 驱动的图像生成器、漫画生成器、角色生成器等。这些工具利用最新的 AI 技术，如神经网络，为用户提供了一种全新的创作方式，使得即使是没有专业设计背景的用户也能轻松创作出高质量的图像和艺术作品。