产品库

高效扩展多模态大型语言模型至1000图像

LongLLaVA是一个多模态大型语言模型，通过混合架构高效扩展至1000图像，旨在提升图像处理和理解能力。该模型通过创新的架构设计，实现了在大规模图像数据上的有效学习和推理，对于图像识别、分类和分析等领域具有重要意义。

视频序列理解的GPU实现模型

PPLLaVA是一个高效的视频大型语言模型，它结合了细粒度视觉提示对齐、用户指令的卷积风格池化的视觉令牌压缩以及CLIP上下文扩展。该模型在VideoMME、MVBench、VideoChatGPT Bench和VideoQA Bench等数据集上建立了新的最先进结果，仅使用1024个视觉令牌，吞吐量提高了8倍。

多模态大型语言模型，支持图像和文本处理。

Llama-3.2-11B-Vision 是 Meta 发布的一款多模态大型语言模型（LLMs），它结合了图像和文本处理的能力，旨在提高视觉识别、图像推理、图像描述和回答有关图像的一般问题的性能。该模型在常见的行业基准测试中的表现超过了众多开源和封闭的多模态模型。

前沿级多模态大型语言模型，实现视觉-语言任务的先进性能。

NVLM 1.0是一系列前沿级的多模态大型语言模型（LLMs），在视觉-语言任务上取得了与领先专有模型和开放访问模型相媲美的先进成果。值得注意的是，NVLM 1.0在多模态训练后，其文本性能甚至超过了其LLM主干模型。我们为社区开源了模型权重和代码。

多模态大型语言模型设计空间探索

EAGLE是一个面向视觉中心的高分辨率多模态大型语言模型（LLM）系列，通过混合视觉编码器和不同输入分辨率来加强多模态LLM的感知能力。该模型包含基于通道连接的'CLIP+X'融合，适用于具有不同架构（ViT/ConvNets）和知识（检测/分割/OCR/SSL）的视觉专家。EAGLE模型家族支持超过1K的输入分辨率，并在多模态LLM基准测试中取得了优异的成绩，特别是在对分辨率敏感的任务上，如光学字符识别和文档理解。

视频理解与推理的免训练大型语言模型。

SlowFast-LLaVA是一个无需训练的多模态大型语言模型，专为视频理解和推理设计。它无需在任何数据上进行微调，就能在多种视频问答任务和基准测试中达到与最先进视频大型语言模型相当甚至更好的性能。

一种用于扩展多模态大型语言模型（LLMs）的先进架构。

CuMo是一种多模态大型语言模型（LLMs）的扩展架构，它通过在视觉编码器和MLP连接器中融入稀疏的Top-K门控专家混合（MoE）块，提高了模型的可扩展性，同时在推理时几乎不增加激活参数。CuMo在预训练MLP块后，初始化MoE块中的每个专家，并在视觉指令调整阶段使用辅助损失以确保专家的均衡负载。CuMo在各种VQA和视觉指令遵循基准测试中超越了其他同类模型，且完全基于开源数据集进行训练。

基于大规模视觉-语言模型的专家混合模型

MoE-LLaVA是一种基于大规模视觉-语言模型的专家混合模型，展现出在多模态学习中出色的性能。其具有较少的参数，但表现出较高的性能，并且可以在短时间内完成训练。该模型支持Gradio Web UI和CLI推理，并提供模型库、需求和安装、训练和验证、自定义、可视化、API等功能。

视觉语言模型，能够进行逐步推理

LLaVA-o1是北京大学元组团队开发的一个视觉语言模型，它能够进行自发的、系统的推理，类似于GPT-o1。该模型在六个具有挑战性的多模态基准测试中超越了其他模型，包括Gemini-1.5-pro、GPT-4o-mini和Llama-3.2-90B-Vision-Instruct。LLaVA-o1通过逐步推理解决问题，展示了其在视觉语言模型中的独特优势。

123B参数的大型语言模型，具备先进推理和编码能力。

Mistral-Large-Instruct-2411是由Mistral AI提供的一款具有123B参数的大型语言模型，它在推理、知识、编码等方面具有最先进的能力。该模型支持多种语言，并在80多种编程语言上进行了训练，包括但不限于Python、Java、C、C++等。它以代理为中心，具备原生函数调用和JSON输出能力，是进行科研和开发的理想选择。

Qwen2.5-Coder系列的1.5B参数指令调优模型

Qwen2.5-Coder是Qwen大型语言模型的最新系列，专为代码生成、代码推理和代码修复而设计。基于强大的Qwen2.5，通过增加训练令牌至5.5万亿，包括源代码、文本代码基础、合成数据等，Qwen2.5-Coder-32B已成为当前最先进的开源代码大型语言模型，其编码能力与GPT-4o相匹配。此模型是1.5B参数的指令调优版本，采用GGUF格式，具有因果语言模型、预训练和后训练阶段、transformers架构等特点。

Photoshop与SD/SDForge/ComfyUI之间的通信插件

sd-ppp是一个允许用户在Adobe Photoshop和各种Stable Diffusion界面（如SD/SDForge/ComfyUI）之间进行通信的插件。它支持多层操作，包括文本层和图像层，能够处理多个文档和多个Photoshop实例，并允许用户在文档的特定区域工作。该插件对于设计师和艺术家来说是一个强大的工具，因为它可以简化工作流程，提高创作效率，并允许他们利用Stable Diffusion的强大功能来增强他们的设计和艺术作品。

数据驱动的框架，增强大型语言模型的工作流编排能力

WorkflowLLM是一个以数据为中心的框架，旨在增强大型语言模型（LLMs）在工作流编排方面的能力。核心是WorkflowBench，这是一个大规模的监督式微调数据集，包含来自83个应用、28个类别的1503个API的106763个样本。WorkflowLLM通过微调Llama-3.1-8B模型，创建了专门针对工作流编排任务优化的WorkflowLlama模型。实验结果表明，WorkflowLlama在编排复杂工作流方面表现出色，并且能够很好地泛化到未见过的API。

124B参数的多模态大型语言模型

Pixtral-Large-Instruct-2411是由Mistral AI研发的124B参数的大型多模态模型，基于Mistral Large 2构建，展现出前沿级别的图像理解能力。该模型不仅能够理解文档、图表和自然图像，同时保持了Mistral Large 2在文本理解方面的领先地位。它在MathVista、DocVQA、VQAv2等数据集上达到了最先进的性能，是科研和商业应用的强大工具。

AI技术预览纹身去除效果，辅助决策

AI Tattoo Removal是一个利用人工智能技术展示纹身去除效果的先进工具。它提供了多种可视化选项和用户友好的界面，适用于考虑纹身去除的个人和专业纹身去除专家。该平台使用尖端的机器学习算法分析并展示纹身去除进度，用户可以查看不同的去除阶段、结果和治疗方案，以更好地理解去除过程。产品的主要优点包括即时可视化、个性化体验和免费的基础功能，同时提供高级功能订阅服务。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-70b是一个基于预训练的Llama3.1-70B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊伪标记<|audio|>将输入音频转换为嵌入，并与文本提示合并后生成输出文本。Ultravox的开发旨在扩展语音识别和文本生成的应用场景，如语音代理、语音到语音翻译和口语音频分析等。该模型遵循MIT许可，由Fixie.ai开发。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-8b是一个基于预训练的Llama3.1-8B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊的<|audio|>伪标记将输入音频转换为嵌入，并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记，进而可以用于声码器产生语音输出。该模型在翻译评估中表现出色，且没有偏好调整，适用于语音代理、语音到语音翻译、语音分析等场景。

人脸匿名化技术，保留关键细节同时有效保护隐私。

face_anon_simple是一个人脸匿名化技术，旨在通过先进的算法在保护个人隐私的同时保留原始照片中的面部表情、头部姿势、眼神方向和背景元素。这项技术对于需要发布包含人脸的图片但又希望保护个人隐私的场合非常有用，比如在新闻报道、社交媒体和安全监控等领域。产品基于开源代码，允许用户自行部署和使用，具有很高的灵活性和应用价值。

图像水印技术，可在图片中嵌入局部化水印信息

Watermark Anything是一个由Facebook Research开发的图像水印技术，它允许在图片中嵌入一个或多个局部化水印信息。这项技术的重要性在于它能够在保证图像质量的同时，实现对图像内容的版权保护和追踪。该技术背景是基于深度学习和图像处理的研究，主要优点包括高鲁棒性、隐蔽性和灵活性。产品定位为研究和开发用途，目前是免费提供给学术界和开发者使用。

视频扩散模型，用于虚拟试穿。

Fashion-VDM是一个视频扩散模型（VDM），用于生成虚拟试穿视频。该模型接受一件衣物图片和人物视频作为输入，旨在生成人物穿着给定衣物的高质量试穿视频，同时保留人物的身份和动作。与传统的基于图像的虚拟试穿相比，Fashion-VDM在衣物细节和时间一致性方面表现出色。该技术的主要优点包括：扩散式架构、分类器自由引导增强控制、单次64帧512px视频生成的渐进式时间训练策略，以及联合图像-视频训练的有效性。Fashion-VDM在视频虚拟试穿领域树立了新的行业标准。

Hermes系列的最新版大型语言模型

Hermes 3是Nous Research公司推出的Hermes系列最新版大型语言模型（LLM），相较于Hermes 2，它在代理能力、角色扮演、推理、多轮对话、长文本连贯性等方面都有显著提升。Hermes系列模型的核心理念是将LLM与用户对齐，赋予终端用户强大的引导能力和控制权。Hermes 3在Hermes 2的基础上，进一步增强了功能调用和结构化输出能力，提升了通用助手能力和代码生成技能。

Nous Research推出的首款无限制AI聊天机器人

Nous Chat是AI研究组织Nous Research推出的首款面向用户的聊天机器人，它提供了对大型语言模型Hermes 3-70B的访问权限。Hermes 3-70B是Meta的Llama 3.1的一个变体，经过微调后，以ChatGPT等流行AI聊天工具的形式提供服务。该聊天机器人以其复古的设计语言和早期PC终端的字体和字符为特色，提供暗色和亮色模式供用户选择。尽管Nous Chat旨在允许用户部署和控制自己的AI模型，但它实际上设置了一些防护措施，包括禁止制造非法药物。此外，该模型的知识截止日期为2023年4月，因此在获取最新事件方面可能不如其他竞争对手有用。尽管如此，Nous Chat是一个有趣的实验，随着新功能的添加，它可能成为企业聊天机器人和AI模型的一个有吸引力的替代品。

跨平台通信协议，使不同的大型语言模型（LLMs）能够高效沟通。

Agora是一个简单的跨平台协议，允许异构的大型语言模型（LLMs）通过谈判高效地相互通信。该协议通过自然语言进行罕见通信，并为频繁通信协商出一种通信协议，通常涉及结构化数据（例如JSON）。一旦协议确定，它们将使用LLMs实现例程，即简单的脚本（例如Python），用于发送或接收数据。未来通信将使用这些例程处理，这意味着不再需要LLMs，从而实现了效率、多功能性和可移植性。

基于GIMM-VFI的ComfyUI帧插值工具

ComfyUI-GIMM-VFI是一个基于GIMM-VFI算法的帧插值工具，使用户能够在图像和视频处理中实现高质量的帧插值效果。该技术通过在连续帧之间插入新的帧来提高视频的帧率，从而使得动作看起来更加流畅。这对于视频游戏、电影后期制作和其他需要高帧率视频的应用场景尤为重要。产品背景信息显示，它是基于Python开发的，并且依赖于CuPy库，特别适用于需要进行高性能计算的场景。

简单易用，释放AI的强大力量

5ire是一个以简洁和用户友好为核心的AI产品，旨在让即使是初学者也能轻松利用大型语言模型。它支持多种文档格式的解析和向量化，具备本地知识库、使用分析、提示库、书签和快速关键词搜索等功能。作为一个开源项目，5ire提供免费下载，并且提供了按需付费的大型语言模型API服务。

使用AI将您的面部照片变成面部贴纸

Face Sticker AI是一个AI驱动的面部贴纸工具，它通过添加文本提示将用户的面部图像转换成奇妙的面部贴纸图像。该产品利用先进的面部识别技术和自然语言处理技术，确保生成的贴纸与原始图像高度相似，同时保持高清图像质量。Face Sticker AI不仅支持真人照片，还支持动画角色照片，满足用户个性化表达和创造的需求。产品背景信息显示，Face Sticker AI旨在提供一个简单易用的平台，让用户能够以前所未有的方式探索和创造面部贴纸，释放创造力。产品定价分为Base、Standard和Pro三个等级，用户可以根据自己的需求选择合适的计划购买积分。

O1复制之旅：战略进展报告第一部分

O1-Journey是由上海交通大学GAIR研究组发起的一个项目，旨在复制和重新想象OpenAI的O1模型的能力。该项目提出了“旅程学习”的新训练范式，并构建了首个成功整合搜索和学习在数学推理中的模型。这个模型通过试错、纠正、回溯和反思等过程，成为处理复杂推理任务的有效方法。

利用Claude 3.5 Sonnet Vision API进行图像中物体检测和可视化的强大Python工具

Claude Vision Object Detection是一个基于Python的工具，它利用Claude 3.5 Sonnet Vision API来检测图像中的物体并进行可视化。该工具能够自动在检测到的物体周围绘制边界框，对它们进行标记，并显示置信度分数。它支持处理单张图片或整个目录中的图片，并且具有高精度的置信度分数，为每个检测到的物体使用鲜艳且不同的颜色。此外，它还能保存带有检测结果的注释图片。

基于Llama-3-8B的多模态大型语言模型，专注于UI任务。

Ferret-UI是首个以用户界面为中心的多模态大型语言模型（MLLM），专为指代表达、定位和推理任务设计。它基于Gemma-2B和Llama-3-8B构建，能够执行复杂的用户界面任务。这个版本遵循了Apple的研究论文，是一个强大的工具，可以用于图像文本到文本的任务，并且在对话和文本生成方面具有优势。

Agent S：一个开放的代理框架，让计算机像人类一样使用计算机。

Agent S是一个开放的代理框架，旨在通过图形用户界面(GUI)实现与计算机的自主交互，通过自动化复杂多步骤任务来转变人机交互。它引入了经验增强的分层规划方法，利用在线网络知识和叙事记忆，从过去的交互中提取高级经验，将复杂任务分解为可管理的子任务，并使用情景记忆进行逐步指导，Agent S不断优化其行动并从经验中学习，实现适应性强且有效的任务规划。Agent S在OSWorld基准测试中的表现超过了基线9.37%的成功率（相对提高了83.6%），并在WindowsAgentArena基准测试中展示了广泛的通用性。