产品库

开源代码生成模型

Code Llama 70B是一个大型开源代码生成语言模型,可以从自然语言提示或现有代码片段生成多种编程语言的代码。它基于175亿参数的通用语言模型Llama 2,经过专门针对代码生成任务的微调,可以高效准确地生成Python、C++、Java等语言的代码。Code Llama 70B在人工评估基准测试中取得了67.8的高分,性能超过了以往的开源模型,可与专利模型媲美。它强大的代码生成能力可以提升编程效率,降低编码门槛,启发更多创新应用。

大型语言模型角色扮演框架

RoleLLM是一个角色扮演框架，用于构建和评估大型语言模型的角色扮演能力。它包括四个阶段：角色概要构建、基于上下文的指令生成、使用GPT进行角色提示和基于角色的指令调整。通过Context-Instruct和RoleGPT，我们创建了RoleBench，这是一个系统化和细粒度的角色级别基准数据集，包含168,093个样本。此外，RoCIT在RoleBench上产生了RoleLLaMA（英语）和RoleGLM（中文），显著提高了角色扮演能力，甚至与使用GPT-4的RoleGPT取得了可比较的结果。

一款高效经济的语言模型，具有强大的专家混合特性。

DeepSeek-V2是一个由236B参数构成的混合专家（MoE）语言模型，它在保持经济训练和高效推理的同时，激活每个token的21B参数。与前代DeepSeek 67B相比，DeepSeek-V2在性能上更强，同时节省了42.5%的训练成本，减少了93.3%的KV缓存，并提升了最大生成吞吐量至5.76倍。该模型在8.1万亿token的高质量语料库上进行了预训练，并通过监督式微调（SFT）和强化学习（RL）进一步优化，使其在标准基准测试和开放式生成评估中表现出色。

用于评估文本到视觉生成的创新性指标和基准测试

Evaluating Text-to-Visual Generation with Image-to-Text Generation提出了一种新的评估指标VQAScore,能够更好地评估复杂的文本到视觉生成效果,并引入了GenAI-Bench基准测试集。VQAScore基于CLIP-FlanT5模型,能够在文本到图像/视频/3D生成评估中取得最佳性能,是一种强大的替代CLIPScore的方案。GenAI-Bench则提供了包含丰富组合语义的实际场景测试文本,可用于全面评估生成模型的性能。

一个用于评估大型视觉语言模型的精英基准测试集

MMStar是一个旨在评估大型视觉语言模型多模态能力的基准测试集。它包含1500个精心挑选的视觉语言样本,涵盖6个核心能力和18个细分维度。每个样本都经过了人工审查,确保具有视觉依赖性,最小化数据泄露,并需要高级多模态能力来解决。除了传统的准确性指标外,MMStar还提出了两个新的指标来衡量数据泄露和多模态训练的实际性能增益。研究人员可以使用MMStar评估视觉语言模型在多个任务上的多模态能力,并借助新的指标发现模型中存在的潜在问题。

构建通用虚拟助手的开源工具套件

AgentStudio是一个开源工具套件,覆盖了构建通用虚拟助手的整个生命周期。它提供了环境实现、基准测试套件、数据收集管道和图形界面,促进通用虚拟助手未来研究的发展。AgentStudio提供了与人类与计算机交互一致的统一观测和行动空间,允许在任何人类执行的任务上评估智能体和收集数据。这一特性极大扩展了潜在任务空间。因此,AgentStudio可以促进开发和评测能够跨越各种真实世界用例的智能体。

通用视觉-语义物体检测，无需任务特定调优

T-Rex2是一种范式突破的物体检测技术,能够识别从日常到深奥的各种物体,无需任务特定调优或大量训练数据集。它将视觉和文本提示相结合,赋予其强大的零射能力,可广泛应用于各种场景的物体检测任务。T-Rex2综合了四个组件:图像编码器、视觉提示编码器、文本提示编码器和框解码器。它遵循DETR的端到端设计原理,涵盖多种应用场景。T-Rex2在COCO、LVIS、ODinW和Roboflow100等四个学术基准测试中取得了最优秀的表现。

使用大型语言模型进行逆向工程：反编译二进制代码

LLM4Decompile是一个开源项目，旨在创建并发布第一个专门用于反编译的LLM（大型语言模型），并通过构建首个专注于可重编译性和可执行性的反编译基准测试来评估其能力。该项目通过编译大量C代码样本到汇编代码，然后使用这些数据对DeepSeek-Coder模型进行微调，构建了评估基准Decompile-Eval。

大型语言模型 (LLM) 性能评测的众包开放平台

LMSys 聊天机器人竞技场排行榜是一个用于评估大型语言模型 (LLM) 性能的众包开放平台。它利用 Elo 排名系统对 LLM 进行排名，排名依据是超过 30 万用户投票的结果。用户可以在网站上与不同的 LLM 进行互动，并根据其对话质量进行投票。该排行榜可用于追踪不同 LLM 的发展趋势，并为研究人员和开发者提供基准测试工具。

医疗领域检索式问答基准测试

Benchmark Medical RAG是一个专注于医疗领域的检索式问答（Retrieval-Augmented Generation）基准测试平台。它提供了一系列的数据集和评估工具，旨在推动医疗信息检索和生成模型的研究。

基于视觉语言基础模型的胸部X光解读

CheXagent是一个基于视觉语言基础模型的胸部X光解读工具。它利用临床大型语言模型来解析放射学报告，视觉编码器用于表示X光图像，并设计了一个网络来桥接视觉和语言模态。此外，CheXagent还引入了CheXbench，一个旨在系统评估基于视觉语言基础模型在8个临床相关的胸部X光解读任务上的性能的新型基准。经过广泛的定量评估和与五名专家放射科医生的定性评审，CheXagent在CheXbench任务上的表现优于先前开发的通用和医学领域的基础模型。

ActAnywhere是一个主体感知视频背景生成模型。

ActAnywhere是一个用于自动生成与前景主体运动和外观相符的视频背景的生成模型。该任务涉及合成与前景主体运动和外观相一致的背景,同时也符合艺术家的创作意图。ActAnywhere利用大规模视频扩散模型的力量,并专门定制用于此任务。ActAnywhere以一系列前景主体分割作为输入,以描述所需场景的图像作为条件,生成与条件帧相一致的连贯视频,同时实现现实的前景和背景交互。该模型在大规模人机交互视频数据集上进行训练。大量评估表明该模型的性能明显优于基准,可以泛化到各种分布样本,包括非人类主体。

统一多模态视频生成系统

UniVG是一款统一多模态视频生成系统，能够处理多种视频生成任务，包括文本和图像模态。通过引入多条件交叉注意力和偏置高斯噪声，实现了高自由度和低自由度视频生成。在公共学术基准MSR-VTT上实现了最低的Fr'echet视频距离（FVD），超越了当前开源方法在人类评估上的表现，并与当前闭源方法Gen2不相上下。

端到端MLLM，实现精准引用和定位

ml-ferret是一个端到端的机器学习语言模型（MLLM），能够接受各种形式的引用并响应性地在多模态环境中进行精准定位。它结合了混合区域表示和空间感知的视觉采样器，支持细粒度和开放词汇的引用和定位。此外，ml-ferret还包括GRIT数据集（约110万个样本）和Ferret-Bench评估基准。

Generative AI 模型评估工具

Deepmark AI 是一款用于评估大型语言模型（LLM）的基准工具，可在自己的数据上对各种任务特定指标进行评估。它与 GPT-4、Anthropic、GPT-3.5 Turbo、Cohere、AI21 等领先的生成式 AI API 进行预集成。

JaxMARL - 多智能体强化学习库

JaxMARL 是一个多智能体强化学习库，结合了易用性和 GPU 加速效能。它支持常用的多智能体强化学习环境以及流行的基准算法。目标是提供一个全面评估多智能体强化学习方法的库，并与相关基准进行比较。同时，它还引入了 SMAX，这是一个简化版的流行的星际争霸多智能体挑战环境，无需运行星际争霸 II 游戏引擎。

真实图像补全的参考驱动生成

RealFill是一种图像补全的生成模型，通过使用少量场景的参考图像，能够填充图像中的缺失区域，并生成与原始场景相符的视觉内容。RealFill通过在参考图像和目标图像上微调预训练的图像补全扩散模型来创建个性化的生成模型。该模型不仅保持了良好的图像先验，还学习了输入图像中的内容、光照和风格。然后，我们使用这个微调后的模型通过标准的扩散采样过程来填充目标图像中的缺失区域。RealFill在一个包含多种复杂场景的新的图像补全基准测试中进行了评估，并发现其在性能上大大优于现有方法。

基于自然语言查询的开放领域音频源分离模型

AudioSep是一种基于自然语言查询的开放领域音频源分离模型。它由文本编码器和分离模型两个关键组件组成。我们在大规模多模态数据集上训练AudioSep，并在许多任务上广泛评估其能力，包括音频事件分离、乐器分离和语音增强。AudioSep表现出强大的分离性能和令人印象深刻的零样本泛化能力，使用音频标题或文本标签作为查询，大大优于以前的音频查询和语言查询声音分离模型。为了保证本工作的可重复性，我们将发布源代码、评估基准和预训练模型。

使用大型语言模型生成机器人模拟任务

GenSim利用大型语言模型生成大量的机器人模拟任务，支持目标导向生成和探索性生成两种模式，可用于多任务策略训练和任务级别泛化。使用GPT4扩展了现有基准测试10倍以上，支持超过100个任务，通过有监督微调和评估多个LLM，包括微调的GPT和Code Llama，生成机器人模拟任务的代码。最小的模拟到真实世界的适应后，预训练在GPT4生成的模拟任务上的多任务策略在真实世界中展现了更强的转移能力，超过基线25%。

使用情绪感知的韵律分析,提高语音合成的情绪表达能力

EmoPP是一个情绪感知的韵律分析模型,它可以更准确地挖掘语音的情感线索,预测更合适的停顿位置,从而提高端到端语音合成系统的情绪表达能力。该模型通过在ESD数据集上进行客观观察,证明了情绪和韵律分析之间存在强相关性。目标评估和主观评估结果表明,EmoPP模型优于所有基准,在情绪表达方面取得了显著的效果。

大规模人脸文本-视频数据集

CelebV-Text是一个大规模、高质量、多样化的人脸文本-视频数据集，旨在促进人脸文本-视频生成任务的研究。数据集包含70,000个野外人脸视频剪辑，每个视频剪辑都配有20个文本，涵盖40种一般外观、5种详细外观、6种光照条件、37种动作、8种情绪和6种光线方向。CelebV-Text通过全面的统计分析验证了其在视频、文本和文本-视频相关性方面的优越性，并构建了一个基准来标准化人脸文本-视频生成任务的评估。

基于LDM的服装驱动图像合成AI

MagicClothing是一种基于潜在扩散模型（LDM）的新型网络架构，专门用于服装驱动的图像合成任务。它能够根据文本提示生成穿着特定服装的定制化角色图像，同时确保服装细节的保留和对文本提示的忠实呈现。该系统通过服装特征提取器和自注意力融合技术，实现了高度的图像可控性，并且可以与ControlNet和IP-Adapter等其他技术结合使用，以提升角色的多样性和可控性。此外，还开发了匹配点LPIPS（MP-LPIPS）评估指标，用于评价生成图像与原始服装的一致性。

Stability AI推出高效低阈值文生图AI模型

Stable Cascade是一个基于Würstchen架构的文本到图像生成模型,相比其他模型使用更小的潜在空间进行训练和推理,因此在训练和推理速度上都有显著提升。该模型可以在消费级硬件上运行,降低了使用门槛。Stable Cascade在人类评估中表现突出,无论是在提示对齐还是图像质量上都超过了其他模型。总体而言,这是一个高效、易用、性能强劲的文生图AI模型。

LLM应用开发者平台

LangSmith是一个统一的DevOps平台,用于开发、协作、测试、部署和监控LLM应用程序。它支持LLM应用程序开发生命周期的所有阶段,为构建LLM应用提供端到端的解决方案。主要功能包括:链路追踪、提示工具、数据集、自动评估、线上部署等。适用于构建基于LLM的AI助手、 ChatGPT应用的开发者。

灵活、可共享、可重复使用的生成式AI数据准备和评估工具

Unitxt是一款创新的库，专为生成式语言模型量身定制，用于定制文本数据准备和评估。Unitxt与HuggingFace和LM-eval-harness等常用库进行原生集成，并将处理流程拆分为模块化组件，实现了易定制和共享。这些组件包括模型特定格式、任务提示等全面的数据集处理定义。Unitxt-Catalog集中了这些组件，促进了现代文本数据工作流中的协作和探索。除了是一款工具，Unitxt还是一个社区驱动的平台，赋予用户协作构建、分享和推进他们的数据流水线的能力。

多视角草图引导的文本到 3D 生成

Sketch2NeRF 是一种多视角草图引导的文本到 3D 生成框架。它通过预训练的 2D 扩散模型（如 Stable Diffusion 和 ControlNet）来优化由神经辐射场（NeRF）表示的 3D 场景。该方法还提出了一种新颖的同步生成和重建方法，以有效优化 NeRF。通过收集的两种多视角草图数据集进行实验评估，证明了我们的方法能够在高保真度的文本提示下合成具有精细草图控制的一致的 3D 内容。广泛的结果表明，我们的方法在草图相似性和文本对齐方面实现了最先进的性能。

首个用于快速工程的平台

PromptLayer是一个旨在帮助用户管理提示工程的平台。用户可以视觉化管理提示、评估模型、记录LLM请求以及搜索使用历史。它还支持团队协作。产品定位为提供快速工程解决方案，旨在简化提示工程的创建、部署和管理流程。用户可以免费开始使用，同时也提供高级功能以满足企业需求。

生成大规模A/B测试的开源基础设施

使用Rompt.ai的开源基础设施，通过生成和评估不同的提示变体，发现高效的提示。创建和组织提示，声明变量以模拟动态项目，运行具有不同格式、模型和变量的提示变体，生成大量输出数据集，通过评分生成结果来找到性能最佳的提示。

简化LLM和RAG模型输出评估，提供对定性指标的洞察

Algomax简化LLM和RAG模型的评估，优化提示开发，并通过直观的仪表板提供对定性指标的独特洞察。我们的评估引擎精确评估LLM，并通过广泛测试确保可靠性。平台提供了全面的定性和定量指标，帮助您更好地理解模型的行为，并提供具体的改进建议。Algomax的用途广泛，适用于各个行业和领域。

AI模型测试评估工具

Openlayer是一个评估工具，适用于您的开发和生产流程，帮助您自信地发布高质量的模型。它提供强大的测试、评估和可观察性，无需猜测您的提示是否足够好。支持LLMs、文本分类、表格分类、表格回归等功能。通过实时通知让您在AI模型失败时获得通知，让您自信地发布。