产品库

开源监控工具，提升LLM应用性能。

Langtrace是一个开源的可观测性工具，用于收集和分析追踪和指标，帮助提升大型语言模型（LLM）应用的性能。它支持OpenTelemetry标准追踪，可自我托管，避免供应商锁定。Langtrace提供端到端的可观测性，帮助用户全面了解整个机器学习流程，包括RAG或微调模型。此外，Langtrace还支持建立反馈循环，通过追踪的LLM交互创建黄金数据集，不断测试和增强AI应用。

优化AI性能的无代码Fine-Tuning

Fine-Tuner是一款优化AI性能的无代码Fine-Tuning工具。通过使用先进的Fine-Tuning技术，您可以在更少的数据和时间内获得更好的结果。Fine-Tuner可以帮助您提升NLP模型的性能，无需编写任何代码。您可以使用Fine-Tuner对现有的模型进行改进，优化其性能，从而节省时间和资源。Fine-Tuner还提供了丰富的功能列表，适用于各种场景。

声音AI分析工具，优化语音助手性能

Canonical AI提供的声音AI分析工具，专注于分析和优化语音助手的通话性能。该工具通过可视化通话流程、识别关键性能指标（KPIs）和自定义度量标准，帮助企业理解语音AI通话的失败原因，并提供实时监控和深度分析功能。产品背景信息显示，它适用于需要提升语音AI服务质量的企业和团队，价格方面提供免费试用和不同规模的专业及企业方案。

AI 驱动的 CUDA 代码优化平台，快速提升 GPU 性能，无需手动优化复杂代码。

RightNow AI 是一个创新的 AI 驱动的 CUDA 代码优化平台，旨在帮助开发者快速提升 GPU 性能。它通过强大的 AI 技术，自动分析 CUDA 内核，识别性能瓶颈，并生成优化后的代码，相比手动优化，大大节省了时间和精力。该平台支持多种优化策略，如共享内存利用、线程协作、循环展开等，可实现高达 4 倍的性能提升。其主要面向需要高性能 GPU 计算的开发者和企业，尤其是那些缺乏专业 GPU 优化知识的团队。RightNow AI 提供多种付费计划，包括按需付费、开发者、专业和企业套餐，满足不同规模用户的需求。

开源AI芯片性能基准测试平台

FlagPerf是由智源研究院联合AI硬件厂商共建的一体化AI硬件评测引擎，旨在建立以产业实践为导向的指标体系，评测AI硬件在软件栈组合（模型+框架+编译器）下的实际能力。该平台支持多维度评测指标体系，覆盖大模型训练推理场景，并支持多训练框架及推理引擎，连接AI硬件与软件生态。

下一代开源AI模型，性能卓越。

Gemma 2是谷歌DeepMind推出的下一代开源AI模型，提供9亿和27亿参数版本，具有卓越的性能和推理效率，支持在不同硬件上以全精度高效运行，大幅降低部署成本。Gemma 2在27亿参数版本中，提供了两倍于其大小模型的竞争力，并且可以在单个NVIDIA H100 Tensor Core GPU或TPU主机上实现，显著降低部署成本。

提升机器翻译性能的对比偏好优化

Contrastive Preference Optimization是一种用于机器翻译的创新方法，通过训练模型避免生成仅仅足够而不完美的翻译，从而显著提高了ALMA模型的性能。该方法在WMT'21、WMT'22和WMT'23测试数据集上可以达到或超过WMT竞赛获胜者和GPT-4的性能。

一个现代化的GitHub仓库浏览工具，提供智能代码导航和优化性能。

ExplainGitHub 是一个专为开发者设计的工具，旨在提供一种现代化的GitHub仓库浏览体验。它通过智能代码导航和优化性能，帮助用户更高效地理解和探索GitHub上的项目。该工具支持多种编程语言，并提供直观的界面和强大的搜索功能，使代码探索变得轻松愉快。它主要面向开发者和开源社区，帮助他们快速找到感兴趣的项目和技术。

昆仑万维开源的高性能数学代码推理模型，性能卓越

Skywork-OR1是由昆仑万维天工团队开发的高性能数学代码推理模型。该模型系列在同等参数规模下实现了业界领先的推理性能，突破了大模型在逻辑理解与复杂任务求解方面的能力瓶颈。Skywork-OR1系列包括Skywork-OR1-Math-7B、Skywork-OR1-7B-Preview和Skywork-OR1-32B-Preview三款模型，分别聚焦数学推理、通用推理和高性能推理任务。此次开源不仅涵盖模型权重，还全面开放了训练数据集和完整训练代码，所有资源均已上传至GitHub和Huggingface平台，为AI社区提供了完全可复现的实践参考。这种全方位的开源策略有助于推动整个AI社区在推理能力研究上的共同进步。

开源的高性能语言模型，支持多端应用。

Qwen2.5系列语言模型是一系列开源的decoder-only稠密模型，参数规模从0.5B到72B不等，旨在满足不同产品对模型规模的需求。这些模型在自然语言理解、代码生成、数学推理等多个领域表现出色，特别适合需要高性能语言处理能力的应用场景。Qwen2.5系列模型的发布，标志着在大型语言模型领域的一次重要进步，为开发者和研究者提供了强大的工具。

OpenLIT是用于GenAI和LLM应用可观察性的开源平台。

OpenLIT是一个开源的AI工程平台，专注于生成式AI和大型语言模型（LLM）应用的可观察性。它通过提供代码透明度、隐私保护、性能可视化等功能，帮助开发者简化AI开发流程，提高开发效率和应用性能。作为开源项目，用户可以自由查看代码或自行托管，确保数据安全和隐私。其主要优点包括易于集成、支持OpenTelemetry原生集成、提供细粒度的使用洞察等。OpenLIT面向AI开发者、数据科学家和企业，旨在帮助他们更好地构建、优化和管理AI应用。目前未明确具体价格，但从开源特性来看，可能对基础功能提供免费使用。

AI代码优化工具

Refiner是一款利用人工智能提升代码质量的工具。它能够分析代码并提供改进建议，帮助开发者优化代码的性能、可读性和可维护性。Refiner的功能包括自动重构、代码规范检查和性能优化等。它具有极快的响应速度，平均响应时间不到1秒。Refiner注重用户隐私，不会保留用户输入的代码信息。该产品免费试用前三次。

基于Linux环境快速部署开源大模型的教程

该项目是一个围绕开源大模型的全流程指导教程,包括环境配置、模型部署、高效微调等,简化开源大模型的使用和应用,让更多普通学习者能够使用开源大模型。项目面向对开源大模型感兴趣且想自主上手的学习者,提供详细的环境配置、模型部署和微调方法。

释放超级推理能力，提升AIME & MATH基准测试性能。

DeepSeek-R1-Lite-Preview是一款专注于提升推理能力的AI模型，它在AIME和MATH基准测试中展现了出色的性能。该模型具备实时透明的思考过程，并且计划推出开源模型和API。DeepSeek-R1-Lite-Preview的推理能力随着思考长度的增加而稳步提升，显示出更好的性能。产品背景信息显示，DeepSeek-R1-Lite-Preview是DeepSeek公司推出的最新产品，旨在通过人工智能技术提升用户的工作效率和问题解决能力。目前，产品提供免费试用，具体的定价和定位信息尚未公布。

提升大型语言模型性能的混合代理技术

MoA（Mixture of Agents）是一种新颖的方法，它利用多个大型语言模型（LLMs）的集体优势来提升性能，实现了最先进的结果。MoA采用分层架构，每层包含多个LLM代理，显著超越了GPT-4 Omni在AlpacaEval 2.0上的57.5%得分，达到了65.1%的得分，使用的是仅开源模型。

AI驱动的API性能测试，提供高性能API，优化用户体验

PerfAI是一个AI驱动的API性能测试平台，通过自学习和无代码的方式，帮助企业交付高性能的API，提升用户体验，减少流失率。它可以自动生成性能测试计划，消除测试编写的繁琐过程。PerfAI的功能包括自动化性能测试、性能监控、负载测试和压力测试。它可以帮助企业发现和解决API性能问题，提供可靠的API服务。PerfAI的定价根据企业的具体需求而定，可以提供个性化的解决方案。它适用于各种使用场景，包括Web应用程序、移动应用程序和云服务等。通过提供高性能的API，PerfAI帮助企业提升用户体验，降低用户流失率，增加业务价值。

提供可靠的性能测量数据，评估流行模型的性能。

The Fastest.ai是一个提供可靠的性能测量数据的网站，用于评估流行模型的性能。它通过测量模型的响应时间、每秒生成的token数量以及从请求到最终token生成的总时间来提供准确的性能数据。该网站旨在帮助用户选择最快的AI模型，并提供其他模型的性能比较。它对模型的性能进行日常更新，用户可以根据自己的需求选择合适的模型。

开源工业级自动语音识别模型，支持普通话、方言和英语，性能卓越。

FireRedASR-AED-L 是一个开源的工业级自动语音识别模型，专为满足高效率和高性能的语音识别需求而设计。该模型采用基于注意力的编码器-解码器架构，支持普通话、中文方言和英语等多种语言。它在公共普通话语音识别基准测试中达到了新的最高水平，并且在歌唱歌词识别方面表现出色。该模型的主要优点包括高性能、低延迟和广泛的适用性，适用于各种语音交互场景。其开源特性使得开发者可以自由地使用和修改代码，进一步推动语音识别技术的发展。

Gen AI Toolbox for Databases 是一个开源服务器，用于简化与数据库交互的 Gen AI 工具的开发。

Gen AI Toolbox for Databases 是一个开源工具，旨在帮助开发者更轻松、快速且安全地构建与数据库交互的生成式 AI 工具。它通过处理连接池、身份验证等复杂性，简化了工具的开发和部署过程。该工具支持多种数据库，包括 AlloyDB、Cloud SQL、MySQL、PostgreSQL 等，并提供端到端的可观测性支持，如 OpenTelemetry 集成。它适用于需要高效开发和安全访问数据库的应用场景，目前是免费开源的。

实时动态路由AI模型到最佳提供商，以实现最佳性能和成本节省。

MakeHub是一个通用API负载均衡器，根据实时性能指标智能地将您的请求路由到最快、最便宜的提供商，确保速度、可靠性和成本的最优化。

提升AI代理性能，融合自动化速度与人类质量。

Foundry AI是一个专注于构建、评估和改进AI代理的平台，旨在提供可靠的结果。该平台通过实时反馈实现持续改进，允许自定义控制人工干预，并进行A/B测试以优化性能。Foundry AI由行业专家构建，与传统自动化相比，它提供了一个更智能的AI管理系统，能够实现更高质量的AI结果，快速有效的改进和智能的人工-AI协作。

以低成本实现高性能的大型语言模型

JetMoE-8B是一个开源的大型语言模型，通过使用公共数据集和优化的训练方法，以低于10万美元的成本实现了超越Meta AI LLaMA2-7B的性能。该模型在推理时仅激活22亿参数，大幅降低了计算成本，同时保持了优异的性能。

高性能AI模型加载器，大幅减少冷启动时间。

Mystic Turbo Registry是一款由Mystic.ai开发的高性能AI模型加载器，采用Rust语言编写，专门针对减少AI模型的冷启动时间进行了优化。它通过提高容器加载效率，显著减少了模型从启动到运行所需的时间，为用户提供了更快的模型响应速度和更高的运行效率。

AMD开源平台，提升AI、ML和HPC工作负载性能

AMD ROCm™ 6.3是AMD开源平台的一个重要里程碑，引入了先进的工具和优化，以提升在AMD Instinct GPU加速器上的AI、机器学习（ML）和高性能计算（HPC）工作负载。ROCm 6.3旨在增强从创新AI初创企业到HPC驱动行业的广泛客户的开发人员生产力。

获取可靠、快速、安全的专用主机服务，适用于企业增长和性能优化。

RedPro Host提供可靠、快速、安全的专用主机服务，旨在为企业提供增长和性能优化。具有99.99%的可用性保证，24/7支持，价格合理。

开源的RAG应用日志工具

RAG-logger是一个为检索增强生成(Retrieval-Augmented Generation, RAG)应用设计的开源日志工具。它是一个轻量级的、针对RAG特定日志需求的开源替代方案，专注于为RAG应用提供全面的日志记录功能，包括查询跟踪、检索结果记录、LLM交互记录以及逐步性能监控。它采用基于JSON的日志格式，支持每日日志组织、自动文件管理和元数据丰富化。RAG-logger以其开源、轻量级和专注于RAG应用的特性，为开发者提供了一个有效的工具来监控和分析RAG应用的性能。

Instella 是由 AMD 开发的高性能开源语言模型，专为加速开源语言模型的发展而设计。

Instella 是由 AMD GenAI 团队开发的一系列高性能开源语言模型，基于 AMD Instinct™ MI300X GPU 训练而成。该模型在性能上显著优于同尺寸的其他开源语言模型，并且在功能上与 Llama-3.2-3B 和 Qwen2.5-3B 等模型相媲美。Instella 提供模型权重、训练代码和训练数据，旨在推动开源语言模型的发展。其主要优点包括高性能、开源开放以及对 AMD 硬件的优化支持。

一站式LLM模型比较与优化平台

Unify AI是一个为开发者设计的平台，它允许用户通过一个统一的API访问和比较来自不同提供商的大型语言模型(LLMs)。该平台提供了实时性能基准测试，帮助用户根据质量、速度和成本效率来选择和优化最合适的模型。Unify AI还提供了定制路由功能，允许用户根据自己的需求设置成本、延迟和输出速度的约束，并定义自定义质量指标。此外，Unify AI的系统会根据最新的基准数据，每10分钟更新一次，将查询发送到最快提供商，确保持续达到峰值性能。

实时AI视频生成开源模型

LTXV是Lightricks推出的一个实时AI视频生成开源模型，它代表了视频生成技术的最新发展。LTXV能够提供可扩展的长视频制作能力，优化了GPU和TPU系统，大幅减少了视频生成时间，同时保持了高视觉质量。LTXV的独特之处在于其帧到帧学习技术，确保了帧之间的连贯性，消除了闪烁和场景内的不一致问题。这一技术对于视频制作行业来说是一个巨大的进步，因为它不仅提高了效率，还提升了视频内容的质量。

跨平台AI性能基准测试工具

Geekbench AI 是一款使用真实世界机器学习任务来评估AI工作负载性能的跨平台AI基准测试工具。它通过测量CPU、GPU和NPU的性能，帮助用户确定他们的设备是否准备好应对当今和未来的尖端机器学习应用。