产品库

基于TensorRT框架的大规模语言模型推理加速库

SwiftInfer是一个基于Nvidia TensorRT框架的大规模语言模型(LLM)推理加速库,通过GPU加速,极大提升LLM在生产环境中的推理性能。该项目针对流式语言模型提出的Attention Sink机制进行了实现,支持无限长度的文本生成。代码简洁,运行方便,支持主流的大规模语言模型。

WhiteRabbitNeo-7B-v1.5a 是一个预训练的大型语言模型，可用于多种自然语言处理任务。

WhiteRabbitNeo-7B-v1.5a 是WhiteRabbitNeo系列的一个版本，这是一系列大规模、面向自然语言处理任务的预训练语言模型。该模型能够支持文本生成、摘要、翻译等多种任务。

简单快速地测试对话AI模型

Promptspot是一个开源的在线平台,可以让用户轻松地对对话AI模型进行测试。用户可以创建prompt,然后输入不同的内容看看AI的回复效果。主要功能包括:可视化地对比不同输入的结果,支持prompt版本控制,可以协同编辑prompt。Promptspot简化了prompt测试流程,方便用户迭代改进prompt。

13B参数阿拉伯语英语同构模型

这是一个130亿参数的预训练双语大型语言模型,支持阿拉伯语和英语,在720亿阿拉伯语标记和2790亿英语/代码标记的数据集上进行训练。阿拉伯语数据迭代了1.6个时代(相比英语/代码的1个时代),总计3950亿个标记进行训练。该模型基于Transformer解码器专用架构(GPT-3),使用SwiGLU非线性激活函数。它实现了ALiBi位置嵌入,可以外推到长序列长度,提供改进的上下文处理和模型精度。

理想同学是一款智能聊天助手，提供便捷的对话服务和智能交互体验。

理想同学是一款由北京车励行信息技术有限公司开发的智能聊天助手。它通过人工智能技术实现自然语言处理，能够与用户进行流畅的对话交互。该产品的主要优点是操作简单、响应迅速，能够为用户提供个性化的服务。它适用于多种场景，如日常聊天、信息查询等。产品目前没有明确的价格信息，但根据其功能定位，可能主要面向个人用户和企业客户。

PortalX 是一款用于帮助企业快速部署智能聊天门户的产品。

PortalX 是一款专为企业设计的智能聊天门户解决方案，旨在帮助企业快速部署聊天功能，提升用户体验和工作效率。它通过自动分析企业网站内容，生成智能聊天门户，能够提供直接的答案和操作指导。PortalX 的主要优点包括快速部署（一分钟内完成）、免费试用、强大的实时分析功能以及与现有网站的无缝集成。它定位于帮助企业降低软件学习曲线，加速技术采用。

主流对话式 Voice Agent开源框架，让 AI 能听能说

TEN Agent 是基于 TEN 框架构建的实时对话 AI引擎，为开发者提供快速、高效的工具来构建实时对话式 AI Agent，如AI虚拟客服、AI 口语陪练、AI 情感陪伴、AI 个人助理等。 TEN Agent 目前已集成 DeepSeek、Gemini 2.0、OpenAI Realtime、Qwen、RTC 等多种模型及组件，同时适配 Dify、Coze 主流编排工具，并且支持 ESP 32，快速让你的 AI bot 能听能说。

探索无限智能，构建更完美的聚合之路。

智语1号是一个以智能系统为基础的聊天平台，提供用户与AI进行互动交流的体验。它利用大模型技术，通过自然语言处理和机器学习，使得AI能够理解和回应用户的各种问题和需求。智语1号的背景是随着人工智能技术的发展，人们对于智能助手的需求日益增长，它旨在为用户提供一个高效、智能的交流环境。产品目前是免费试用，主要面向对智能聊天感兴趣的用户群体。

云端AI开发平台，助力高效创新。

SambaNova是一个云端AI开发平台，提供了一系列工具和资源，旨在帮助开发者和企业快速构建、测试和部署AI应用。平台通过提供高性能的计算资源、丰富的API接口和易于使用的AI Starter Kits，使得AI开发变得更加高效和便捷。

AI驱动的生成式UI工具

v0是由Vercel推出的基于AI的生成式用户界面系统，它可以根据简单的文本提示生成适用于项目的React代码。v0使用AI模型生成代码，基于shadcn/ui和Tailwind CSS，提供了易于复制和粘贴的代码。v0不使用任何Vercel客户数据或代码进行训练，保证了数据的安全性和隐私性。

AI辅助编程的强有力界面

Zed AI是一个集成到编程工作流中的插件，通过与大型语言模型（LLMs）的直接对话，增强了代码生成、转换和分析的能力。它提供了多种交互方式，包括助手面板、斜杠命令、内联助手和提示库，以提高开发效率。Zed AI还支持多种LLMs提供商，允许开发者根据需要选择不同的模型来提高开发效能。此外，Zed AI提供了一个全新的托管服务，第一个月免费使用，并配备了Anthropic API，专为快速转换现有文本而设计。

一个适合学习、使用、自主扩展的RAG系统。

Easy-RAG是一个检索增强生成(RAG)系统，它不仅适合学习者了解和掌握RAG技术，同时也便于开发者使用和进行自主扩展。该系统通过集成知识图谱提取解析工具、rerank重新排序机制以及faiss向量数据库等技术，提高了检索效率和生成质量。

GGUF量化支持，优化ComfyUI原生模型性能

ComfyUI-GGUF是一个为ComfyUI原生模型提供GGUF量化支持的项目。它允许模型文件以GGUF格式存储，这种格式由llama.cpp推广。尽管常规的UNET模型（conv2d）不适用于量化，但像flux这样的transformer/DiT模型似乎受量化影响较小。这使得它们可以在低端GPU上以更低的每权重变量比特率进行运行。

智能助理与专家，跨领域知识理解与应用

云知声山海大模型是新一代认知智能大模型，具备丰富的知识储备，覆盖科学、技术、文化、艺术、医疗等领域。它能够通过对话提供信息、知识和灵感，同时连接第三方服务，兼顾隐私性地拓展能力边界。山海大模型在医疗、销售、知识管理等领域有深入应用，能够全面升级业务线的智能化水平，实现从助手到专家的跃迁。

AI编码助手，自动化解决代码问题

Tusk是一个AI编码助手，专注于帮助软件工程师快速完成繁琐的代码任务。它通过自动化的方式生成代码，解决bug，进行UI/UX改进，从而提高开发效率，让工程师能够专注于更有创造性的工作。Tusk支持与GitHub、Jira、Linear、Notion等工具的集成，能够根据问题标签一键推送代码到仓库，并自动迭代代码以应对代码审查。此外，Tusk还提供定制化AI代理、VIP支持等高级功能，满足不同规模团队的需求。

智能聊天对话，支持多模型聊天。

共鸣Chat是一款智能聊天对话应用，支持OpenAI多模型聊天，提供1:1官方API价格，免翻墙，超高并发不限速，为用户带来流畅的聊天体验。

实时让肖像动起来！支持onnx/tensorrt

FasterLivePortrait是一个基于深度学习的实时肖像动画化项目。它通过使用TensorRT在RTX 3090 GPU上实现30+ FPS的实时运行速度，包括预处理和后处理，而不仅仅是模型推理速度。该项目还实现了将LivePortrait模型转换为Onnx模型，并在RTX 3090上使用onnxruntime-gpu实现约70ms/帧的推理速度，支持跨平台部署。此外，该项目还支持原生gradio app，速度提升数倍，并支持多张人脸的同时推理。代码结构经过重构，不再依赖PyTorch，所有模型使用onnx或tensorrt进行推理。

使用扩散模型实现时间一致性的人像动画

TCAN是一种基于扩散模型的新型人像动画框架，它能够保持时间一致性并很好地泛化到未见过的领域。该框架通过特有的模块，如外观-姿态自适应层(APPA层)、时间控制网络和姿态驱动的温度图，来确保生成的视频既保持源图像的外观，又遵循驱动视频的姿态，同时保持背景的一致性。

数学视觉指令调优模型

MAVIS是一个针对多模态大型语言模型（MLLMs）的数学视觉指令调优模型，主要通过改进视觉编码数学图表、图表-语言对齐和数学推理技能来增强MLLMs在视觉数学问题解决方面的能力。该模型包括两个新策划的数据集、一个数学视觉编码器和数学MLLM，通过三阶段训练范式在MathVerse基准测试中取得领先性能。

智能代码助手，提升开发效率

Claude Dev是一款VSCode扩展，利用Anthropic的Claude 3.5 Sonnet的代理编码能力，可以逐步处理复杂的软件开发任务。它不仅支持文件读写、创建项目和执行终端命令（在获得用户许可后），还提供了一个直观的GUI，使用户能够安全且容易地探索代理AI的潜力。

文本生成领域的先进模型

H2O Danube3 是由 h2oai 公司开发的一系列文本生成模型，这些模型专注于提供高质量的文本生成服务，广泛应用于聊天机器人、内容创作等领域。它们具备强大的语言理解和生成能力，能够根据给定的上下文生成连贯、准确的文本。

在家使用日常设备搭建自己的AI集群。

exo是一个实验性的软件项目，旨在利用家中的现有设备，如iPhone、iPad、Android、Mac、Linux等，统一成一个强大的GPU来运行AI模型。它支持多种流行的模型，如LLaMA，并具有动态模型分割功能，能够根据当前网络拓扑和设备资源来最优地分割模型。此外，exo还提供了与ChatGPT兼容的API，使得在应用程序中使用exo运行模型仅需一行代码的更改。

实时低延迟语音转换技术

StreamVC是由Google研发的实时低延迟语音转换解决方案，能够在保持源语音内容和韵律的同时，匹配目标语音的音色。该技术特别适合实时通信场景，如电话和视频会议，并且可用于语音匿名化等用例。StreamVC利用SoundStream神经音频编解码器的架构和训练策略，实现轻量级高质量的语音合成。它还展示了学习软语音单元的因果性以及提供白化基频信息以提高音高稳定性而不泄露源音色信息的有效性。

低代码工具，快速构建和协调多智能体团队

Tribe AI是一个低代码工具，它利用langgraph框架，让用户能够轻松自定义和协调智能体团队。通过将复杂任务分配给擅长不同领域的智能体，每个智能体可以专注于其最擅长的工作，从而更快更好地解决问题。

为你最难的问题提供答案。

Choosy Chat是一个智能聊天平台，它通过集成多个先进的AI模型，包括OpenAI GPT-4o、Google Gemini Pro 1.5和Anthropic Claude 3，为用户提供最准确的答案。它能够处理复杂的查询，包括最新知识、产品规格列表、优化代码以及解决逻辑难题等。

开创计算新时代的NVIDIA Blackwell平台现已发布

NVIDIA Blackwell平台使用六项变革技术推动加速计算，能够在减少成本和能耗的同时，实现实时生成AI和处理高达数万亿参数的大型语言模型。

开源项目，旨在复制、增强和创新自主AI软件工程师Devin

OpenDevin是一个开源项目，目标是复制、增强和创新Devin——一个能够执行复杂工程任务并与用户在软件开发项目上积极协作的自主AI软件工程师。该项目通过开源社区的力量，探索和扩展Devin的能力，识别其优势和改进空间，以指导开源代码模型的进展。

简洁美观的OpenAPI/Swagger UI文档工具

openapi-ui是一个比Swagger UI更简洁美观的OpenAPI文档网站，它能够快速生成模拟参数并调用API请求，同时也是一个简化版的Postman工具。

Babel旨在提供一个人工智能协作平台，极大地提高构建应用程序的效率并消除运营复杂性

Babel提供了一种新的软件工程范式，包括AI生成组件、结构化编程、实时编码、全息观察和NoOps。Babel的自我驱动代理可以协作处理编码、调试、测试、部署等问题，同时还能自动维护和操作应用程序。

Tavus构建了先进的AI模型，包括数字复制、唇同步、配音、文本转视频，通过API为开发者提供访问

Tavus提供了一系列的AI模型，特别是在生成高度逼真的说话头部视频方面，其Phoenix模型通过神经辐射场（NeRFs）技术，能够产生自然面部动作和表情，并与输入同步。开发者可以通过Tavus的API访问这些具有高度真实感和可定制性的视频生成服务。