产品库

将LLM模型打包成一个可执行文件

llamafile是一个将LLM(大型语言模型)模型及其权重打包成一个自包含可执行文件的工具。它结合了llama.cpp和Cosmopolitan Libc,可以让复杂的LLM模型被压缩成一个llamafile,无需进行任何安装和配置就可以在大多数计算机上本地运行。主要优点是使开源的LLM模型更易于开发者和终端用户访问。

构建LLM应用的开发平台

LLM Spark是一个开发平台，可用于构建基于LLM的应用程序。它提供多个LLM的快速测试、版本控制、可观察性、协作、多个LLM支持等功能。LLM Spark可轻松构建AI聊天机器人、虚拟助手等智能应用程序，并通过与提供商密钥集成，实现卓越性能。它还提供了GPT驱动的模板，加速了各种AI应用程序的创建，同时支持从零开始定制项目。LLM Spark还支持无缝上传数据集，以增强AI应用程序的功能。通过LLM Spark的全面日志和分析，可以比较GPT结果、迭代和部署智能AI应用程序。它还支持多个模型同时测试，保存提示版本和历史记录，轻松协作，以及基于意义而不仅仅是关键字的强大搜索功能。此外，LLM Spark还支持将外部数据集集成到LLM中，并符合GDPR合规要求，确保数据安全和隐私保护。

AI智能文件整理分类工具

文件禅是一款利用人工智能技术，通过读取文件内容进行分类整理的桌面客户端工具。它能够显著提高个人和企业用户的文件管理效率，通过智能分析桌面快捷方式和指定文件夹，将杂乱无章的文件整理得井井有条。产品分为免费版和付费版，满足不同用户的需求。免费版支持最多15个文件的整理，而付费版则支持100+个文件的整理，并提供更高级的AI模型和一对一人工服务。

Ai动力跨平台销售

SellMate是一个通过人工智能技术提升电子商务游戏的平台，可以无缝跨平台在Amazon、eBay等平台上进行列表，并利用先进的分析和定价见解优化您的列表。

跨平台AI性能基准测试工具

Geekbench AI 是一款使用真实世界机器学习任务来评估AI工作负载性能的跨平台AI基准测试工具。它通过测量CPU、GPU和NPU的性能，帮助用户确定他们的设备是否准备好应对当今和未来的尖端机器学习应用。

高效的 Intel GPU 上的 LLM 推理解决方案

这是一种在 Intel GPU 上实现的高效的 LLM 推理解决方案。通过简化 LLM 解码器层、使用分段 KV 缓存策略和自定义的 Scaled-Dot-Product-Attention 内核，该解决方案在 Intel GPU 上相比标准的 HuggingFace 实现可实现高达 7 倍的令牌延迟降低和 27 倍的吞吐量提升。详细功能、优势、定价和定位等信息请参考官方网站。

比较各种大型语言模型（LLM）的定价信息

LLM Pricing是一个聚合并比较各种大型语言模型（LLMs）定价信息的网站，这些模型由官方AI提供商和云服务供应商提供。用户可以在这里找到最适合其项目的语言模型定价。

无限令牌，无限制，成本效益高的LLM推理API平台。

Awan LLM是一个提供无限令牌、无限制、成本效益高的LLM（大型语言模型）推理API平台，专为高级用户和开发者设计。它允许用户无限制地发送和接收令牌，直到模型的上下文限制，并且使用LLM模型时没有任何约束或审查。用户只需按月付费，而无需按令牌付费，这大大降低了成本。Awan LLM拥有自己的数据中心和GPU，因此能够提供这种服务。此外，Awan LLM不记录任何提示或生成内容，保护用户隐私。

帮助您成为LLM专家的博客。

LLM Logs是一个专注于帮助用户优化其内容以适应大型语言模型的博客。它提供全面的LLM SEO指南，帮助用户提高在AI生成的响应中的可见性。

个人文件搜索引擎

PocketLLM是一款个人文件搜索引擎，使用AI和LLM技术，能够记忆数千页的PDF和文档，并提供快速搜索功能。用户可以在自己的设备上进行训练，完全保护隐私，完全免费。用户可以轻松添加、更新或删除模型和文件，并可以通过语义搜索进行全文搜索，搜索整个段落、相似概念或多个主题。

跨平台桌面应用，轻松设置 Open WebUI。

Open WebUI Desktop 是一款跨平台的桌面应用，旨在简化 Open WebUI 的安装和使用。该应用程序允许用户将其设备转变为一个强大的服务器，免去复杂的手动设置。此项目当前处于 alpha 阶段，仍在积极开发中，提供一键安装和离线使用的能力，是寻求高效和便捷的开发者和用户的理想选择。

开发LLM应用的平台

Vellum是一个用于构建LLM驱动应用的开发平台。它具有提示工程、语义搜索、版本控制、测试和监控等工具,可以帮助开发者将LLM的功能引入生产环境。它与所有主要的LLM提供商兼容,开发者可以选择最适合的模型,也可以随时切换,避免业务过于依赖单一的LLM提供商。

开发平台，构建 LLM 应用

Vellum 是一个开发平台，用于构建 LLM 应用。它提供了快速工程、语义搜索、版本控制、测试和监控等工具，兼容所有主要的 LLM 提供商。Vellum 可以帮助您将 LLM 功能带入生产环境，支持迅速开发和部署 LLM 模型，同时提供质量测试和性能监控等功能。定价和定位请参考官方网站。

LLM App开发和运营平台

Teammate Lang是一个全能的LLM App开发和运营解决方案。提供无代码编辑器、语义缓存、Prompt版本管理、LLM数据平台、A/B测试、QA、Playground等20多个模型，包括GPT、PaLM、Llama、Cohere等。

扩展LLM上下文窗口

LLM Context Extender是一款旨在扩展大型语言模型（LLMs）上下文窗口的工具。它通过调整RoPE的基础频率和缩放注意力logits的方式，帮助LLMs有效适应更大的上下文窗口。该工具在精细调整性能和稳健性方面验证了其方法的优越性，并展示了在仅有100个样本和6个训练步骤的情况下，将LLaMA-2-7B-Chat的上下文窗口扩展到16,384的非凡效率。此外，还探讨了数据组成和训练课程如何影响特定下游任务的上下文窗口扩展，建议以长对话进行LLMs的精细调整作为良好的起点。

轻量级多语言跨平台集成开发环境

deepin-IDE是一款专为开发者设计的轻量级多语言跨平台集成开发环境，支持C/C++、JAVA、Python、JS等多种编程语言。它具备版本管理、智能编辑器、工具链管理等基础能力，并支持代码迁移、反向调试等特色功能。deepin-IDE还融入了AI智能编程技术，如代码生成、代码翻译和注释生成，大幅提升开发效率。此外，它支持国产硬件平台如龙芯、飞腾等，致力于构建操作系统新生态。

使用简单、原始的 C/CUDA 进行 LLM 训练

karpathy/llm.c 是一个使用简单的 C/CUDA 实现 LLM 训练的项目。它旨在提供一个干净、简单的参考实现,同时也包含了更优化的版本,可以接近 PyTorch 的性能,但代码和依赖大大减少。目前正在开发直接的 CUDA 实现、使用 SIMD 指令优化 CPU 版本以及支持更多现代架构如 Llama2、Gemma 等。

AI驱动的跨平台销售助手

SellMate AI是一款AI驱动的跨平台销售助手，帮助在线卖家简化在多个市场上销售的流程。只需一拍，我们的AI技术将增强您的列表，优化产品可见性，并提供宝贵的分析数据来提升销售策略。我们致力于为卖家提供简单、高效、有效的在线销售解决方案。

一个为LLM生成Git提交信息的插件

llm-commit 是一个为 LLM（Large Language Model）设计的插件，用于生成 Git 提交信息。该插件通过分析 Git 的暂存区差异，利用 LLM 的语言生成能力，自动生成简洁且有意义的提交信息。它不仅提高了开发者的提交效率，还确保了提交信息的质量和一致性。该插件适用于任何使用 Git 和 LLM 的开发环境，免费开源，易于安装和使用。

一个连接大型语言模型与本地文件系统的插件，可直接从项目文件向LLM提供上下文。

Prompter IDE 是一款专为开发人员设计的工具，旨在提升开发效率。它通过将大型语言模型（LLM）与本地文件系统相结合，使开发者能够直接从项目文件中向 LLM 提供上下文信息，从而获得更精准的代码建议和解决方案。该工具的主要优点包括高效集成、灵活的上下文管理以及对多种编程语言的支持。它主要面向需要借助 AI 力量优化开发流程的专业开发者，目前尚未明确其定价策略，但从其功能来看，可能定位于中高端市场。

.NET 9，跨平台开发的最新力作。

.NET 9是微软推出的最新跨平台开发框架，它集成了数千项性能、安全性和功能改进，使得开发者能够以统一的平台构建应用程序，并轻松地将AI融入应用。.NET 9不仅提升了运行时性能，还增强了对AI的支持，改进了ASP.NET Core和Blazor框架，以及对.NET MAUI的多平台应用开发进行了增强。

设计、部署和优化LLM应用与Klu

Klu是一款全能的LLM应用平台，可以在Klu上快速构建、评估和优化基于LLM技术的应用。它提供了多种最先进的LLM模型选择，让用户可以根据自己的需求进行选择和调整。Klu还支持团队协作、版本管理、数据评估等功能，为AI团队提供了一个全面而便捷的开发平台。

Darvin是一款能够通过描述快速创建跨平台应用的工具。

Darvin是一款革命性的应用开发工具，通过简单的描述即可生成跨平台应用，极大地提高开发效率。Darvin背后基于先进的自然语言处理技术，让任何人都能轻松创建功能强大的应用。

基于ComfyUI前端开发的LLM工作流节点集合

ComfyUI LLM Party旨在基于ComfyUI前端开发一套完整的LLM工作流节点集合，使用户能够快速便捷地构建自己的LLM工作流，并轻松地将它们集成到现有的图像工作流中。

将GitHub链接转换为适合LLM的格式

GitHub to LLM Converter是一个在线工具，旨在帮助用户将GitHub上的项目、文件或文件夹链接转换成适合大型语言模型（LLM）处理的格式。这一工具对于需要处理大量代码或文档数据的开发者和研究人员来说至关重要，因为它简化了数据准备过程，使得这些数据可以被更高效地用于机器学习或自然语言处理任务。该工具由Skirano开发，提供了一个简洁的用户界面，用户只需输入GitHub链接，即可一键转换，极大地提高了工作效率。

ai_licia 是一款专为社区设计的 AI 共同主持人，可跨平台互动并提升社区活跃度。

ai_licia 是一款基于人工智能技术的社区互动工具，旨在通过高度定制化的 AI 角色帮助用户提升社区活跃度和用户粘性。它支持跨平台记忆功能，能够记住用户在不同平台的行为和互动，从而提供更加个性化的体验。该产品主要面向直播和社交社区，支持 Twitch 和 Discord 平台，帮助用户提升内容质量和互动效果。其核心优势在于高度可定制化、跨平台记忆以及自然语言交互能力。目前，ai_licia 已被超过 4000 个社区使用，显示出其在社区互动领域的强大潜力。

LLM应用开发者平台

LangSmith是一个统一的DevOps平台,用于开发、协作、测试、部署和监控LLM应用程序。它支持LLM应用程序开发生命周期的所有阶段,为构建LLM应用提供端到端的解决方案。主要功能包括:链路追踪、提示工具、数据集、自动评估、线上部署等。适用于构建基于LLM的AI助手、 ChatGPT应用的开发者。

开源的 LLM 应用程序分析

Langfuse 是一个开源的 LLM（Low-Code Low-Magic）应用程序分析工具，提供详细的生产追踪和对质量、成本和延迟的精细视图。它能帮助团队更好地跟踪和调试复杂的 LLM 应用程序，提供预构建的分析功能，帮助团队关注改进 LLM 应用程序的关键指标。Langfuse 与任何 LLM 应用程序集成，并提供多种 SDK 和 API 供开发者使用。

通过与LLM对话构建持久知识，存于本地Markdown文件

Basic Memory是一款知识管理系统，借助与LLM的自然对话构建持久知识，并保存于本地Markdown文件。它解决了多数LLM互动短暂、知识难留存的问题。其优点包括本地优先、双向读写、结构简单、可形成知识图谱、兼容现有编辑器、基础设施轻量。定位为帮助用户打造个人知识库，采用AGPL - 3.0许可证，无明确价格信息。

无代码LLM平台，用于结构化非结构化文档。

Unstract是一个无代码的LLM（大型语言模型）平台，它允许用户通过简单的无代码方法启动APIs和ETL管道来处理非结构化文档。它支持从多种云文件/对象存储系统中读取复杂文档，并将结构化数据写入流行的数据仓库和数据库。Unstract利用大型语言模型的能力，超越了传统的RPA（机器人流程自动化），实现了机器到机器的自动化。