产品库

任务感知型提示优化框架

PromptWizard是由微软开发的一个任务感知型提示优化框架，它通过自我演化机制，使得大型语言模型（LLM）能够生成、批评和完善自己的提示和示例，通过迭代反馈和综合不断改进。这个自适应方法通过进化指令和上下文学习示例来全面优化，以提高任务性能。该框架的三个关键组件包括：反馈驱动的优化、批评和合成多样化示例、自生成的思考链（Chain of Thought, CoT）步骤。PromptWizard的重要性在于它能够显著提升LLM在特定任务上的表现，通过优化提示和示例来增强模型的性能和解释性。

自我提升的安全 LLM

Automorphic 是一个安全、自我提升的语言模型平台。它使用 fine-tuning 技术将知识注入语言模型，绕过上下文窗口的限制。您可以训练适配器以实现特定行为或知识，并在运行时动态组合和切换它们。同时，Automorphic 提供人机交互反馈，以快速迭代模型，并将其投入生产环境。您还可以使用 Automorphic Hub 上的公开模型进行推理。

高效的 Intel GPU 上的 LLM 推理解决方案

这是一种在 Intel GPU 上实现的高效的 LLM 推理解决方案。通过简化 LLM 解码器层、使用分段 KV 缓存策略和自定义的 Scaled-Dot-Product-Attention 内核，该解决方案在 Intel GPU 上相比标准的 HuggingFace 实现可实现高达 7 倍的令牌延迟降低和 27 倍的吞吐量提升。详细功能、优势、定价和定位等信息请参考官方网站。

比较各种大型语言模型（LLM）的定价信息

LLM Pricing是一个聚合并比较各种大型语言模型（LLMs）定价信息的网站，这些模型由官方AI提供商和云服务供应商提供。用户可以在这里找到最适合其项目的语言模型定价。

帮助您成为LLM专家的博客。

LLM Logs是一个专注于帮助用户优化其内容以适应大型语言模型的博客。它提供全面的LLM SEO指南，帮助用户提高在AI生成的响应中的可见性。

使用简单、原始的 C/CUDA 进行 LLM 训练

karpathy/llm.c 是一个使用简单的 C/CUDA 实现 LLM 训练的项目。它旨在提供一个干净、简单的参考实现,同时也包含了更优化的版本,可以接近 PyTorch 的性能,但代码和依赖大大减少。目前正在开发直接的 CUDA 实现、使用 SIMD 指令优化 CPU 版本以及支持更多现代架构如 Llama2、Gemma 等。

扩展LLM上下文窗口

LLM Context Extender是一款旨在扩展大型语言模型（LLMs）上下文窗口的工具。它通过调整RoPE的基础频率和缩放注意力logits的方式，帮助LLMs有效适应更大的上下文窗口。该工具在精细调整性能和稳健性方面验证了其方法的优越性，并展示了在仅有100个样本和6个训练步骤的情况下，将LLaMA-2-7B-Chat的上下文窗口扩展到16,384的非凡效率。此外，还探讨了数据组成和训练课程如何影响特定下游任务的上下文窗口扩展，建议以长对话进行LLMs的精细调整作为良好的起点。

一个为LLM生成Git提交信息的插件

llm-commit 是一个为 LLM（Large Language Model）设计的插件，用于生成 Git 提交信息。该插件通过分析 Git 的暂存区差异，利用 LLM 的语言生成能力，自动生成简洁且有意义的提交信息。它不仅提高了开发者的提交效率，还确保了提交信息的质量和一致性。该插件适用于任何使用 Git 和 LLM 的开发环境，免费开源，易于安装和使用。

将LLM上下文窗口扩展至200万令牌的技术

LongRoPE是微软推出的技术，可以将预训练大型语言模型（LLM）的上下文窗口扩展到2048k（200万）令牌，实现从短上下文到长上下文的扩展，降低训练成本和时间，同时保持原有短上下文窗口性能。适用于提高语言模型在长文本上的理解和生成能力，提升机器阅读理解、文本摘要和长篇文章生成等任务。

基于AI演化算法的股票短线交易软件

Deep Node 开发了一款基于AI演化算法的股票短线交易软件。该软件中的交易模型是活的,能够适应不断变化的市场条件,以盈利方式进行多资产的短期交易。主要功能有:1. 演化型计算平台:通过AI演化算法优化交易模型;2. 多细胞AI系统:模拟自组织系统,实现更稳定的模型;3. 提供智能、架构和平台等服务,帮助用户获得额外收益。关键优势是交易模型能够实时演化和适应市场,实现稳定盈利。定位是高端股票交易辅助工具。

构建LLM应用的开发平台

LLM Spark是一个开发平台，可用于构建基于LLM的应用程序。它提供多个LLM的快速测试、版本控制、可观察性、协作、多个LLM支持等功能。LLM Spark可轻松构建AI聊天机器人、虚拟助手等智能应用程序，并通过与提供商密钥集成，实现卓越性能。它还提供了GPT驱动的模板，加速了各种AI应用程序的创建，同时支持从零开始定制项目。LLM Spark还支持无缝上传数据集，以增强AI应用程序的功能。通过LLM Spark的全面日志和分析，可以比较GPT结果、迭代和部署智能AI应用程序。它还支持多个模型同时测试，保存提示版本和历史记录，轻松协作，以及基于意义而不仅仅是关键字的强大搜索功能。此外，LLM Spark还支持将外部数据集集成到LLM中，并符合GDPR合规要求，确保数据安全和隐私保护。

无限令牌，无限制，成本效益高的LLM推理API平台。

Awan LLM是一个提供无限令牌、无限制、成本效益高的LLM（大型语言模型）推理API平台，专为高级用户和开发者设计。它允许用户无限制地发送和接收令牌，直到模型的上下文限制，并且使用LLM模型时没有任何约束或审查。用户只需按月付费，而无需按令牌付费，这大大降低了成本。Awan LLM拥有自己的数据中心和GPU，因此能够提供这种服务。此外，Awan LLM不记录任何提示或生成内容，保护用户隐私。

基于ComfyUI前端开发的LLM工作流节点集合

ComfyUI LLM Party旨在基于ComfyUI前端开发一套完整的LLM工作流节点集合，使用户能够快速便捷地构建自己的LLM工作流，并轻松地将它们集成到现有的图像工作流中。

将GitHub链接转换为适合LLM的格式

GitHub to LLM Converter是一个在线工具，旨在帮助用户将GitHub上的项目、文件或文件夹链接转换成适合大型语言模型（LLM）处理的格式。这一工具对于需要处理大量代码或文档数据的开发者和研究人员来说至关重要，因为它简化了数据准备过程，使得这些数据可以被更高效地用于机器学习或自然语言处理任务。该工具由Skirano开发，提供了一个简洁的用户界面，用户只需输入GitHub链接，即可一键转换，极大地提高了工作效率。

微软推出的系统增强工具集

PowerToys 是微软推出的一款面向高级用户的系统增强工具集，旨在提高用户的工作效率和系统使用体验。它包含了多种实用工具，如颜色选择器、窗口管理、文件资源管理器插件等，以帮助用户更好地管理他们的Windows系统。

在微软Word中革新合同起草和审查

Tynal是在微软Word中用于合同起草和审查的最终插件。简化合同创建、修改，并轻松确保合规性。

语言模型自我奖励训练

本产品是一种自奖励语言模型，通过 LLM 作为裁判，使用模型自身提供的奖励信号进行训练。通过迭代的 DPO 训练，模型不仅可以提高遵循指令的能力，还能提供高质量的自我奖励。经过三次迭代的 Fine-tuning，本产品在 AlpacaEval 2.0 排行榜上超过了许多现有系统，包括 Claude 2、Gemini Pro 和 GPT-4 0613。这项工作虽然只是初步研究，但为模型在两个方面持续改进的可能性打开了大门。

微软必应推出的深度搜索功能,提供更相关更全面的答案

Deep Search是微软必应推出的一项新的搜索功能,通过利用GPT-4等生成式AI模型,它可以对复杂的搜索查询进行扩展和理解,从而提供更加相关和全面的搜索结果。这一功能可以深入挖掘网络,找到一般搜索无法触及的信息。主要功能包括:理解搜索意图,扩展搜索词;深度搜索相关页面;按相关性对结果排序。适用于当一般搜索无法满足需求时,需要更加全面和准确的答案时。通过AI赋能,它将大幅提升必应搜索的质量。

微软最新的小型语言模型，专注于复杂推理

Phi-4是微软Phi系列小型语言模型的最新成员，拥有14B参数，擅长数学等复杂推理领域。Phi-4通过使用高质量的合成数据集、精选有机数据和后训练创新，在大小与质量之间取得了平衡。Phi-4体现了微软在小型语言模型（SLM）领域的技术进步，推动了AI技术的边界。Phi-4目前已在Azure AI Foundry上提供，并将在未来几周登陆Hugging Face平台。

世界自我实现方法的综合

IX Coach是Next AI Labs的一个项目。在Next AI Labs，我们致力于构建支持人类发展的AI工具。我们专注于AI如何在当今为人类服务以及如何将其引入世界的方式。 IX Coach通过帮助人们实现自我实现的目标，为他们提供了一个安全且高效的自我辅导平台。通过建立自我意识、探索内在世界、增强自我意识、突破限制和提供自适应支持等功能，IX Coach使用户能够更好地了解自己、面对挑战并追求自我发展。 除了提供多种功能和益处外，IX Coach还为用户提供了早期访问的机会，用户可以通过多种方式开始使用平台，并根据自己的需求选择合适的自我辅导方式。

深入研究大型语言模型的内部一致性和自我反馈

ICSFSurvey是一个关于大型语言模型内部一致性和自我反馈的调查研究。它提供了对LLMs自我评估和自我更新机制的统一视角，包括理论框架、系统分类、评估方法、未来研究方向等。

一个用于LLM预训练的高效网络爬虫工具，专注于高效爬取高质量网页数据。

Crawl4LLM是一个开源的网络爬虫项目，旨在为大型语言模型（LLM）的预训练提供高效的数据爬取解决方案。它通过智能选择和爬取网页数据，帮助研究人员和开发者获取高质量的训练语料。该工具支持多种文档评分方法，能够根据配置灵活调整爬取策略，以满足不同的预训练需求。项目基于Python开发，具有良好的扩展性和易用性，适合在学术研究和工业应用中使用。

AI驱动的自我提升工具

Therabot是一款AI驱动的自我提升工具，通过智能算法帮助用户实现自我改善。它提供个性化建议和指导，帮助用户应对困难和挑战，实现更好的生活和职业目标。Therabot提供各种功能，包括情绪管理、目标设置、时间管理和健康指导等。它通过分析用户的数据和行为模式来提供个性化的建议和指导，帮助用户更好地理解自己并实现自我成长。

集成大型语言模型的SDK

Semantic Kernel是一个集成了大型语言模型（LLMs）如OpenAI、Azure OpenAI和Hugging Face的软件开发工具包（SDK），它允许开发者通过定义可串联的插件，在几行代码内实现与AI的交互。其特色在于能够自动编排AI插件，使用户能够通过LLM生成实现特定目标的计划，并由Semantic Kernel执行该计划。

每日自我关爱，让心灵更加健康

Mindset是一个每日自我关爱和健康平台，提供来自你最喜爱的艺术家的真实而亲密的音频收集。通过分享真实的故事和经历，Mindset帮助人们在一个超级联系的世界中找到安全感。Mindset的功能包括艺人分享心灵鸡汤、每日关怀提醒、心情反思、专家指导、每日励志语录、社区交流等。Mindset致力于为全球人们提供简单、易于使用的每日自我关爱工具。

一个关于大型语言模型（LLM）后训练方法的教程、调查和指南资源库。

Awesome-LLM-Post-training 是一个专注于大型语言模型（LLM）后训练方法的资源库。它提供了关于 LLM 后训练的深入研究，包括教程、调查和指南。该资源库基于论文《LLM Post-Training: A Deep Dive into Reasoning Large Language Models》，旨在帮助研究人员和开发者更好地理解和应用 LLM 后训练技术。该资源库免费开放，适合学术研究和工业应用。

全面的健康习惯追踪器，助力自我提升。

Doti是一款健康和习惯追踪APP，由Pixocial Technology (Singapore) Pte. Ltd.开发。它通过AI技术帮助用户追踪习惯、管理时间、理解情绪和实现目标。产品特点包括AI习惯追踪器、日常计划、睡眠报告、情绪日记、AI聊天和梦境分析等，旨在帮助用户全面掌控自己的健康和福祉。

3D可视化的GPT-style LLM

LLM Visualization项目显示了一个GPT-style网络的3D模型。也就是OpenAI的GPT-2、GPT-3（可能还有GPT-4）中使用的网络拓扑。第一个显示工作权重的网络是一个小型网络，对由字母A、B和C组成的小列表进行排序。这是Andrej Karpathy的minGPT实现中的演示示例模型。渲染器还支持可视化任意大小的网络，并且与较小的gpt2大小一起工作，尽管权重没有被下载（它有数百MB）。CPU Simulation项目运行2D原理数字电路，具有完整的编辑器。意图是添加一些演练，展示诸如：如何构建一个简单的RISC-V CPU；构成部分下至门级：指令解码、ALU、加法等；更高级的CPU思想，如各种级别的流水线、缓存等。

未来自我模拟，人生规划助手

Future You是一个在线模拟工具，旨在帮助用户通过一系列问题和模拟，反思和设想自己未来的生活。用户通过回答关于现在的自己、理想生活、职业规划等问题，与AI生成的未来自我进行互动，从而获得对未来的深刻洞察和规划。

LLM应用开发者平台

LangSmith是一个统一的DevOps平台,用于开发、协作、测试、部署和监控LLM应用程序。它支持LLM应用程序开发生命周期的所有阶段,为构建LLM应用提供端到端的解决方案。主要功能包括:链路追踪、提示工具、数据集、自动评估、线上部署等。适用于构建基于LLM的AI助手、 ChatGPT应用的开发者。