产品库

AI模型部署和推理优化的专家

Neural Magic是一家专注于AI模型优化和部署的公司，提供领先的企业级推理解决方案，以最大化性能和提高硬件效率。公司的产品支持在GPU和CPU基础设施上运行领先的开源大型语言模型（LLMs），帮助企业在云、私有数据中心或边缘环境中安全、高效地部署AI模型。Neural Magic的产品背景信息强调了其在机器学习模型优化方面的专业知识，以及与科研机构合作开发的创新LLM压缩技术，如GPTQ和SparseGPT。产品价格和定位方面，Neural Magic提供了免费试用和付费服务，旨在帮助企业降低成本、提高效率，并保持数据隐私和安全。

轻量级推理模型，用于生成高质量图像

Stable Diffusion 3.5是一个用于简单推理的轻量级模型，它包含了文本编码器、VAE解码器和核心MM-DiT技术。该模型旨在帮助合作伙伴组织实现SD3.5，并且可以用于生成高质量的图像。它的重要性在于其高效的推理能力和对资源的低要求，使得广泛的用户群体能够使用和享受生成图像的乐趣。该模型遵循Stability AI Community License Agreement，并且可以免费使用。

开源的去蒸馏FLUX模型

LibreFLUX是一个基于Apache 2.0许可的开源版本，提供了完整的T5上下文长度，使用注意力掩码，恢复了分类器自由引导，并去除了大部分FLUX美学微调/DPO。这意味着它比基础FLUX更不美观，但有潜力更容易地微调到任何新的分布。LibreFLUX的开发秉承开源软件的核心原则，即使用困难，比专有解决方案更慢、更笨拙，并且审美停留在21世纪初。

高效能小型语言模型

Zamba2-7B是由Zyphra团队开发的一款小型语言模型，它在7B规模上超越了当前领先的模型，如Mistral、Google的Gemma和Meta的Llama3系列，无论是在质量还是性能上。该模型专为在设备上和消费级GPU上运行以及需要强大但紧凑高效模型的众多企业应用而设计。Zamba2-7B的发布，展示了即使在7B规模上，前沿技术仍然可以被小团队和适度预算所触及和超越。

开源AI模型，可微调、蒸馏、部署。

Llama 3.2是一系列大型语言模型（LLMs），预训练和微调在1B和3B大小的多语言文本模型，以及11B和90B大小的文本和图像输入输出文本的模型。这些模型可以用于开发高性能和高效率的应用。Llama 3.2的模型可以在移动设备和边缘设备上运行，支持多种编程语言，并且可以通过Llama Stack构建代理应用程序。

开源AI搜索引擎，提供网络搜索能力。

OpenPerPlex是一个开源AI搜索引擎，利用尖端技术提供网络搜索功能。它结合了语义分块、结果重排、谷歌搜索集成以及Groq作为推理引擎等技术，支持Llama 3 70B模型，以提高搜索的准确性和效率。

先进的AI检索器，用于RAG。

DenserRetriever是一个开源的AI检索模型，专为RAG（Retrieval-Augmented Generation）设计，利用社区协作的力量，采用XGBoost机器学习技术有效结合异构检索器，旨在满足大型企业的需求，并且易于部署，支持docker快速启动。它在MTEB检索基准测试中达到了最先进的准确性，并且Hugging Face排行榜上也有其身影。

谷歌下一代Gemma模型，提供突破性的性能和效率。

Gemma 2是下一代谷歌Gemma模型，拥有27亿参数，提供与Llama 3 70B相当的性能，但模型大小仅为其一半。它在NVIDIA的GPU上运行优化，或在Vertex AI上的单个TPU主机上高效运行，降低了部署成本，使更广泛的用户能够访问和使用。Gemma 2还提供了强大的调优工具链，支持云解决方案和社区工具，如Google Cloud和Axolotl，以及与Hugging Face和NVIDIA TensorRT-LLM的无缝合作伙伴集成。

一个多功能且强大的SDXL-ControlNet模型，适用于各种线条艺术的调节。

MistoLine是一个SDXL-ControlNet模型，能够适应任何类型的线条艺术输入，展示出高精度和出色的稳定性。它基于用户提供的线条艺术生成高质量图像，适用于手绘草图、不同ControlNet线条预处理器和模型生成的轮廓。MistoLine通过采用新颖的线条预处理算法（Anyline）和基于stabilityai/stable-diffusion-xl-base-1.0的Unet模型的重新训练，以及在大型模型训练工程中的创新，展现出在复杂场景下超越现有ControlNet模型的细节恢复、提示对齐和稳定性的优越性能。

开源的先进文本嵌入模型

Snowflake Arctic Embed是一系列基于Apache 2.0许可开源的文本嵌入模型，专为检索用例设计。这些模型在Massive Text Embedding Benchmark (MTEB)检索基准测试中提供了领先的检索性能，为组织在结合专有数据集与大型语言模型（LLMs）进行检索增强生成（RAG）或语义搜索服务时提供了新的优势。这些模型的尺寸从超小型（xs）到大型（l），具有不同的上下文窗口和参数数量，以满足不同企业的延迟、成本和检索性能需求。

AI社区共建未来,开源开放科学推进AI民主化

Hugging Face是一个AI社区平台,致力于通过开源和开放科学的方式来推进人工智能的发展和民主化。它为机器学习社区提供了协作模型、数据集和应用程序的环境。主要优势包括:1)协作平台,可无限托管和共享模型、数据集和应用程序。2)开源堆栈,加速ML开发流程。3)支持多模态(文本、图像、视频、音频、3D等)。4)建立ML作品集,在全球分享你的作品。5)付费计算和企业解决方案,提供优化的推理端点、GPU支持等。

在您的设备上运行和交互完整功能的开源LLM

Sanctum是一个桌面客户端应用程序，让您能够在本地设备上运行和交互完整功能的开源大型语言模型。通过Sanctum，您可以保证数据加密、安全，并且永远不会离开您的设备。它提供易于设置的解决方案，让您能够在Mac上立即运行大型语言模型而无需复杂的安装。您可以随时切换不同的开源模型以找到最适合您需求的模型，并且可以在安全和完全私密的环境中与PDF文件进行聊天、提问和总结。

泰勒AI帮助您的工程师训练模型。

Taylor AI是一个平台，可以使您的工程团队在不需要设置GPU和解密复杂库的情况下训练语言模型。它允许您按照自己的条件训练和部署开源语言模型，让您拥有完全的控制权和数据隐私。使用Taylor AI，您可以摆脱按标记付费的定价方式，自由地部署和与您的AI模型交互。它简化了训练和优化语言模型的过程，让您的团队可以专注于构建和迭代。Taylor AI始终跟上最新的开源模型，确保您可以使用最先进的语言模型进行训练。根据您独特的合规和安全标准安全地部署您的模型。

聊天AI的替代品

Golem是一个开源的ChatGPT UI替代品，具有美观易用的设计，保护用户数据隐私，可以分享对话，并且提供定制化体验。该产品基于LLM模型，功能强大，定价合理。适用于各种聊天场景。

Google第六代张量处理单元，提供卓越的AI工作负载性能。

Trillium TPU是Google Cloud的第六代Tensor Processing Unit（TPU），专为AI工作负载设计，提供增强的性能和成本效益。它作为Google Cloud AI Hypercomputer的关键组件，通过集成的硬件系统、开放软件、领先的机器学习框架和灵活的消费模型，支持大规模AI模型的训练、微调和推理。Trillium TPU在性能、成本效率和可持续性方面都有显著提升，是AI领域的重要进步。

基于线程的数据加载解决方案，加速AI模型训练。

SPDL（Scalable and Performant Data Loading）是由Meta Reality Labs开发的一种新的数据加载解决方案，旨在提高AI模型训练的效率。它采用基于线程的并行处理，相比传统的基于进程的解决方案，SPDL在普通Python解释器中实现了高吞吐量，并且消耗的计算资源更少。SPDL与Free-Threaded Python兼容，在禁用GIL的情况下，比启用GIL的FT Python实现更高的吞吐量。SPDL的主要优点包括高吞吐量、易于理解的性能、不封装预处理操作、不引入领域特定语言（DSL）、无缝集成异步工具、灵活性、简单直观以及容错性。SPDL的背景信息显示，随着模型规模的增长，对数据的计算需求也随之增加，而SPDL通过最大化GPU的利用，加快了模型训练的速度。

自动解决软件开发问题的无代理方法

Agentless是一种无需代理的自动解决软件开发问题的方法。它通过定位、修复和补丁验证三个阶段来解决每个问题。Agentless利用分层过程定位故障到特定文件、相关类或函数，以及细粒度的编辑位置。然后，Agentless根据编辑位置采样多个候选补丁，并选择回归测试来运行，生成额外的复现测试以复现原始错误，并使用测试结果重新排名所有剩余补丁，以选择一个提交。Agentless是目前在SWE-bench lite上表现最佳的开源方法，具有82个修复（27.3%的解决率），平均每问题成本0.34美元。

开源AI语音处理工具包，支持语音增强、分离和目标说话人提取。

ClearerVoice-Studio是一个开源的AI驱动语音处理工具包，专为研究人员、开发者和最终用户设计。它提供了语音增强、语音分离、目标说话人提取等功能，并提供了最新的预训练模型以及训练和推理脚本，全部可通过此仓库访问。该工具包以其预训练模型、易用性、全面功能和社区驱动的特点而受到青睐。

前沿AI模型的规模化访问方案

ChatGPT Pro是OpenAI推出的一款月费200美元的产品，它提供了对OpenAI最先进模型和工具的规模化访问权限。该计划包括对OpenAI o1模型的无限访问，以及o1-mini、GPT-4o和高级语音功能。o1 pro模式是o1的一个版本，它使用更多的计算资源来更深入地思考并提供更好的答案，尤其是在解决最困难的问题时。ChatGPT Pro旨在帮助研究人员、工程师和其他日常使用研究级智能的个体提高生产力，并保持在人工智能进步的前沿。

AI驱动的代码补全工具

GitHub Copilot是一个由GitHub提供的AI驱动的代码补全工具，它通过机器学习技术帮助开发者在编写代码时提供智能的代码建议。该工具集成在Visual Studio Code等IDE中，能够理解代码上下文并提供整行甚至整个函数的代码补全。现在GitHub Copilot也上线了Web版。GitHub Copilot的开发背景基于大量开源代码的训练，使其能够提供高质量的代码建议，提高开发效率和代码质量。它支持多种编程语言，并且可以根据开发者的编码习惯进行个性化调整。GitHub Copilot的价格定位是为专业开发者提供付费服务，同时也提供了免费试用的机会。

AI操作系统，为智能设备提供个性化助理。

CosmOS是由Humane公司开发的AI操作系统，旨在为连接的设备宇宙构建。它通过理解用户的偏好和需求，提供个性化的协助，简化交互，并在所有设备上处理复杂的任务。CosmOS的核心是Ai Bus，一个强大的AI协调系统，它无缝地协调各种AI模型、数据集、服务和设备能力，提供流畅直观的体验。CosmOS支持多设备形态，并适应最新的AI技术发展，易于新代理和能力的加入。它还强调了数据隐私和所有权，将控制权牢牢地放在个人和组织手中。

PaliGemma 2是功能强大的视觉语言模型，简单易调优。

PaliGemma 2是Gemma家族中的第二代视觉语言模型，它在性能上进行了扩展，增加了视觉能力，使得模型能够看到、理解和与视觉输入交互，开启了新的可能性。PaliGemma 2基于高性能的Gemma 2模型构建，提供了多种模型尺寸（3B、10B、28B参数）和分辨率（224px、448px、896px）以优化任何任务的性能。此外，PaliGemma 2在化学公式识别、乐谱识别、空间推理和胸部X光报告生成等方面展现出领先的性能。PaliGemma 2旨在为现有PaliGemma用户提供便捷的升级路径，作为即插即用的替代品，大多数任务无需大幅修改代码即可获得性能提升。

高性能英文文本生成模型

OLMo-2-1124-7B-SFT是由艾伦人工智能研究所（AI2）发布的一个英文文本生成模型，它是OLMo 2 7B模型的监督微调版本，专门针对Tülu 3数据集进行了优化。Tülu 3数据集旨在提供多样化任务的顶尖性能，包括聊天、数学问题解答、GSM8K、IFEval等。该模型的主要优点包括强大的文本生成能力、多样性任务处理能力以及开源的代码和训练细节，使其成为研究和教育领域的有力工具。

腾讯开源的大型视频生成模型训练框架

HunyuanVideo是腾讯开源的一个系统性框架，用于训练大型视频生成模型。该框架通过采用数据策划、图像-视频联合模型训练和高效的基础设施等关键技术，成功训练了一个超过130亿参数的视频生成模型，是所有开源模型中最大的。HunyuanVideo在视觉质量、运动多样性、文本-视频对齐和生成稳定性方面表现出色，超越了包括Runway Gen-3、Luma 1.6在内的多个行业领先模型。通过开源代码和模型权重，HunyuanVideo旨在缩小闭源和开源视频生成模型之间的差距，推动视频生成生态系统的活跃发展。

AI驱动的开源笔记/研究平台，尊重您的隐私。

Open Notebook是一个结合了人工智能的强大开源笔记和研究平台，专为研究人员、学生和专业人士设计，旨在增强他们的学习和能力，同时完全控制工作流程、模型以及数据的使用和暴露。该产品代表了一种新型的隐私保护学习工具，它通过AI技术帮助用户整理笔记、生成播客和深入理解学习内容，同时确保用户的数据隐私不受侵犯。Open Notebook的背景信息显示，它是一个开源项目，鼓励社区参与和贡献，以构建一个能够个性化辅助每个人发展的智能伙伴。

Prompt越狱手册，AI技术交流与越狱技巧分享平台。

PromptJailbreakManual是一个专注于AI越狱技术的平台，提供技术交流和分享越狱技巧。它代表了AI技术在越狱领域的应用，强调了技术的重要性和创新性。该平台背景信息显示，它由Acmesec组织发起，旨在通过开源协作的方式，共同探索和突破AI的限制。产品定位为技术爱好者和专业人士提供交流和学习的空间，目前是免费提供给用户使用。

Stable Diffusion 3.5 Large的三款ControlNets模型

ControlNets for Stable Diffusion 3.5 Large是Stability AI推出的三款图像控制模型，包括Blur、Canny和Depth。这些模型能够提供精确和便捷的图像生成控制，适用于从室内设计到角色创建等多种应用场景。它们在用户偏好的ELO比较研究中排名第一，显示出其在同类模型中的优越性。这些模型在Stability AI社区许可下免费提供给商业和非商业用途，对于年收入不超过100万美元的组织和个人，使用完全免费，并且产出的媒体所有权归用户所有。

AI驱动的动物图像生成器，快速创建高质量动物图像。

Random Animal Generator是一个利用先进人工智能技术的网站，用户可以在短时间内生成高质量、独特的动物图像。这项技术的重要性在于它能够快速满足用户对动物图像的需求，无论是用于娱乐、教育还是设计灵感。产品背景信息显示，该网站由专业的机器学习算法支持，能够提供即时的结果和多样化的动物种类及风格选择。价格方面，网站提供了不同层次的服务选项，以满足不同用户的需求。

开创性的质量与成本新标准的图谱增强型检索增强生成模型

LazyGraphRAG是微软研究院开发的一种新型图谱增强型检索增强生成（RAG）模型，它不需要预先对源数据进行总结，从而避免了可能让一些用户和用例望而却步的前期索引成本。LazyGraphRAG在成本和质量方面具有内在的可扩展性，它通过推迟使用大型语言模型（LLM）来大幅提高答案生成的效率。该模型在本地和全局查询的性能上均展现出色，同时查询成本远低于传统的GraphRAG。LazyGraphRAG的出现，为AI系统在私有数据集上处理复杂问题提供了新的解决方案，具有重要的商业和技术价值。

开源AI代理项目，展示如何构建强大的AI代理并流式传输响应及生成工件。

PostBot 3000是一个开源项目，展示了如何构建一个强大的AI代理，流式传输响应并生成工件。该项目使用LangGraph Python构建AI工作流，并使用FastAPI创建一个健壮的API。它利用了多种技术栈，包括LangGraph、Vercel AI SDK、gpt-4o-mini、FastAPI、Next.js、TailwindCSS等。PostBot 3000的开源特性使得任何想要实现类似解决方案的人都能够更容易地进行开发和部署。