产品库

切片GPT：通过删除行和列来压缩大型语言模型

切片GPT是一种新的后训练稀疏化方案，它通过用较小（密集）的矩阵替换每个权重矩阵来减少网络的嵌入维度。通过大量实验，我们展示了切片GPT可以在保持99%、99%和90%的零-shot任务性能的前提下，移除LLAMA2-70B、OPT 66B和Phi-2模型的高达25%的模型参数（包括嵌入）。我们的切片模型在较少的GPU上运行，并且在不进行任何额外代码优化的情况下运行速度更快：在24GB消费级GPU上，我们将LLAMA2-70B的推理总计算量减少到密集模型的64%；在40GB A100 GPU上，我们将其减少到66%。我们提供了一个新的见解，即变压器网络中的计算不变性，这使得切片GPT成为可能。我们希望它能激发并促进未来减少预训练模型的内存和计算需求的新途径。

PyTorch原生量化和稀疏性训练与推理库

torchao是PyTorch的一个库，专注于自定义数据类型和优化，支持量化和稀疏化权重、梯度、优化器和激活函数，用于推理和训练。它与torch.compile()和FSDP2兼容，能够为大多数PyTorch模型提供加速。torchao旨在通过量化感知训练（QAT）和后训练量化（PTQ）等技术，提高模型的推理速度和内存效率，同时尽量减小精度损失。

为文本到视频扩散模型添加稀疏控制

SparseCtrl是为了增强对文本到视频生成的控制性而开发的，它能够灵活地结合稀疏信号进行结构控制，只需一个或少量输入。它包括一个额外的条件编码器来处理这些稀疏信号，同时不影响预训练的文本到视频模型。该方法兼容各种形式，包括素描、深度和RGB图像，为视频生成提供更实用的控制，并推动故事板、深度渲染、关键帧动画和插值等应用。大量实验证明了SparseCtrl在原始和个性化文本到视频生成器上的泛化能力。

Gemma 2 9B和2B模型的稀疏自编码器套件

Gemma Scope是一套为Gemma 2的9B和2B模型设计的稀疏自编码器，它像显微镜一样帮助我们分析模型内部的激活，从而理解其背后的概念。这些自编码器可以用于研究模型的内部激活，类似于生物学家用显微镜研究植物和动物的细胞。

自动语音识别模型压缩与优化工具

WhisperKit是一个用于自动语音识别模型压缩与优化的工具。它支持对模型进行压缩和优化，并提供了详细的性能评估数据。WhisperKit还提供了针对不同数据集和模型格式的质量保证认证，并支持本地复现测试结果。

长视频语言理解的时空自适应压缩模型

LongVU是一种创新的长视频语言理解模型，通过时空自适应压缩机制减少视频标记的数量，同时保留长视频中的视觉细节。这一技术的重要性在于它能够处理大量视频帧，且在有限的上下文长度内仅损失少量视觉信息，显著提升了长视频内容理解和分析的能力。LongVU在多种视频理解基准测试中均超越了现有方法，尤其是在理解长达一小时的视频任务上。此外，LongVU还能够有效地扩展到更小的模型尺寸，同时保持最先进的视频理解性能。

让您的模型定制更加个性化

FABRIC 是一个通过迭代反馈来个性化定制扩散模型的工具。它提供了一种简单的方法来根据用户的反馈来改进模型的性能。用户可以通过迭代的方式与模型进行交互，并通过反馈来调整模型的预测结果。FABRIC 还提供了丰富的功能，包括模型训练、参数调整和性能评估。它的定价根据用户的使用情况而定，可满足不同用户的需求。

大模型重塑千行百业

盘古大模型是华为云推出的人工智能解决方案，通过 NLP 大模型、CV 大模型、多模态大模型、预测大模型和科学计算大模型等多个模型，实现对话问答、图像识别、多模态处理、预测分析和科学计算等多种功能。盘古大模型具有高效适配、高效标注和准确可控的特点，可广泛应用于各行各业。详情请访问官方网址。

一个基于稀疏专家模型的大型语言模型

Mixtral-8x22B是一个预训练的生成式稀疏专家语言模型。它由Mistral AI团队开发,旨在推进人工智能的开放发展。该模型具有141B个参数,支持多种优化部署方式,如半精度、量化等,以满足不同的硬件和应用场景需求。Mixtral-8x22B可以用于文本生成、问答、翻译等自然语言处理任务。

计算机视觉自动化和RPA工具

U-xer是一款基于计算机视觉的测试自动化和RPA工具，旨在自动化屏幕上看到的任何内容，包括Web和桌面应用程序。它具有易用和高级两种模式，可以满足非技术用户和高级用户的不同需求。U-xer能够识别屏幕，像人类一样解释屏幕内容，实现更自然、准确的自动化。它适用于各种应用场景，包括Web应用程序、桌面软件、移动设备等，并提供定制化解决方案。U-xer的定价和定位请查看官方网站。

定制化JavaScript运费计算，优化电子商务体验

JsRates是一款用于定制化运费计算的创新型Shopify应用，通过JavaScript提供了商家无与伦比的灵活性和控制力，为其独特的业务需求设计定制化的运费规则。通过JsRates优化您的运费策略，适应市场需求。

专为 AI 设计的 GPU 云平台，提供高性能基础设施和全天候支持。

CoreWeave GPU 云计算是一个专为人工智能工作负载打造的云平台，提供灵活且高效的 GPU 集群，能够满足企业在大规模计算和存储方面的需求。它的主要优势包括极高的性能、可靠性和可扩展性，适合各种 AI 应用场景。通过 CoreWeave，用户能够显著降低云成本，同时提升服务响应速度，是 AI 创新的理想选择。

减少计算并提高模型准确性，轻松高效地构建您的 AI 模型

CentML 是一个高效、节约成本的 AI 模型训练和部署平台。通过使用 CentML，您可以提升 GPU 效率、降低延迟、提高吞吐量，实现计算的高性价比和强大性能。

日志和可视化计算机视觉数据

Rerun是一个用于记录计算机视觉和机器人数据的SDK，配有可视化工具，用于随时间查看和调试数据。它可以帮助您以最少的代码调试和理解系统的内部状态和数据。Rerun提供灵活、快速和可移植的功能，适用于实时应用和数据探索。

在线编辑、转换、压缩、合并和签署PDF文件

Smallpdf是一个易于使用的在线PDF工具，提供编辑、转换、压缩、合并和签署PDF文件的功能。它可以帮助用户轻松处理PDF文件，提高工作效率。Smallpdf还提供AI智能摘要功能，可以从Google Scholar中摘要PDF文件的内容。用户可以免费使用Smallpdf的基本功能，也可以选择购买Pro版本以获取更多高级功能。

AI项目成本计算器，比较不同AI模型的成本。

OpenAI和其他大型语言模型(LLM)API的成本计算器，帮助企业和开发者评估和比较不同AI模型在项目中的成本。该工具提供了包括OpenAI、Azure、Anthropic、Llama 3、Google Gemini、Mistral和Cohere等在内的多个模型的价格计算。它基于输入的token数、输出的token数和API调用次数来计算成本。

Vision Arena是一个面向计算机视觉领域的开源模型测试平台

Vision Arena是一个由Hugging Face创建的开源平台,用于测试和比较不同的计算机视觉模型效果。它提供了一个友好的界面,允许用户上传图片并通过不同模型处理,从而直观地对比结果质量。平台预装了主流的图像分类、对象检测、语义分割等模型,也支持自定义模型。关键优势是开源免费,使用简单,支持多模型并行测试,有利于模型效果评估和选择。适用于计算机视觉研发人员、算法工程师等角色,可以加速计算机视觉模型的实验和调优。

高效能的语言模型，支持本地智能和设备端计算。

Ministral-8B-Instruct-2410是由Mistral AI团队开发的一款大型语言模型，专为本地智能、设备端计算和边缘使用场景设计。该模型在类似的大小模型中表现优异，支持128k上下文窗口和交错滑动窗口注意力机制，能够在多语言和代码数据上进行训练，支持函数调用，词汇量达到131k。Ministral-8B-Instruct-2410模型在各种基准测试中表现出色，包括知识与常识、代码与数学以及多语言支持等方面。该模型在聊天/竞技场（gpt-4o判断）中的性能尤为突出，能够处理复杂的对话和任务。

开放大模型生态，驱动智能化未来

火山方舟提供模型训练、推理、评测、精调等全方位功能与服务，并重点支撑大模型生态。精选模型，保障模型稳定性，丰富的平台应用与工具，信息安全，强劲算力，专业服务。主要功能包括模型广场、模型体验、模型训练推理、模型应用等。适用于汽车、金融、大消费、泛互联网、教育办公等行业场景。

免费在线视频处理工具，支持压缩、转换、倍速等功能

AI-FFmpeg是一个在线视频处理工具，它利用FFmpeg的强大功能，为用户提供了一个简单易用的界面来处理视频文件。该产品支持视频转码、压缩、音频提取、裁剪、旋转和基本效果调整等多种功能，是视频编辑和处理的有力助手。AI-FFmpeg以其免费、易用和功能全面的特点，满足了广大视频爱好者和专业人士的需求。

通过生成推理扩大过程奖励模型的测试时间计算。

GenPRM 是一种新兴的过程奖励模型（PRM），通过生成推理来提高在测试时的计算效率。这项技术能够在处理复杂任务时提供更准确的奖励评估，适用于多种机器学习和人工智能领域的应用。其主要优点是能够在资源有限的情况下优化模型性能，并在实际应用中降低计算成本。

提升效率，实现自动化

Soratech工作流自动化咨询致力于帮助企业提升效率和生产力。通过深入分析业务流程，并与您合作，我们将自动化处理流程，为您提供高效的解决方案。我们的团队与Smartsuite、Monday.com和Make.com等自动化专家合作，为您提供宝贵的建议和实施方案。我们还提供定制的培训和指导，帮助您不断改进和提升技能。让我们一起实现成功的工作流自动化吧！

利用压缩比快速检测AI生成文本的工具

ZipPy是一个研究性质的快速AI检测工具，它使用压缩比来间接测量文本的困惑度。ZipPy通过比较AI生成的语料库与提供的样本之间的相似性来进行分类。该工具的主要优点是速度快、可扩展性强，并且可以嵌入到其他系统中。ZipPy的背景信息显示，它是作为对现有大型语言模型检测系统的补充，这些系统通常使用大型模型来计算每个词的概率，而ZipPy提供了一种更快的近似方法。

面向生成场景的可控大语言模型

孟子生成式大模型（孟子 GPT）是一个面向生成场景的可控大语言模型，能够通过多轮的方式帮助用户完成特定场景中的多种工作任务。它支持知识问答、多语言翻译、通用写作和金融场景任务等功能，具有更可控、更灵活、更个性、更专业的优势。具体定价和使用方式请咨询官方网站。

全球首个去中心化的10B参数模型训练平台

INTELLECT-1是基于Llama-3架构的10B参数模型，它通过去中心化的方式允许任何人贡献计算资源并参与模型训练。这一创新的模式不仅降低了大型AI模型训练的门槛，还促进了全球范围内的协作和资源共享。产品背景信息显示，INTELLECT-1致力于推动AI技术的民主化，让更多人能够参与到先进的AI模型训练中来。目前，该平台提供免费试用，用户可以通过贡献计算资源来参与训练，并获得相应的回报。

加速长上下文大型语言模型的推理过程

MInference是一个针对长上下文大型语言模型（LLMs）的推理加速框架。它利用了LLMs注意力机制中的动态稀疏特性，通过静态模式识别和在线稀疏索引近似计算，显著提升了预填充（pre-filling）的速度，实现了在单个A100 GPU上处理1M上下文的10倍加速，同时保持了推理的准确性。

一站式去中心化AI平台,集成了去中心化超级计算机

AIxBlock是一个综合性的链上AI平台,集成了去中心化超级计算机。主要功能包括:数据引擎进行数据采集、整理和标注;低代码MLOps平台轻松构建和部署AI模型;通过链上共识机制实时验证AI模型质量;提供去中心化计算力交易市场,节省90%计算成本;基于P2P无手续费交易;通过区块链共识确保数据质量;所有交易在链上安全透明记录。适用于AI开发者、计算力供应商、自由职业者等。

自动化代码审查工具，提升开发效率。

Kypso是一个自动化代码审查工具，旨在通过人工智能技术帮助开发者快速、客观地审查代码，发现潜在的bug和代码质量问题，同时提供代码风格和潜在问题的反馈。它通过聚合变更和总结更新，简化了代码审查流程，确保了代码质量的一致性。Kypso还提供了灵活的自定义设置，以满足不同工程团队的特定需求。此外，Kypso注重数据安全和隐私保护，不存储任何原始数据，确保用户信息的安全。

AI辅助量子计算

Quantum Copilot是一个AI辅助量子计算工具，帮助量子计算爱好者和专业人士编写量子计算程序。它可以用简单的语言编写量子算法，绘制量子电路，将量子代码转换为各种编程语言和库之间的格式，并在量子模拟器或实际的量子硬件上运行量子程序。Quantum Copilot由最新的人工智能和大型语言模型驱动，能够理解复杂的问题并提供准确和有用的答案。

一种可扩展的内存层实现，用于在不增加计算量的情况下扩展模型参数.

Memory Layers at Scale 是一种创新的内存层实现方式，通过可训练的键值查找机制，在不增加浮点运算次数的情况下为模型增加额外的参数。这种方法在大规模语言模型中尤为重要，因为它能够在保持计算效率的同时，显著提升模型的存储和检索能力。该技术的主要优点包括高效扩展模型容量、降低计算资源消耗以及提高模型的灵活性和可扩展性。该项目由 Meta Lingua 团队开发，适用于需要处理大规模数据和复杂模型的场景。