产品库

一种用于生成超详细图像描述的模型，用于训练视觉语言模型。

ImageInWords (IIW) 是一个由人类参与的循环注释框架，用于策划超详细的图像描述，并生成一个新的数据集。该数据集通过评估自动化和人类并行（SxS）指标来实现最先进的结果。IIW 数据集在生成描述时，比以往的数据集和GPT-4V输出在多个维度上有了显著提升，包括可读性、全面性、特异性、幻觉和人类相似度。此外，使用IIW数据微调的模型在文本到图像生成和视觉语言推理方面表现出色，能够生成更接近原始图像的描述。

统一高效的RAG检索微调和推理框架

RAG-Retrieval是一个全链路的RAG检索微调和推理框架，支持多种RAG Reranker模型的推理，包括向量模型、迟交互式模型和交互式模型。它提供了一个轻量级的Python库，使得用户能够以统一的方式调用不同的RAG排序模型，简化了排序模型的使用和部署。

一款高效经济的语言模型，具有强大的专家混合特性。

DeepSeek-V2是一个由236B参数构成的混合专家（MoE）语言模型，它在保持经济训练和高效推理的同时，激活每个token的21B参数。与前代DeepSeek 67B相比，DeepSeek-V2在性能上更强，同时节省了42.5%的训练成本，减少了93.3%的KV缓存，并提升了最大生成吞吐量至5.76倍。该模型在8.1万亿token的高质量语料库上进行了预训练，并通过监督式微调（SFT）和强化学习（RL）进一步优化，使其在标准基准测试和开放式生成评估中表现出色。

致力于收录开源社区的phi3训练变体版本，整理训练、推理、部署教程。

phi3-Chinese是一个公共的GitHub仓库，专注于收集和整理开源社区中关于phi3模型的各种训练变体版本。它不仅提供了不同版本的phi3模型下载链接，还包含了训练、推理、部署的相关教程，旨在帮助开发者更好地理解和使用phi3模型。

AI图片生成式开发者平台

fal.ai 是一款面向开发者的生成媒体平台，提供了业界最快的推理引擎，可以让您以更低的成本运行扩散模型，创造出全新的用户体验。它拥有实时、无缝的 WebSocket 推理基础设施，为开发者带来了卓越的使用体验。fal.ai 的定价方案根据实际使用情况灵活调整，确保您只为消耗的计算资源付费，实现了最佳的可扩展性和经济性。

Qwen1.5系列首个千亿参数开源模型，多语言支持，高效Transformer解码器架构。

Qwen1.5-110B是Qwen1.5系列中规模最大的模型，拥有1100亿参数，支持多语言，采用高效的Transformer解码器架构，并包含分组查询注意力（GQA），在模型推理时更加高效。它在基础能力评估中与Meta-Llama3-70B相媲美，在Chat评估中表现出色，包括MT-Bench和AlpacaEval 2.0。该模型的发布展示了在模型规模扩展方面的巨大潜力，并且预示着未来通过扩展数据和模型规模，可以获得更大的性能提升。

HiDiffusion，解锁预训练扩散模型中的高分辨率创作与效率。

HiDiffusion是一个预训练扩散模型，通过仅添加一行代码即可提高扩散模型的分辨率和速度。该模型通过Resolution-Aware U-Net (RAU-Net)和Modified Shifted Window Multi-head Self-Attention (MSW-MSA)技术，动态调整特征图大小以解决对象复制问题，并优化窗口注意力以减少计算量。HiDiffusion能够将图像生成分辨率扩展到4096×4096，同时保持1.5-6倍于以往方法的推理速度。

高效的企业级人工智能模型，低成本实现高质量定制模型。

Snowflake Arctic 是一款专为企业级人工智能任务设计的大规模语言模型（LLM），它在 SQL 生成、编码以及指令遵循等基准测试中表现出色，即使与计算预算更高的开源模型相比也毫不逊色。Arctic 通过其高效的训练和推理，为 Snowflake 客户以及广大 AI 社区提供了一种成本效益极高的定制模型创建方式。此外，Arctic 采用 Apache 2.0 许可，提供无门槛的权重和代码访问，并通过开源数据配方和研究洞察，进一步推动了社区的开放性和成本效益。

Phi-3 Mini-128K-Instruct ONNX优化模型促进推理加速

Phi-3 Mini是一个轻量级的顶尖开源模型,建立在Phi-2使用的合成数据和过滤网站之上,专注于高质量的推理密集型数据。这个模型属于Phi-3系列,mini版本有两个变体支持4K和128K上下文长度。该模型经过了严格的增强过程,包括监督式微调和直接偏好优化,以确保精准遵循指令和强大的安全措施。这些经过ONNX优化的Phi-3 Mini模型可在CPU、GPU和移动设备上高效运行。微软还推出了ONNX Runtime Generate() API,简化了Phi-3的使用。

高效图像合成的新框架

Hyper-SD是一个创新的图像合成框架，它通过轨迹分割一致性模型和低步数推理的优势，实现了高效的图像合成。该框架结合了ODE轨迹保留和重构的优势，同时通过人类反馈学习进一步提升了性能，并通过分数蒸馏技术增强了低步数生成能力。Hyper-SD在1到8步推理步骤中实现了SOTA性能，特别适合需要快速且高质量图像生成的应用场景。

首个llama3中文版，多轮对话AI模型

llama3-Chinese-chat是首个llama3的中文对话版本，专为中文用户设计，支持高质量的多轮对话。它使用了170k+的中文对话数据进行训练，具备角色扮演、agent能力增强等特性，并提供了详细的训练和推理教程。此外，项目还计划开源浏览器插件，增加AI笔记和思维导图功能，进一步增强用户体验。

Meta 新一代开源大型语言模型,性能卓越

Meta Llama 3是Meta公司推出的新一代开源大型语言模型,性能卓越,在多项行业基准测试中表现出色。它可支持广泛的使用场景,包括改善推理能力等新功能。该模型将在未来支持多语种、多模态,提供更长的上下文窗口和整体性能提升。Llama 3秉承开放理念,将被部署在主要云服务、托管和硬件平台上,供开发者和社区使用。

万亿参数MoE文本大模型

abab 6.5系列包含两个模型：abab 6.5和abab 6.5s，均支持200k tokens的上下文长度。abab 6.5包含万亿参数，而abab 6.5s则更高效，能在1秒内处理近3万字的文本。它们在知识、推理、数学、编程、指令遵从等核心能力测试中表现出色，接近行业领先水平。

4K文本到图像生成的扩散变换器

PixArt-Sigma是一个基于PyTorch的模型定义、预训练权重和推理/采样代码的集合，用于探索4K文本到图像生成的弱到强训练扩散变换器。它支持从低分辨率到高分辨率的图像生成，提供了多种功能和优势，如快速体验、用户友好的代码库和多种模型选择。

面向AI开发者的GPU云平台,高性价比,极致体验,计费灵活

GpuMall智算云是一个面向AI开发者的GPU云平台,提供高性价比的计算资源,灵活的计费方式,以及弹性的调度能力,可以满足AI开发者的各种需求。用户可以在这里快速租用GPU资源进行AI模型训练和推理,并且可以根据实际使用情况灵活调整资源配置,达到最佳性价比。平台还提供了丰富的使用文档和在线客服支持,让用户使用起来更加便捷。

分析Transformer语言模型的内部工作机制

LLM Transparency Tool（LLM-TT）是一个开源的交互式工具包，用于分析基于Transformer的语言模型的内部工作机制。它允许用户选择模型、添加提示并运行推理，通过可视化的方式展示模型的注意力流动和信息传递路径。该工具旨在提高模型的透明度，帮助研究人员和开发者更好地理解和改进语言模型。

以低成本实现高性能的大型语言模型

JetMoE-8B是一个开源的大型语言模型，通过使用公共数据集和优化的训练方法，以低于10万美元的成本实现了超越Meta AI LLaMA2-7B的性能。该模型在推理时仅激活22亿参数，大幅降低了计算成本，同时保持了优异的性能。

强大的多模态LLM，商业解决方案

Reka Core是一个GPT-4级别的多模态大型语言模型（LLM），具备图像、视频和音频的强大上下文理解能力。它是目前市场上仅有的两个商用综合多模态解决方案之一。Core在多模态理解、推理能力、编码和Agent工作流程、多语言支持以及部署灵活性方面表现出色。

多模态AI模型，图像理解与生成兼备

Mini-Gemini是由香港中文大学终身教授贾佳亚团队开发的多模态模型，具备精准的图像理解能力和高质量的训练数据。该模型结合图像推理和生成，提供不同规模的版本，性能与GPT-4和DALLE3相媲美。Mini-Gemini采用Gemini的视觉双分支信息挖掘方法和SDXL技术，通过卷积网络编码图像并利用Attention机制挖掘信息，同时结合LLM生成文本链接两个模型。

提升生成模型质量和加速推理的项目

UniFL是一个项目，旨在提升生成模型质量和加速推理速度。它通过感知反馈学习、解耦反馈学习和对抗性反馈学习三个关键组件，有效解决了当前扩散模型存在的图像质量、美学吸引力和推理速度等问题。经过实验验证和用户研究，UniFL在多个扩散模型上展现出显著的性能提升和强大的泛化能力。

连接数字和物理世界的首款多模态模型

Grok-1.5V是X.AI公司推出的第一代多模态模型。除了强大的文本处理能力外,Grok还可以处理各种视觉信息,包括文档、图表、截图和照片等。该模型在多学科推理、文档理解、科学图表理解、图表解读和现实世界理解等方面表现出色,并将于近期向早期测试用户和现有Grok用户推出。

领先的代码生成大语言模型

CodeGemma是谷歌公司推出的先进大语言模型，专注于生成代码、理解和追踪指令，旨在为全球开发人员提供高质量的代码辅助工具。包括20亿参数的基础模型，70亿参数的基础模型和用于指导追踪的70亿参数模型，针对代码开发场景进行优化和微调。在各种编程语言中表现卓越，具有超凡的逻辑和数学推理能力。

谷歌开源的大型语言模型,能够生成高质量的文本内容

RecurrentGemma是谷歌开发的一系列开放语言模型,采用创新的循环架构设计,在文本生成任务上性能优异,包括问答、摘要和推理等。与Gemma模型相比,RecurrentGemma所需的内存更少,生成长序列的推理速度更快。该模型提供了预训练和针对指令的微调版本,可广泛应用于内容创作、对话AI等场景。

针对移动UI屏幕设计的MLLLM模型

Ferret-UI是一个新的MLLLM，专门为提高对移动UI屏幕的理解而设计。具备引用、定位和推理能力，处理UI屏幕上的任务。具有“任何分辨率”技术，通过放大细节解决小对象识别问题。涉及任务制定、训练样本收集、模型架构与数据集建立等，表现突出在高级任务的对话能力。

使用频域分解进行高保真、可迁移的NeRF编辑

Freditor是一种基于频域分解的NeRF编辑方法。它可以实现高保真的NeRF场景编辑,并且可迁移到其他场景。该方法将NeRF场景划分为高频和低频两部分,对低频部分进行风格迁移,并将高频细节重新集成,从而生成高保真的编辑结果。Freditor还支持在推理过程中对编辑强度进行控制。实验表明,该方法在保真度和可迁移性方面都优于现有的NeRF编辑方法。

识庐慧图提供关联计算核心能力，通过关联计算对数据进行连接、分析、计算和推理

识庐慧图是一个关联计算平台，通过从多源异构数据中提取关联关系，利用信息传导、关系拟合和知识推理等技术，提升数据利用率和智能化决策能力。该平台已广泛应用于金融科技、医疗与生命科学、军工安全等行业，推动行业智能化转型。

从单张 RGB 图像生成多个逼真的 3D 人体重建

DiffHuman 是一种概率性的光度逼真的 3D 人体重建方法。它可以从单张 RGB 图像预测一个 3D 人体重建的概率分布,并通过迭代降噪采样多个细节丰富、色彩鲜明的 3D 人体模型。与现有的确定性方法相比,DiffHuman 在未知或不确定区域能生成更加细节丰富的重建结果。同时,我们还引入了一个加速渲染的生成网络,大幅提高了推理速度。

Iki是一个为专业人士和团队设计的智能图书馆和知识助手

Iki提供了一个智能知识界面，结合了图书馆和知识助手的功能，旨在帮助专业人士和团队更高效地进行研究、推理和创意生成。它支持自定义提示，可以根据不同的职业需求提供个性化服务。

Octopus-V2-2B是一款在移动设备上运行的2B LLMs，性能优于GPT-4

Octopus-V2-2B是由斯坦福大学NexaAI开发的开源大型语言模型，具有20亿参数，专门为Android API的功能调用定制。它采用了独特的功能性标记策略，用于训练和推理阶段，使其达到与GPT-4相当的性能水平，并提高了推理速度。Octopus-V2-2B特别适合边缘计算设备，能够在设备上直接运行，支持广泛的应用场景。

开源的AI程序员，自动修复GitHub仓库bug

SWE-agent是普林斯顿大学推出的首个开源AI程序员，基于GPT-4技术，能够自动修复GitHub仓库中的bug。其表现优异，开源性质受到开源社区高度认可。工作原理是通过与终端交互进行代码编辑、语法检查、测试编写和执行。研究人员设计了简洁的指令和反馈格式，工作流程分为推理和评估两个阶段。定价为免费。