产品库

提供高质量中文语料资源，助力人工智能大模型预训练。

中文互联网语料资源平台是由中国网络空间安全协会主办的专业网站，旨在为人工智能大模型的预训练提供高质量、安全合规的中文语料资源。该平台汇聚了来自企业、高校和科研单位的协同优势，依托‘共建－共享’机制，形成了包括中文互联网基础语料2.0、人民网主流价值数据集、国家版本馆明清文献语料等多个高质量语料库。这些语料库经过严格的信源筛选、格式清洗、语言过滤、数据去重、内容过滤、隐私过滤等处理步骤，确保了数据的合法性、真实性、准确性和客观性。平台的资源对于推动国家人工智能技术创新和产业发展具有重要意义，可帮助大模型更好地理解和生成中文内容，提升其知识能力与价值观对齐。

构建数学基础模型的数学中心语料库

MathPile是一个包含约95亿个标记的数学中心语料库，从教科书（包括讲座笔记）、arXiv、维基百科、ProofWiki、StackExchange和网页中汲取数学内容，适用于K-12、大学、研究生水平和数学竞赛。MathPile的数据质量高，并且有着丰富的数据文档，以增强透明度和给用户灵活的使用数据的能力。在授权方面，MathPile遵循BY-NC-SA 4.0许可协议，同时计划很快发布一个商业可用版本。

提供多种预训练模型，支持多维度筛选，助力AI模型应用与开发。

该平台是一个专注于AI预训练模型的资源平台，整合了大量不同类型、规模和应用场景的预训练模型。其重要性在于为AI开发者和研究人员提供了便捷的模型获取渠道，降低了模型开发的门槛。主要优点包括模型分类细致、多维度筛选功能强大、信息展示详细且提供智能推荐。产品背景是随着AI技术的发展，对预训练模型的需求日益增长，平台应运而生。平台主要定位为AI模型资源平台，部分模型免费商用，部分可能需要付费，具体价格因模型而异。

人工智能入门教程网站，提供全面的机器学习与深度学习知识。

该网站由作者从 2015 年开始学习机器学习和深度学习,整理并编写的一系列实战教程。涵盖监督学习、无监督学习、深度学习等多个领域,既有理论推导,又有代码实现,旨在帮助初学者全面掌握人工智能的基础知识和实践技能。网站拥有独立域名,内容持续更新,欢迎大家关注和学习。

推动人工智能安全治理，促进技术健康发展

《人工智能安全治理框架》1.0版是由全国网络安全标准化技术委员会发布的技术指南，旨在鼓励人工智能创新发展的同时，有效防范和化解人工智能安全风险。该框架提出了包容审慎、确保安全，风险导向、敏捷治理，技管结合、协同应对，开放合作、共治共享等原则。它结合人工智能技术特性，分析风险来源和表现形式，针对模型算法安全、数据安全和系统安全等内生安全风险，以及网络域、现实域、认知域、伦理域等应用安全风险，提出了相应的技术应对和综合防治措施。

京东自主研发的人工智能开放平台

京东人工智能开放平台NeuHub,汇聚京东自主研发的人工智能核心技术,包含语音、图像、视频、NLP等技术,通过平台向外开放,助力行业智能升级。平台还提供数据标注、模型开发、训练和发布等全流程服务,以及创新应用案例,帮助企业实现智能化转型。

OLAMI是一个人工智能开放平台

OLAMI是一个提供云端API、管理界面、多元机器感知解决方案的人工智能软件开发平台。OLAMI平台具有语音识别、自然语言理解、对话管理、语音合成等语音AI技术,以及图像识别、语义理解等视觉AI技术,可以轻松地为产品加入人工智能,提升用户体验。

将Common Crawl转化为精细的长期预训练数据集

Nemotron-CC是一个基于Common Crawl的6.3万亿token的数据集。它通过分类器集成、合成数据改写和减少启发式过滤器的依赖，将英文Common Crawl转化为一个6.3万亿token的长期预训练数据集，包含4.4万亿全球去重的原始token和1.9万亿合成生成的token。该数据集在准确性和数据量之间取得了更好的平衡，对于训练大型语言模型具有重要意义。

MNBVC是一个超大规模的中文语料集，对标chatGPT训练的40T数据

MNBVC（Massive Never-ending BT Vast Chinese corpus）是一个旨在为AI提供丰富中文语料的项目。它不仅包括主流文化内容，还涵盖了小众文化和网络用语。数据集包括新闻、作文、小说、书籍、杂志、论文、台词、帖子、wiki、古诗、歌词、商品介绍、笑话、糗事、聊天记录等多种形式的纯文本中文数据。

文档智能的视觉引导生成文本布局预训练模型

ViTLP是一个视觉引导的生成文本布局预训练模型，旨在提高文档智能处理的效率和准确性。该模型结合了OCR文本定位和识别功能，能够在文档图像上进行快速准确的文本检测和识别。ViTLP模型的预训练版本ViTLP-medium（380M参数）在计算资源和预训练数据集规模的限制下，提供了一个平衡的解决方案，既保证了模型的性能，又优化了推理速度和内存使用。ViTLP的推理速度在Nvidia 4090上处理一页文档图像通常在5到10秒内，与大多数OCR引擎相比具有竞争力。

谷歌推出的开源预训练语言模型

Gemma-2b是谷歌推出的开源预训练语言模型系列,提供了多个不同规模的变体。它可以生成高质量的文本,广泛应用于问答、摘要、推理等领域。相比其他同类模型,它模型规模较小,可以部署在不同的硬件环境中。Gemma系列追求安全、高效的人工智能技术,使更多研究者和开发者可以接触前沿的语言模型技术。

提供AI和机器学习课程

Udacity人工智能学院提供包括深度学习、计算机视觉、自然语言处理和AI产品管理在内的AI培训和机器学习课程。这些课程旨在帮助学生掌握人工智能领域的最新技术，为未来的职业生涯打下坚实的基础。

绘图，问答，图片处理一站式 AI 服务

小门道 AI 是一个提供 AI 服务的网站，包括 Midjourney 和 Stable Diffusion 绘图，chatgpt 对话，抠图，去除水印，魔法抹除，图片变清，无损放大等功能。我们提供智能问答功能，可联网搜索，任务式 (基于 AutoGPT)，学术助理，上传文件，数学解题等。同时，我们还提供抠图、放大变清、转矢量图、人脸融合等图片处理功能。产品定价根据具体功能和使用情况而定，定位于提供高质量的 AI 服务。

多语言预训练数据集

FineWeb2是由Hugging Face提供的一个大规模多语言预训练数据集，覆盖超过1000种语言。该数据集经过精心设计，用于支持自然语言处理(NLP)模型的预训练和微调，特别是在多种语言上。它以其高质量、大规模和多样性而闻名，能够帮助模型学习跨语言的通用特征，提升在特定语言任务上的表现。FineWeb2在多个语言的预训练数据集中表现出色，甚至在某些情况下，比一些专门为单一语言设计的数据库表现更好。

基于 Transformer 的预训练语言模型系列

Qwen1.5 是基于 Transformer 架构的解码器语言模型系列，包括不同规模的模型。具有 SwiGLU 激活、注意力 QKV 偏置、组查询注意力等特性。支持多种自然语言和代码。推荐进行后续训练，如 SFT、RLHF 等。定价免费。

大规模自回归图像模型预训练

这篇论文介绍了AIM，这是一组使用自回归目标进行预训练的视觉模型。这些模型受其文本对应物，即大型语言模型（LLMs）的启发，并表现出类似的扩展特性。具体来说，我们强调了两个关键发现：（1）视觉特征的性能随着模型容量和数据量的增加而提高，（2）目标函数的价值与模型在下游任务上的性能相关。我们通过在20亿张图像上对70亿参数的AIM进行预训练，实现了在ImageNet-1k上使用冻结主干达到84.0%的准确率。有趣的是，即使在这个规模上，我们观察到性能没有饱和的迹象，这表明AIM可能代表了训练大规模视觉模型的新前沿。AIM的预训练类似于LLMs的预训练，并不需要任何图像特定的策略来稳定大规模训练。

多语言预训练语言模型

「书生·浦语2.0」InternLM2是一个面向中文和英文的大型多语言预训练语言模型。它具有语言理解、自然语言生成、多模式推理、代码理解等强大的能力。模型采用Transformer架构并进行海量数据的预训练,在长文本理解、对话、数学运算等多个方向上都达到了业界领先水平。该系列模型包含多种规模,用户可以选择合适的模型进行下游任务微调或构建聊天机器人等应用。

第二代多模态预训练对话模型

CogVLM2是由清华大学团队开发的第二代多模态预训练对话模型，它在多个基准测试中取得了显著的改进，支持8K内容长度和1344*1344的图像分辨率。CogVLM2系列模型提供了支持中文和英文的开源版本，能够与一些非开源模型相媲美的性能。

开源的中英双语预训练语言模型

LingoWhale-8B是一个开源的大规模中英双语预训练语言模型,具有强大的自然语言理解和生成能力。它通过在海量高质量中英文数据上进行预训练,可以完成长文本的理解和多轮交互。该模型采用Transformer架构,参数量达80亿。它在多个中文和英文公开基准测试上都取得了领先的效果。LingoWhale-8B完全开放给学术研究使用,个人开发者可以免费用于商业用途。该模型可以广泛应用于聊天机器人、知识问答、文本生成等领域。

大规模多模态预训练数据集

allenai/olmo-mix-1124数据集是由Hugging Face提供的一个大规模多模态预训练数据集，主要用于训练和优化自然语言处理模型。该数据集包含了大量的文本信息，覆盖了多种语言，并且可以用于各种文本生成任务。它的重要性在于提供了一个丰富的资源，使得研究人员和开发者能够训练出更加精准和高效的语言模型，进而推动自然语言处理技术的发展。

大型多语言预训练语言模型

Meta Llama 3.1-405B 是由 Meta 开发的一系列大型多语言预训练语言模型，包含8B、70B和405B三种规模的模型。这些模型经过优化的变压器架构，使用监督式微调（SFT）和强化学习与人类反馈（RLHF）进行调优，以符合人类对帮助性和安全性的偏好。Llama 3.1 模型支持多种语言，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。该模型在多种自然语言生成任务中表现出色，并在行业基准测试中超越了许多现有的开源和封闭聊天模型。

由Google Research开发的预训练时间序列预测模型。

TimesFM是一个由Google Research开发的预训练时间序列预测模型，用于时间序列预测任务。该模型在多个数据集上进行了预训练，能够处理不同频率和长度的时间序列数据。其主要优点包括高性能、可扩展性强以及易于使用。该模型适用于需要准确预测时间序列数据的各种应用场景，如金融、气象、能源等领域。该模型在Hugging Face平台上免费提供，用户可以方便地下载和使用。

快速准确 稳定可靠的人工智能翻译平台

讯飞智能翻译是一款快速准确、稳定可靠的人工智能翻译平台。支持文档翻译、文本翻译、语音翻译和图片翻译等多种功能。通过23种文档格式的支持，保留原版格式样式和排版，支持文档内图片翻译。覆盖140种语种互译，支持源语言语种自动检测，实现快速翻译。结合讯飞先进的语音识别和翻译技术，满足跨语言的沟通交流。输入图片，即可快速识别图片中的文本内容，进行翻译。提供SaaS、私有化部署和API接口等多种解决方案，满足不同企业的需求。

无需机器学习知识，为你的软件添加人工智能

Cargoship是一个AI模型集合，提供预训练的模型和易于使用的API，无需机器学习知识即可将AI集成到你的软件中。Cargoship提供的模型包括文本处理、文本生成、图像识别、图像生成、音频转录等多个领域，用户可以选择自己需要的模型。Cargoship的模型集合不断增长，同时也保证与AI领域的发展保持同步。用户可以选择自己托管模型或者获取个人API密钥。

基于语言模型架构的预训练时间序列预测模型

Chronos是一系列基于语言模型架构的预训练时间序列预测模型。时间序列通过缩放和量化转换为一系列标记，然后使用交叉熵损失训练语言模型。训练完成后，通过给定历史上下文采样多个未来轨迹，获得概率性预测。Chronos模型已经在大量公开可用的时间序列数据和使用高斯过程生成的合成数据上进行了训练。

开源多模态预训练模型，具备中英双语对话能力。

GLM-4V-9B是智谱AI推出的新一代预训练模型，支持1120*1120高分辨率下的中英双语多轮对话，以及视觉理解能力。在多模态评测中，GLM-4V-9B展现出超越GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max和Claude 3 Opus的卓越性能。

为人工智能提供多模态数据支持的高效数据库解决方案。

Activeloop Deep Lake是一个专为人工智能设计的数据库，支持多模态数据（如文本、图像、视频等）的高效存储和检索。它通过优化数据处理流程，帮助企业和开发者快速构建和部署AI应用，显著提升数据准备和模型训练的效率。Deep Lake的技术优势在于其高性能、可扩展性和易用性，使其成为AI开发中的重要基础设施。产品主要面向企业级用户和AI开发者，提供灵活的定价方案以满足不同规模用户的需求。

预训练T5模型，采用段落破坏和替换标记检测

SpacTor是一种新的训练程序，包括（1）结合了段落破坏（SC）和标记替换检测（RTD）的混合目标，以及（2）一个两阶段课程，该课程在初始tau次迭代中优化混合目标，然后过渡到标准的SC损失。我们在多种NLP任务上进行了实验，使用编码器-解码器架构（T5），SpacTor-T5在下游性能方面与标准的SC预训练相当，同时减少了50%的预训练迭代次数和40%的总FLOPs。另外，在相同的计算预算下，我们发现SpacTor能够显著提高下游基准性能。

人工智能，简化。

Adfinite AI是一款人工智能产品，提供最先进的模型，无需订阅。没有长期合约或订阅费用，只需按使用量付费。新用户可以免费获得5个积分进行测试，无需信用卡或充值。每条消息收费10美分。目前有特别推出的促销活动，充值20美元或更多即可额外获得5美元的积分。如果遇到问题或有功能请求，请联系我们。

提升图文预训练的细粒度理解

SPARC是一种用于图文对预训练的简单方法，旨在从图像-文本对中预训练更细粒度的多模态表示。它利用稀疏相似度度量和对图像块和语言标记进行分组，通过对比细粒度的序列损失和全局图像与文本嵌入之间的对比损失，学习同时编码全局和局部信息的表示。SPARC在粗粒度信息的图像级任务和细粒度信息的区域级任务上均表现出改进，包括分类、检索、目标检测和分割。此外，SPARC提高了模型的可信度和图像描述能力。