产品库

Gemma 2B模型，支持10M序列长度，优化内存使用，适用于大规模语言模型应用。

Gemma 2B - 10M Context是一个大规模的语言模型，它通过创新的注意力机制优化，能够在内存使用低于32GB的情况下处理长达10M的序列。该模型采用了循环局部注意力技术，灵感来源于Transformer-XL论文，是处理大规模语言任务的强大工具。

使用Kolmogorov-Arnold网络实现的预训练生成式变换器（GPTs）的语言模型

kan-gpt是一个基于PyTorch的Generative Pre-trained Transformers (GPTs) 实现，它利用Kolmogorov-Arnold Networks (KANs) 进行语言建模。该模型在文本生成任务中展现出了潜力，特别是在处理长距离依赖关系时。它的重要性在于为自然语言处理领域提供了一种新的模型架构，有助于提升语言模型的性能。

一款私人且离线的AI个人知识管理桌面应用

Reor是一个AI驱动的桌面笔记应用，它通过自动链接相关笔记、回答笔记上的问题、提供语义搜索以及生成AI闪卡来增强个人的知识管理。所有数据本地存储，支持类似Obsidian的Markdown编辑器。Reor项目的核心假设是，思考工具的AI模型应默认在本地运行。它利用了Ollama、Transformers.js和LanceDB等技术，使得大型语言模型（LLM）和嵌入模型能够在本地运行。同时，也支持连接到OpenAI或兼容的API，如Oobabooga。

分析Transformer语言模型的内部工作机制

LLM Transparency Tool（LLM-TT）是一个开源的交互式工具包，用于分析基于Transformer的语言模型的内部工作机制。它允许用户选择模型、添加提示并运行推理，通过可视化的方式展示模型的注意力流动和信息传递路径。该工具旨在提高模型的透明度，帮助研究人员和开发者更好地理解和改进语言模型。

扩展Transformer模型处理无限长输入

Google开发的“Infini-attention”技术旨在扩展基于Transformer的大语言模型以处理无限长的输入，通过压缩记忆机制实现无限长输入处理，并在多个长序列任务上取得优异表现。技术方法包括压缩记忆机制、局部与长期注意力的结合和流式处理能力等。实验结果显示在长上下文语言建模、密钥上下文块检索和书籍摘要任务上的性能优势。

基于 Transformer 的预训练语言模型系列

Qwen1.5 是基于 Transformer 架构的解码器语言模型系列，包括不同规模的模型。具有 SwiGLU 激活、注意力 QKV 偏置、组查询注意力等特性。支持多种自然语言和代码。推荐进行后续训练，如 SFT、RLHF 等。定价免费。

突破性SSM-Transformer开放模型

Jamba是一款基于SSM-Transformer混合架构的开放语言模型,提供顶级的质量和性能表现。它融合了Transformer和SSM架构的优势,在推理基准测试中表现出色,同时在长上下文场景下提供3倍的吞吐量提升。Jamba是目前该规模下唯一可在单GPU上支持14万字符上下文的模型,成本效益极高。作为基础模型,Jamba旨在供开发者微调、训练并构建定制化解决方案。

HyperGAI推出的创新多模态LLM框架，旨在理解和处理文本、图像、视频等多种输入模态

HPT（Hyper-Pretrained Transformers）是HyperGAI研究团队推出的新型多模态大型语言模型框架，它能够高效且可扩展地训练大型多模态基础模型，理解包括文本、图像、视频等多种输入模态。HPT框架可以从头开始训练，也可以通过现有的预训练视觉编码器和/或大型语言模型进行高效适配。

开源自然语言生成模型

OLMo是一个开源的自然语言生成模型,由Allen AI研究所开发,基于Transformer架构,可用于生成高质量的英文文本。它具有生成长度可达4096个token的长文本的能力。OLMo-7B是目前公开的参数量最大的开源英文语言模型之一,拥有69亿参数,在多个英文NLP任务上的表现优于同类模型。它可用于文本生成、任务导向的微调等多种自然语言处理任务。

通用型视觉语言模型

Qwen-VL 是阿里云推出的通用型视觉语言模型,具有强大的视觉理解和多模态推理能力。它支持零样本图像描述、视觉问答、文本理解、图像地标定位等任务,在多个视觉基准测试中达到或超过当前最优水平。该模型采用 Transformer 结构,以 7B 参数规模进行预训练,支持 448x448 分辨率,可以端到端处理图像与文本的多模态输入与输出。Qwen-VL 的优势包括通用性强、支持多语种、细粒度理解等。它可以广泛应用于图像理解、视觉问答、图像标注、图文生成等任务。

多语言预训练语言模型

「书生·浦语2.0」InternLM2是一个面向中文和英文的大型多语言预训练语言模型。它具有语言理解、自然语言生成、多模式推理、代码理解等强大的能力。模型采用Transformer架构并进行海量数据的预训练,在长文本理解、对话、数学运算等多个方向上都达到了业界领先水平。该系列模型包含多种规模,用户可以选择合适的模型进行下游任务微调或构建聊天机器人等应用。

开源的中英双语预训练语言模型

LingoWhale-8B是一个开源的大规模中英双语预训练语言模型,具有强大的自然语言理解和生成能力。它通过在海量高质量中英文数据上进行预训练,可以完成长文本的理解和多轮交互。该模型采用Transformer架构,参数量达80亿。它在多个中文和英文公开基准测试上都取得了领先的效果。LingoWhale-8B完全开放给学术研究使用,个人开发者可以免费用于商业用途。该模型可以广泛应用于聊天机器人、知识问答、文本生成等领域。

PaLI-3 视觉语言模型：更小、更快、更强

Pali3是一种视觉语言模型，通过对图像进行编码并与查询一起传递给编码器-解码器Transformer来生成所需的答案。该模型经过多个阶段的训练，包括单模态预训练、多模态训练、分辨率增加和任务专业化。Pali3的主要功能包括图像编码、文本编码、文本生成等。该模型适用于图像分类、图像字幕、视觉问答等任务。Pali3的优势在于模型结构简单、训练效果好、速度快。该产品定价为免费开源。

处理长文本的大型语言模型

LongLLaMA 是一个大型语言模型，能够处理长篇文本。它基于 OpenLLaMA，并使用 Focused Transformer (FoT) 方法进行了微调。它能够处理长达 256k 标记甚至更多的文本。我们提供了一个较小的 3B 基础模型（未经过指令调整），并在 Hugging Face 上提供了支持更长上下文的推断代码。我们的模型权重可以作为现有实现中 LLaMA 的替代品（适用于最多 2048 个标记的短上下文）。此外，我们还提供了评估结果和与原始 OpenLLaMA 模型的比较。

13B参数阿拉伯语英语同构模型

这是一个130亿参数的预训练双语大型语言模型,支持阿拉伯语和英语,在720亿阿拉伯语标记和2790亿英语/代码标记的数据集上进行训练。阿拉伯语数据迭代了1.6个时代(相比英语/代码的1个时代),总计3950亿个标记进行训练。该模型基于Transformer解码器专用架构(GPT-3),使用SwiGLU非线性激活函数。它实现了ALiBi位置嵌入,可以外推到长序列长度,提供改进的上下文处理和模型精度。

PyTorch训练平台,闪电般快速

Lightning AI是一个基于PyTorch的平台,可以帮助用户无痛地在本地机器和云环境之间进行AI模型的训练和部署。它支持各类热门AI模型如大型语言模型、Transformers、Stable Diffusion等的构建。关键特性包括对分布式多GPU训练的支持、内置MLOps功能、云端无服务器部署等。适用于AI研发团队、想要快速构建AI产品的公司以及拥有GPU资源的机构。

斯坦福大学的CS25课程，专注于深度学习模型Transformers

CS25是斯坦福大学提供的一门课程，主要探讨深度学习模型Transformers，该模型在全球范围内产生了巨大影响。课程邀请了Transformers研究领域的前沿人物，讨论从GPT和Gemini等LLM架构到创造性应用（如DALL-E和Sora）在内的最新突破。CS25已经成为斯坦福最热门和最令人兴奋的研讨会课程之一。

允许用户直接在浏览器本地运行Phi-3模型的AI工具。

Phi-3 WebGPU是一款结合了Transformers.js和onnxruntime-web的AI模型，它利用WebGPU加速技术，提供超过20t/s的处理速度，并且所有数据处理在本地完成，确保用户隐私安全。尽管在中文回答上存在一些不足，但其在浏览器中提供的AI模型运行能力仍然值得关注。

在浏览器中尝试Cleanlab的可信任语言模型（TLM）

TLM Playground是Cleanlab的一个工具，用于在浏览器中使用可信任语言模型（TLM）。它提供了一个交互式界面，用户可以输入文本并获得模型生成的响应。TLM是一种基于深度学习的语言模型，它可以用于生成自然语言文本，例如回答问题、翻译、文本摘要等。

AI代码查找器，快速找到AI论文的代码实现

AI Code Finder是一个免费的浏览器插件，可以快速找到任何AI研究论文的代码实现。它能够自动在Google、ArXiv、学术搜索引擎、论坛等网站上找到与论文相关的代码链接，并提供CODE按钮供用户点击跳转到开源代码实现。用户还可以创建提醒以获取最新的代码实现、作者的最新工作和最新进展。此插件适用于从事人工智能、数据科学、计算机视觉、语音识别、深度学习和大型语言模型等领域的工程师、研究人员、开发人员和技术领导者。

Qwen1.5系列首个千亿参数开源模型，多语言支持，高效Transformer解码器架构。

Qwen1.5-110B是Qwen1.5系列中规模最大的模型，拥有1100亿参数，支持多语言，采用高效的Transformer解码器架构，并包含分组查询注意力（GQA），在模型推理时更加高效。它在基础能力评估中与Meta-Llama3-70B相媲美，在Chat评估中表现出色，包括MT-Bench和AlpacaEval 2.0。该模型的发布展示了在模型规模扩展方面的巨大潜力，并且预示着未来通过扩展数据和模型规模，可以获得更大的性能提升。

深度学习算法与大模型面试指南，持续更新的面试题目集合。

DeepLearing-Interview-Awesome-2024 是一个开源的面试题目集合项目，专注于深度学习算法和大模型领域的面试准备。该项目由社区成员共同维护，旨在提供最新的面试题目和答案解析，帮助求职者和研究人员深入理解深度学习领域的前沿技术和应用。它包含了丰富的面试题目，覆盖了大语言模型、视觉模型、通用问题等多个方面，是准备深度学习相关职位的宝贵资源。

个人AI合同谈判助手

SpeedLegal是一个利用机器学习技术（特别是深度学习、大型语言模型和通用AI）来突出合同中的条款和关键风险的技术初创公司。我们分析您的文档并发送给您一个简化的报告，以便您在签名前做出更明智的决策。

老照片修复 图片无损放大工具

SwinIR 是一款基于 Swin Transformer 进行图像恢复的官方 PyTorch 实现，在经典、轻量级和真实世界图像超分辨率、灰度 / 彩色图像去噪以及 JPEG 压缩伪影去除等任务中取得了最先进的性能。它由浅层特征提取、深层特征提取和高质量图像重建组成，具有卓越的性能和参数优化。

Hotshot - ACT 1是一个先进的直接文本到视频合成系统，由Hotshot开发，旨在赋予世界通过视频分享他们的想象力的能力

ACT 1（Advanced Cinematic Transformer）是一个由Hotshot Research开发的直接文本到视频合成系统，它能够生成高清晰度的视频，具有多种宽高比且无水印，提供引人入胜的用户体验。该系统通过使用大规模高分辨率文本视频语料库进行训练，以实现高保真度的空间对齐、时间对齐和审美质量。

Transformer Debugger是由OpenAI的Superalignment团队开发的用于调查小型语言模型特定行为的工具

Transformer Debugger结合了自动化可解释性和稀疏自编码器技术，支持在编写代码之前进行快速探索，并能够在前向传递中进行干预，以观察其如何影响特定行为。它通过识别对行为有贡献的特定组件（神经元、注意力头、自编码器潜在表示），展示自动生成的解释来说明这些组件为何强烈激活，并追踪组件间的连接以帮助发现电路。

无需相机校准信息的密集立体3D重建

DUSt3R是一种新颖的密集和无约束立体3D重建方法，适用于任意图像集合。它不需要事先了解相机校准或视点姿态信息，通过将成对重建问题视为点图的回归，放宽了传统投影相机模型的严格约束。DUSt3R提供了一种统一的单目和双目重建方法，并在多图像情况下提出了一种简单有效的全局对齐策略。基于标准的Transformer编码器和解码器构建网络架构，利用强大的预训练模型。DUSt3R直接提供场景的3D模型和深度信息，并且可以从中恢复像素匹配、相对和绝对相机信息。

大规模代码生成预训练模型

StarCoder2是一个1500亿参数的Transformer模型,在包括GitHub在内的600多种编程语言数据集上进行了预训练,使用了Grouped Query Attention等技术。该模型可用于代码生成任务,支持多种编程语言。

Lepton是一个开源的语言模型搜索平台

Lepton是一个开源的自然语言处理平台,提供语言理解、生成和推理能力。它采用Transformer模型架构,能够进行多轮对话、问答、文本生成等任务。Lepton具有高效、可扩展的特点,可以在多个领域部署使用。