需求人群:
"研究人员和开发者分析和理解语言模型"
使用场景示例:
研究人员使用LLM-TT分析特定语言模型的注意力分布
开发者通过LLM-TT调整模型参数以改善性能
教育工作者利用LLM-TT向学生展示语言模型的工作原理
产品特色:
选择模型和提示进行推理
浏览贡献图
选择令牌以构建图表
调整贡献阈值
选择任何令牌在任何块之后的表示
查看输出词汇表中的表示,以及前一个块中哪些令牌被提升/抑制
浏览量:53
最新流量情况
月访问量
5.03m
平均访问时长
00:06:29
每次访问页数
5.88
跳出率
37.10%
流量来源
直接访问
52.07%
自然搜索
32.84%
邮件
0.04%
外链引荐
12.88%
社交媒体
2.04%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
12.85%
德国
3.90%
印度
9.41%
俄罗斯
4.16%
美国
18.95%
分析Transformer语言模型的内部工作机制
LLM Transparency Tool(LLM-TT)是一个开源的交互式工具包,用于分析基于Transformer的语言模型的内部工作机制。它允许用户选择模型、添加提示并运行推理,通过可视化的方式展示模型的注意力流动和信息传递路径。该工具旨在提高模型的透明度,帮助研究人员和开发者更好地理解和改进语言模型。
高性能的英文学术基准语言模型
OLMo 2 13B是由Allen Institute for AI (Ai2)开发的一款基于Transformer的自回归语言模型,专注于英文学术基准测试。该模型在训练过程中使用了高达5万亿个token,展现出与同等规模的全开放模型相媲美或更优的性能,并在英语学术基准上与Meta和Mistral的开放权重模型竞争。OLMo 2 13B的发布包括所有代码、检查点、日志和相关的训练细节,旨在推动语言模型的科学研究。
高效长序列大型语言模型推理技术
Star-Attention是NVIDIA提出的一种新型块稀疏注意力机制,旨在提高基于Transformer的大型语言模型(LLM)在长序列上的推理效率。该技术通过两个阶段的操作显著提高了推理速度,同时保持了95-100%的准确率。它与大多数基于Transformer的LLM兼容,无需额外训练或微调即可直接使用,并且可以与其他优化方法如Flash Attention和KV缓存压缩技术结合使用,进一步提升性能。
Meta 开发的子十亿参数语言模型,适用于设备端应用。
Meta 开发的自回归语言模型,采用优化架构,适合资源受限设备。优点多,如集成多种技术,支持零样本推理等,价格免费,面向自然语言处理研究人员和开发者。
高效优化的600M参数语言模型,专为设备端应用设计。
MobileLLM-600M是由Meta开发的自回归语言模型,采用了优化的Transformer架构,专为资源受限的设备端应用而设计。该模型集成了SwiGLU激活函数、深度薄架构、嵌入共享和分组查询注意力等关键技术。MobileLLM-600M在零样本常识推理任务上取得了显著的性能提升,与之前的125M/350M SoTA模型相比,分别提高了2.7%/4.3%的准确率。该模型的设计理念可扩展至更大模型,如MobileLLM-1B/1.5B,均取得了SoTA结果。
高效优化的子十亿参数语言模型,专为设备端应用设计
MobileLLM-350M是由Meta开发的自回归语言模型,采用优化的Transformer架构,专为设备端应用设计,以满足资源受限的环境。该模型整合了SwiGLU激活函数、深层薄架构、嵌入共享和分组查询注意力等关键技术,实现了在零样本常识推理任务上的显著准确率提升。MobileLLM-350M在保持较小模型尺寸的同时,提供了与更大模型相媲美的性能,是设备端自然语言处理应用的理想选择。
优化的小型语言模型,适用于移动设备
MobileLLM是一种针对移动设备优化的小型语言模型,专注于设计少于十亿参数的高质量LLMs,以适应移动部署的实用性。与传统观念不同,该研究强调了模型架构在小型LLMs中的重要性。通过深度和薄型架构,结合嵌入共享和分组查询注意力机制,MobileLLM在准确性上取得了显著提升,并提出了一种不增加模型大小且延迟开销小的块级权重共享方法。此外,MobileLLM模型家族在聊天基准测试中显示出与之前小型模型相比的显著改进,并在API调用任务中接近LLaMA-v2 7B的正确性,突出了小型模型在普通设备用例中的能力。
7亿参数的语言模型,展示数据整理技术的有效性。
DCLM-Baseline-7B是一个7亿参数的语言模型,由DataComp for Language Models (DCLM)团队开发,主要使用英语。该模型旨在通过系统化的数据整理技术来提高语言模型的性能。模型训练使用了PyTorch与OpenLM框架,优化器为AdamW,学习率为2e-3,权重衰减为0.05,批次大小为2048序列,序列长度为2048个token,总训练token数达到了2.5T。模型训练硬件使用了H100 GPU。
快速且内存高效的精确注意力机制
FlashAttention是一个开源的注意力机制库,专为深度学习中的Transformer模型设计,以提高计算效率和内存使用效率。它通过IO感知的方法优化了注意力计算,减少了内存占用,同时保持了精确的计算结果。FlashAttention-2进一步改进了并行性和工作分配,而FlashAttention-3针对Hopper GPU进行了优化,支持FP16和BF16数据类型。
Gemma 2B模型,支持10M序列长度,优化内存使用,适用于大规模语言模型应用。
Gemma 2B - 10M Context是一个大规模的语言模型,它通过创新的注意力机制优化,能够在内存使用低于32GB的情况下处理长达10M的序列。该模型采用了循环局部注意力技术,灵感来源于Transformer-XL论文,是处理大规模语言任务的强大工具。
通用型视觉语言模型
Qwen-VL 是阿里云推出的通用型视觉语言模型,具有强大的视觉理解和多模态推理能力。它支持零样本图像描述、视觉问答、文本理解、图像地标定位等任务,在多个视觉基准测试中达到或超过当前最优水平。该模型采用 Transformer 结构,以 7B 参数规模进行预训练,支持 448x448 分辨率,可以端到端处理图像与文本的多模态输入与输出。Qwen-VL 的优势包括通用性强、支持多语种、细粒度理解等。它可以广泛应用于图像理解、视觉问答、图像标注、图文生成等任务。
Lepton是一个开源的语言模型搜索平台
Lepton是一个开源的自然语言处理平台,提供语言理解、生成和推理能力。它采用Transformer模型架构,能够进行多轮对话、问答、文本生成等任务。Lepton具有高效、可扩展的特点,可以在多个领域部署使用。
多模态语言模型预测网络
Honeybee是一个适用于多模态语言模型的局部性增强预测器。它能够提高多模态语言模型在不同下游任务上的性能,如自然语言推理、视觉问答等。Honeybee的优势在于引入了局部性感知机制,可以更好地建模输入样本之间的依赖关系,从而增强多模态语言模型的推理和问答能力。
大规模训练 Transformer 模型的持续研究
Megatron-LM 是由 NVIDIA 应用深度学习研究团队开发的一种强大的大规模 Transformer 模型。该产品用于大规模训练 Transformer 语言模型的持续研究。我们使用混合精度,高效的模型并行和数据并行,以及多节点的 Transformer 模型(如 GPT、BERT 和 T5)的预训练。
Flash-Decoding for long-context inference
Flash-Decoding是一种针对长上下文推理的技术,可以显著加速推理中的注意力机制,从而使生成速度提高8倍。该技术通过并行加载键和值,然后分别重新缩放和组合结果来维护正确的注意力输出,从而实现了更快的推理速度。Flash-Decoding适用于大型语言模型,可以处理长文档、长对话或整个代码库等长上下文。Flash-Decoding已经在FlashAttention包和xFormers中提供,可以自动选择Flash-Decoding或FlashAttention方法,也可以使用高效的Triton内核。
Ai2 OLMoE 是一款可在 iOS 设备上运行的开源语言模型应用
OLMoE 是由 Ai2 开发的开源语言模型应用,旨在为研究人员和开发者提供一个完全开放的工具包,用于在设备上进行人工智能实验。该应用支持在 iPhone 和 iPad 上离线运行,确保用户数据完全私密。它基于高效的 OLMoE 模型构建,通过优化和量化,使其在移动设备上运行时保持高性能。该应用的开源特性使其成为研究和开发新一代设备端人工智能应用的重要基础。
一个用于生成播客及其他音频文件转录文本的工具,支持多种语言模型和语音识别API。
Podscript 是一个强大的音频转录工具,它利用语言模型和语音到文本(STT)API,为播客和其他音频内容生成高质量的转录文本。该工具支持多种流行的STT服务,如Deepgram、AssemblyAI和Groq,并且可以处理YouTube视频的自动生成字幕。Podscript的主要优点是其灵活性和易用性,用户可以通过简单的命令行界面或方便的Web界面来操作。它适用于播客创作者、内容制作者以及需要快速转录音频的用户。Podscript是开源的,用户可以根据自己的需求进行定制和扩展。
Xwen-Chat是专注中文对话的大语言模型集合,提供多版本模型及语言生成服务
Xwen-Chat由xwen-team开发,为满足高质量中文对话模型需求而生,填补领域空白。其有多个版本,具备强大语言理解与生成能力,可处理复杂语言任务,生成自然对话内容,适用于智能客服等场景,在Hugging Face平台免费提供。
一个基于LLM的创意命名工具,帮助用户快速生成独特的名称。
LLM Codenames 是一个基于语言模型的创意命名工具。它利用先进的自然语言处理技术,能够根据用户输入的关键词或主题,快速生成一系列独特且富有创意的名称。这种工具对于需要进行品牌命名、产品命名或创意写作的用户来说非常实用。它可以帮助用户节省大量时间和精力,避免命名过程中的重复劳动。LLM Codenames 的主要优点是其高效性和创意性,能够提供多样化的命名选择,满足不同用户的需求。该工具目前以网站形式提供服务,用户可以通过浏览器直接访问使用,无需安装任何软件。
为语言模型和AI代理提供视频处理服务,支持多种视频来源。
Deeptrain 是一个专注于视频处理的平台,旨在将视频内容无缝集成到语言模型和AI代理中。通过其强大的视频处理技术,用户可以像使用文本和图像一样轻松地利用视频内容。该产品支持超过200种语言模型,包括GPT-4o、Gemini等,并且支持多语言视频处理。Deeptrain 提供免费的开发支持,仅在生产环境中使用时才收费,这使得它成为开发AI应用的理想选择。其主要优点包括强大的视频处理能力、多语言支持以及与主流语言模型的无缝集成。
一个开源的聊天应用,使用Exa的API进行网络搜索,结合Deepseek R1进行推理。
Exa & Deepseek Chat App是一个开源的聊天应用,旨在通过Exa的API进行实时网络搜索,并结合Deepseek R1语言模型进行推理,以提供更准确的聊天体验。该应用基于Next.js、TailwindCSS和TypeScript构建,使用Vercel进行托管。它允许用户在聊天中获取最新的网络信息,并通过强大的语言模型进行智能对话。该应用免费开源,适合开发者和企业用户使用,可作为聊天工具的开发基础。
Janus-Pro-1B 是一个统一多模态理解和生成的自回归框架。
Janus-Pro-1B 是一个创新的多模态模型,专注于统一多模态理解和生成。它通过分离视觉编码路径,解决了传统方法在理解和生成任务中的冲突问题,同时保持了单个统一的 Transformer 架构。这种设计不仅提高了模型的灵活性,还使其在多模态任务中表现出色,甚至超越了特定任务的模型。该模型基于 DeepSeek-LLM-1.5b-base/DeepSeek-LLM-7b-base 构建,使用 SigLIP-L 作为视觉编码器,支持 384x384 的图像输入,并采用特定的图像生成 tokenizer。其开源性和灵活性使其成为下一代多模态模型的有力候选。
DeepSeek-R1-Distill-Llama-8B 是一个高性能的开源语言模型,适用于文本生成和推理任务。
DeepSeek-R1-Distill-Llama-8B 是 DeepSeek 团队开发的高性能语言模型,基于 Llama 架构并经过强化学习和蒸馏优化。该模型在推理、代码生成和多语言任务中表现出色,是开源社区中首个通过纯强化学习提升推理能力的模型。它支持商业使用,允许修改和衍生作品,适合学术研究和企业应用。
这是一个基于Qwen2.5-32B模型的4位量化版本,专为高效推理和低资源部署设计。
该产品是一个基于Qwen2.5-32B的4位量化语言模型,通过GPTQ技术实现高效推理和低资源消耗。它在保持较高性能的同时,显著降低了模型的存储和计算需求,适合在资源受限的环境中使用。该模型主要面向需要高性能语言生成的应用场景,如智能客服、编程辅助、内容创作等。其开源许可和灵活的部署方式使其在商业和研究领域具有广泛的应用前景。
ReaderLM v2是一个用于HTML转Markdown和JSON的前沿小型语言模型。
ReaderLM v2是由Jina AI推出的参数量为1.5B的小型语言模型,专门用于HTML转Markdown转换和HTML转JSON提取,具有卓越的准确性。该模型支持29种语言,能处理高达512K个token的输入和输出组合长度。它采用了新的训练范式和更高质量的训练数据,较前代产品在处理长文本内容和生成Markdown语法方面有重大进步,能熟练运用Markdown语法,擅长生成复杂元素。此外,ReaderLM v2还引入了直接HTML转JSON生成功能,允许用户根据给定的JSON架构从原始HTML中提取特定信息,消除了中间Markdown转换需求。
MiniMax-Text-01是一个强大的语言模型,具有4560亿总参数,能够处理长达400万token的上下文。
MiniMax-Text-01是一个由MiniMaxAI开发的大型语言模型,拥有4560亿总参数,其中每个token激活459亿参数。它采用了混合架构,结合了闪电注意力、softmax注意力和专家混合(MoE)技术,通过先进的并行策略和创新的计算-通信重叠方法,如线性注意力序列并行主义加(LASP+)、变长环形注意力、专家张量并行(ETP)等,将训练上下文长度扩展到100万token,并能在推理时处理长达400万token的上下文。在多个学术基准测试中,MiniMax-Text-01展现出了顶级模型的性能。
强大的语言模型,拥有4560亿总参数,可处理长达400万token的上下文。
MiniMax-01是一个具有4560亿总参数的强大语言模型,其中每个token激活459亿参数。它采用混合架构,结合了闪电注意力、softmax注意力和专家混合(MoE),通过先进的并行策略和创新的计算-通信重叠方法,如线性注意力序列并行主义加(LASP+)、varlen环形注意力、专家张量并行(ETP)等,将训练上下文长度扩展到100万tokens,在推理时可处理长达400万tokens的上下文。在多个学术基准测试中,MiniMax-01展现了顶级模型的性能。
在口袋里拥有十亿参数,与私有本地大型语言模型聊天。
fullmoon是一款由Mainframe开发的本地智能应用,允许用户在本地设备上与大型语言模型进行聊天。它支持完全离线操作,优化了Apple硅芯片的模型运行,提供了个性化的主题、字体和系统提示调整功能。作为一款免费、开源且注重隐私的应用,它为用户提供了一种简单、安全的方式来利用强大的语言模型进行交流和创作。
MiniCPM-o 2.6是一个强大的多模态大型语言模型,适用于视觉、语音和多模态直播。
MiniCPM-o 2.6是MiniCPM-o系列中最新且功能最强大的模型。该模型基于SigLip-400M、Whisper-medium-300M、ChatTTS-200M和Qwen2.5-7B构建,拥有8B参数。它在视觉理解、语音交互和多模态直播方面表现出色,支持实时语音对话和多模态直播功能。该模型在开源社区中表现优异,超越了多个知名模型。其优势在于高效的推理速度、低延迟、低内存和功耗,能够在iPad等终端设备上高效支持多模态直播。此外,MiniCPM-o 2.6易于使用,支持多种使用方式,包括llama.cpp的CPU推理、int4和GGUF格式的量化模型、vLLM的高吞吐量推理等。
© 2025 AIbase 备案号:闽ICP备08105208号-14