需求人群:
"Tele-FLM主要面向需要处理和生成多语言文本的开发者和研究人员,特别是那些在自然语言处理领域寻求高效、高性能模型的专业人士。"
使用场景示例:
用于生成特定领域的文本摘要。
在问答系统中提供准确的信息检索和回答。
作为聊天机器人的后端,提供流畅的对话体验。
产品特色:
基于变换器架构的解码器仅模型,优化了事实判断能力。
支持多种语言,包括英语和中文。
提供核心设计和工程实践,方便社区使用和学习。
训练数据包含多个领域,覆盖广泛的知识。
采用3D并行训练技术,提高训练效率。
在多个评估基准上展现出良好的性能。
使用教程:
1. 导入torch和transformers库。
2. 使用AutoTokenizer和AutoModelForCausalLM从预训练模型中加载tokenizer和模型。
3. 将输入文本通过tokenizer转换为模型可理解的格式。
4. 将转换后的输入数据传送到模型的设备上。
5. 使用model.generate方法生成文本。
6. 使用tokenizer.decode方法将生成的文本解码回可读格式。
7. 打印最终生成的文本。
浏览量:6
最新流量情况
月访问量
17788.20k
平均访问时长
00:05:32
每次访问页数
5.42
跳出率
44.87%
流量来源
直接访问
48.44%
自然搜索
36.49%
邮件
0.03%
外链引荐
12.04%
社交媒体
2.98%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
14.62%
印度
7.73%
日本
3.41%
俄罗斯
5.72%
美国
17.44%
52B参数的开源多语言大型语言模型
Tele-FLM(亦称FLM-2)是一个52亿参数的开源多语言大型语言模型,具有稳定高效的预训练范式和增强的事实判断能力。基于解码器仅变换器架构,已在大约2T的token上进行训练。Tele-FLM在同等规模上展现出优越的性能,有时甚至超越了更大的模型。除了分享模型权重外,我们还提供了核心设计、工程实践和训练细节,期待它们对学术界和工业界社区都有所裨益。
世界顶尖的开源大型语言模型
Reflection Llama-3.1 70B 是目前世界上顶尖的开源大型语言模型(LLM),采用名为 Reflection-Tuning 的新技术进行训练,使模型能够检测其推理中的错误并进行修正。该模型在合成数据上进行了训练,这些数据由 Glaive 生成。对于正在训练模型的用户来说,Glaive 是一个非常出色的工具。该模型使用标准的 Llama 3.1 聊天格式,通过特殊的标签来区分模型的内部思考和最终答案,从而提升用户体验。
高效开源的大型语言模型
OLMoE-1B-7B 是一个具有1亿活跃参数和7亿总参数的专家混合型大型语言模型(LLM),于2024年9月发布。该模型在成本相似的模型中表现卓越,与更大的模型如Llama2-13B竞争。OLMoE完全开源,支持多种功能,包括文本生成、模型训练和部署等。
大型语言模型,支持多语言和代码数据
Mistral-Nemo-Instruct-2407是由Mistral AI和NVIDIA联合训练的大型语言模型(LLM),是Mistral-Nemo-Base-2407的指导微调版本。该模型在多语言和代码数据上进行了训练,显著优于大小相似或更小的现有模型。其主要特点包括:支持多语言和代码数据训练、128k上下文窗口、可替代Mistral 7B。模型架构包括40层、5120维、128头维、1436隐藏维、32个头、8个kv头(GQA)、2^17词汇量(约128k)、旋转嵌入(theta=1M)。该模型在多种基准测试中表现出色,如HellaSwag(0-shot)、Winogrande(0-shot)、OpenBookQA(0-shot)等。
一款专为生物医学领域设计的开源大型语言模型
OpenBioLLM-8B是由Saama AI Labs开发的先进开源语言模型,专为生物医学领域设计。该模型在大量高质量的生物医学数据上进行了微调,能够理解并生成具有领域特定准确性和流畅性的文字。它在生物医学基准测试中的表现超越了其他类似规模的开源生物医学语言模型,并与更大的专有和开源模型如GPT-3.5和Meditron-70B相比也展现出更好的结果。
Qwen1.5系列首个千亿参数开源模型,多语言支持,高效Transformer解码器架构。
Qwen1.5-110B是Qwen1.5系列中规模最大的模型,拥有1100亿参数,支持多语言,采用高效的Transformer解码器架构,并包含分组查询注意力(GQA),在模型推理时更加高效。它在基础能力评估中与Meta-Llama3-70B相媲美,在Chat评估中表现出色,包括MT-Bench和AlpacaEval 2.0。该模型的发布展示了在模型规模扩展方面的巨大潜力,并且预示着未来通过扩展数据和模型规模,可以获得更大的性能提升。
高效能的语言模型,支持本地智能和设备端计算。
Ministral-8B-Instruct-2410是由Mistral AI团队开发的一款大型语言模型,专为本地智能、设备端计算和边缘使用场景设计。该模型在类似的大小模型中表现优异,支持128k上下文窗口和交错滑动窗口注意力机制,能够在多语言和代码数据上进行训练,支持函数调用,词汇量达到131k。Ministral-8B-Instruct-2410模型在各种基准测试中表现出色,包括知识与常识、代码与数学以及多语言支持等方面。该模型在聊天/竞技场(gpt-4o判断)中的性能尤为突出,能够处理复杂的对话和任务。
开源工具,简化从非结构化文档中提取和探索结构化数据。
Knowledge Table 是一个开源工具包,旨在简化从非结构化文档中提取和探索结构化数据的过程。它通过自然语言查询界面,使用户能够创建结构化的知识表示,如表格和图表。该工具包具有可定制的提取规则、精细调整的格式化选项,并通过UI显示的数据溯源,适应多种用例。它的目标是为业务用户提供熟悉的电子表格界面,同时为开发者提供灵活且高度可配置的后端,确保与现有RAG工作流程的无缝集成。
高效能小型语言模型
Zamba2-7B是由Zyphra团队开发的一款小型语言模型,它在7B规模上超越了当前领先的模型,如Mistral、Google的Gemma和Meta的Llama3系列,无论是在质量还是性能上。该模型专为在设备上和消费级GPU上运行以及需要强大但紧凑高效模型的众多企业应用而设计。Zamba2-7B的发布,展示了即使在7B规模上,前沿技术仍然可以被小团队和适度预算所触及和超越。
一个由Together.ai驱动的开源AI搜索引擎。
TurboSeek是一个创新的AI搜索引擎,它通过结合Bing搜索API和先进的大型语言模型(LLMs)如Mixtral 8x7B和Llama-3,为用户提供快速、准确的搜索结果。该搜索引擎的特点是能够理解和处理自然语言查询,返回更加相关和深入的信息。它的重要性在于能够提高用户获取信息的效率,尤其是在需要处理大量数据和复杂查询时。TurboSeek的开发背景是受到Perplexity等先进搜索引擎的启发,旨在为用户提供一个更智能、更高效的搜索工具。目前,该产品是免费使用的,主要面向技术爱好者和需要处理大量信息的用户。
与数据库对话,用自然语言查询数据。
Chat with your Database 是一个创新的数据库交互工具,它允许用户通过自然语言与Postgres数据库进行交互。利用AI技术,用户可以轻松地查询、分析和操作数据库,而无需编写复杂的SQL代码。该产品支持开源,鼓励社区参与开发和贡献,代码在GitHub上公开,用户可以自由探索、贡献或定制以满足特定需求。
小型语言模型调研、测量与洞察
SLM_Survey是一个专注于小型语言模型(SLMs)的研究项目,旨在通过调研和测量,提供对这些模型的深入了解和技术评估。该项目涵盖了基于Transformer的、仅解码器的语言模型,参数范围在100M至5B之间。通过对59个最先进的开源SLMs进行调研,分析了它们的技术创新,并在多个领域评估了它们的能力,包括常识推理、上下文学习、数学和编程。此外,还对它们的运行时成本进行了基准测试,包括推理延迟和内存占用。这些研究对于推动SLMs领域的研究具有重要价值。
一款文本转语音工具,帮助您轻松阅读文本。
Praises是一款文本转语音(TTS)工具,它通过将文本转换为语音输出,帮助用户更轻松地获取信息。这款工具支持多种API,包括Azure API、Edge API等,并且支持多语言,使得它能够服务于全球用户。Praises的主要优点包括支持多种语音合成技术、易于集成和使用,以及开源的特性,使得开发者可以自由地修改和优化。Praises的背景信息显示,它是由个人开发者ElmTran开发的,并且遵循MIT开源协议,这意味着用户可以免费使用和修改该软件。
AI模型选择助手
Lumigator 是 Mozilla.ai 开发的一款产品,旨在帮助开发者从众多大型语言模型(LLM)中选择最适合其特定项目的模型。它通过提供任务特定的指标框架来评估模型,确保所选模型能够满足项目需求。Lumigator 的愿景是成为一个开源平台,促进道德和透明的AI开发,并填补行业工具链中的空白。
前沿级多模态大型语言模型
NVLM 1.0是NVIDIA ADLR推出的前沿级多模态大型语言模型系列,它在视觉-语言任务上达到了业界领先水平,与顶级专有模型和开放访问模型相媲美。该模型在多模态训练后,甚至在纯文本任务上的准确性上也有所提高。NVLM 1.0的开源模型权重和Megatron-Core训练代码为社区提供了宝贵的资源。
无需编码,快速构建神经机器翻译器
Gaia是一个无需编码即可构建神经机器翻译器(NMT)的工具。它允许用户通过简单的点击操作来训练、部署和商业化自己的神经机器翻译器。该工具支持多语言,包括资源较少的语言对,并提供实时监控功能,帮助用户跟踪训练进度和性能指标。此外,Gaia还提供了易于集成的API,方便开发者将训练好的模型与自己的系统相结合。
多语言大型语言模型
Llama 3.2是由Meta公司推出的多语言大型语言模型(LLMs),包含1B和3B两种规模的预训练和指令调优生成模型。这些模型在多种语言对话用例中进行了优化,包括代理检索和总结任务。Llama 3.2在许多行业基准测试中的表现优于许多现有的开源和封闭聊天模型。
前沿级多模态大型语言模型,实现视觉-语言任务的先进性能。
NVLM 1.0是一系列前沿级的多模态大型语言模型(LLMs),在视觉-语言任务上取得了与领先专有模型和开放访问模型相媲美的先进成果。值得注意的是,NVLM 1.0在多模态训练后,其文本性能甚至超过了其LLM主干模型。我们为社区开源了模型权重和代码。
高效单遍统一生成和检索框架,适用于大型语言模型。
OneGen是一个为大型语言模型(LLMs)设计的高效单遍生成和检索框架,用于微调生成、检索或混合任务。它的核心思想是将生成和检索任务整合到同一上下文中,通过将检索任务分配给以自回归方式生成的检索令牌,使得LLM能够在单次前向传递中执行两种任务。这种方法不仅降低了部署成本,还显著减少了推理成本,因为它避免了对查询进行两次前向传递计算的需求。
开源大型语言模型工具集合
Open Source LLM Tools是一个专注于收集和展示开源大型语言模型(LLM)工具的平台。它提供了一个更新频繁的资源库,帮助开发者和研究者发现和利用最新的开源AI工具。该平台的主要优点在于其高更新频率和对活跃开源AI开发者的聚焦,使得用户能够及时获取到行业的最新动态和技术进展。
开源大型语言模型,支持多语言和专业领域应用。
Qwen2.5是一系列基于Qwen2语言模型构建的新型语言模型,包括通用语言模型Qwen2.5,以及专门针对编程的Qwen2.5-Coder和数学的Qwen2.5-Math。这些模型在大规模数据集上进行了预训练,具备强大的知识理解能力和多语言支持,适用于各种复杂的自然语言处理任务。它们的主要优点包括更高的知识密度、增强的编程和数学能力、以及对长文本和结构化数据的更好理解。Qwen2.5的发布是开源社区的一大进步,为开发者和研究人员提供了强大的工具,以推动人工智能领域的研究和发展。
使大型语言模型在长文本问答中生成细粒度引用
LongCite是一个开源的模型,它通过训练大型语言模型(LLMs)来实现在长文本问答场景中生成准确的回答和精确的句级引用。该技术的重要性在于它能够提高问答系统的准确性和可信度,使用户能够验证输出信息的来源。LongCite支持高达128K的上下文长度,并且提供了两个模型:LongCite-glm4-9b和LongCite-llama3.1-8b,分别基于GLM-4-9B和Meta-Llama-3.1-8B进行训练。
利用大型语言模型增量构建知识图谱
iText2KG是一个Python包,旨在利用大型语言模型从文本文档中提取实体和关系,增量构建一致的知识图谱。它具备零样本能力,允许在没有特定训练的情况下跨不同领域进行知识提取。该包包括文档蒸馏、实体提取和关系提取模块,确保实体和关系得到解决和唯一性。它通过Neo4j提供知识图谱的可视化表示,支持交互式探索和分析结构化数据。
开源的专家混合语言模型,具有1.3亿活跃参数。
OLMoE是一个完全开放的、最先进的专家混合模型,具有1.3亿活跃参数和6.9亿总参数。该模型的所有数据、代码和日志都已发布。它提供了论文'OLMoE: Open Mixture-of-Experts Language Models'的所有资源概览。该模型在预训练、微调、适应和评估方面都具有重要应用,是自然语言处理领域的一个里程碑。
一个用于与ChatGPT模型交互的提示集合
Awesome ChatGPT Prompts是一个开源仓库,收集了用于与ChatGPT模型交互的提示示例。这个仓库鼓励用户添加自己的提示,并使用ChatGPT生成新的提示。
RWKV v6 Finch 14B,开源大模型,高效处理长文本。
RWKV v6 Finch 14B是RWKV架构的第六个版本,也是该系列中最大的模型。它通过引入数据依赖性到token shift和time-mixing中,提高了处理长文本时的效率。Finch 14B模型在处理提示时,能够更好地管理其长期记忆,从而提供更广泛的应用范围。该模型是开源的,由Linux Foundation认可,并且接受社区的GPU集群时间捐赠以支持训练。
基于大型语言模型的高性能MacOS聊天应用
ChatMLX是一款现代、开源、高性能的MacOS聊天应用程序,基于大型语言模型构建。它利用MLX的强大性能和苹果硅芯片,支持多种模型,为用户提供丰富的对话选择。ChatMLX在本地运行大型语言模型,以确保用户隐私和安全。
© 2024 AIbase 备案号:闽ICP备08105208号-14