需求人群:
"RWKV v6 Finch 14B适合需要处理大量文本数据的研究人员和开发者,特别是在自然语言处理和机器学习领域。它的高效性和开源特性使其成为推动AI研究和应用的理想选择。"
使用场景示例:
用于开发多语言的聊天机器人。
在大规模文本数据集上进行情感分析。
作为语言模型,辅助翻译和文本生成任务。
产品特色:
Finch 14B模型具有更高效的数据处理能力,改进了长期记忆管理。
基于Eagle 7B模型的继续训练,通过堆叠两个7B模型来增加短期记忆。
使用广泛的基准测试评估模型性能,包括Open LLM Leaderboard v1基准。
Finch 7B相较于Eagle 7B在所有基准测试中提高了5.38%,而Finch 14B额外提高了7.14%。
模型训练使用了1.42T tokens的数据集,证明了模型深度未饱和。
RWKV项目接受GPU集群时间捐赠,以支持进一步的训练和开发。
模型权重、推理服务和训练代码均已开源,可在相关链接中获取。
使用教程:
访问RWKV的GitHub页面,下载模型权重和训练代码。
根据提供的指南,设置并配置所需的硬件和软件环境。
利用提供的推理服务进行模型测试或直接集成到应用中。
参与社区讨论,为模型的训练和发展贡献GPU集群时间。
根据项目需求,对模型进行微调和优化。
利用模型进行文本处理任务,如翻译、摘要或生成。
浏览量:42
最新流量情况
月访问量
217
平均访问时长
00:00:02
每次访问页数
1.00
跳出率
100.00%
流量来源
直接访问
25.69%
自然搜索
23.40%
邮件
0.05%
外链引荐
28.73%
社交媒体
21.49%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
美国
84.29%
RWKV v6 Finch 14B,开源大模型,高效处理长文本。
RWKV v6 Finch 14B是RWKV架构的第六个版本,也是该系列中最大的模型。它通过引入数据依赖性到token shift和time-mixing中,提高了处理长文本时的效率。Finch 14B模型在处理提示时,能够更好地管理其长期记忆,从而提供更广泛的应用范围。该模型是开源的,由Linux Foundation认可,并且接受社区的GPU集群时间捐赠以支持训练。
一个完全开源的大型语言模型,提供先进的自然语言处理能力。
MAP-NEO是一个完全开源的大型语言模型,它包括预训练数据、数据处理管道(Matrix)、预训练脚本和对齐代码。该模型从零开始训练,使用了4.5T的英文和中文token,展现出与LLaMA2 7B相当的性能。MAP-NEO在推理、数学和编码等具有挑战性的任务中表现出色,超越了同等规模的模型。为了研究目的,我们致力于实现LLM训练过程的完全透明度,因此我们全面发布了MAP-NEO,包括最终和中间检查点、自训练的分词器、预训练语料库以及高效稳定的优化预训练代码库。
Qwen1.5系列首个千亿参数开源模型,多语言支持,高效Transformer解码器架构。
Qwen1.5-110B是Qwen1.5系列中规模最大的模型,拥有1100亿参数,支持多语言,采用高效的Transformer解码器架构,并包含分组查询注意力(GQA),在模型推理时更加高效。它在基础能力评估中与Meta-Llama3-70B相媲美,在Chat评估中表现出色,包括MT-Bench和AlpacaEval 2.0。该模型的发布展示了在模型规模扩展方面的巨大潜力,并且预示着未来通过扩展数据和模型规模,可以获得更大的性能提升。
高效的企业级人工智能模型,低成本实现高质量定制模型。
Snowflake Arctic 是一款专为企业级人工智能任务设计的大规模语言模型(LLM),它在 SQL 生成、编码以及指令遵循等基准测试中表现出色,即使与计算预算更高的开源模型相比也毫不逊色。Arctic 通过其高效的训练和推理,为 Snowflake 客户以及广大 AI 社区提供了一种成本效益极高的定制模型创建方式。此外,Arctic 采用 Apache 2.0 许可,提供无门槛的权重和代码访问,并通过开源数据配方和研究洞察,进一步推动了社区的开放性和成本效益。
RAG-FiT是一个用于提升LLMs利用外部信息能力的库,通过特别创建的RAG增强数据集对模型进行微调。
RAG-FiT是一个强大的工具,旨在通过检索增强生成(RAG)技术提升大型语言模型(LLMs)的能力。它通过创建专门的RAG增强数据集,帮助模型更好地利用外部信息。该库支持从数据准备到模型训练、推理和评估的全流程操作。其主要优点包括模块化设计、可定制化工作流以及对多种RAG配置的支持。RAG-FiT基于开源许可,适合研究人员和开发者进行快速原型开发和实验。
Tülu 3 405B 是一个大规模开源语言模型,通过强化学习提升性能。
Tülu 3 405B 是由 Allen Institute for AI 开发的开源语言模型,具有 4050 亿参数。该模型通过创新的强化学习框架(RLVR)提升性能,尤其在数学和指令跟随任务中表现出色。它基于 Llama-405B 模型进行优化,采用监督微调、偏好优化等技术。Tülu 3 405B 的开源性质使其成为研究和开发领域的强大工具,适用于需要高性能语言模型的各种应用场景。
首个面向语境智能的人类级实时交互系统,支持多情感、多风格语音交互。
SpeechGPT 2.0-preview 是一款由复旦大学自然语言处理实验室开发的先进语音交互模型。它通过海量语音数据训练,实现了低延迟、高自然度的语音交互能力。该模型能够模拟多种情感、风格和角色的语音表达,同时支持工具调用、在线搜索和外部知识库访问等功能。其主要优点包括强大的语音风格泛化能力、多角色模拟以及低延迟交互体验。目前该模型仅支持中文语音交互,未来计划扩展到更多语言。
百川智能开发的专为医疗场景优化的开源大语言模型,具备卓越的通用能力和医疗领域性能。
Baichuan-M1-14B 是由百川智能开发的开源大语言模型,专为医疗场景优化。它基于20万亿token的高质量医疗与通用数据训练,覆盖20多个医疗科室,具备强大的上下文理解和长序列任务表现能力。该模型在医疗领域表现出色,同时在通用任务中也达到了同尺寸模型的效果。其创新的模型结构和训练方法使其在医疗推理、病症判断等复杂任务中表现出色,为医疗领域的人工智能应用提供了强大的支持。
Sonus-1:开启大型语言模型(LLMs)的新时代
Sonus-1是Sonus AI推出的一系列大型语言模型(LLMs),旨在推动人工智能的边界。这些模型以其高性能和多应用场景的多功能性而设计,包括Sonus-1 Mini、Sonus-1 Air、Sonus-1 Pro和Sonus-1 Pro (w/ Reasoning)等不同版本,以满足不同需求。Sonus-1 Pro (w/ Reasoning)在多个基准测试中表现突出,特别是在推理和数学问题上,展现了其超越其他专有模型的能力。Sonus AI致力于开发高性能、可负担、可靠且注重隐私的大型语言模型。
多模态大型语言模型,提升文本、图像和视频数据处理能力。
Valley是由字节跳动开发的多模态大型模型(MLLM),旨在处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果,远超过其他开源模型,并在OpenCompass多模态模型评估排行榜上展现了出色的性能,平均得分67.40,位列已知开源MLLMs(<10B)中的前两名。
一站式大模型算法、模型及优化工具开源项目
FlagAI是由北京智源人工智能研究院推出的一站式、高质量开源项目,集成了全球各种主流大模型算法技术以及多种大模型并行处理和训练加速技术。它支持高效训练和微调,旨在降低大模型开发和应用的门槛,提高开发效率。FlagAI涵盖了多个领域明星模型,如语言大模型OPT、T5,视觉大模型ViT、Swin Transformer,多模态大模型CLIP等。智源研究院也持续将“悟道2.0”“悟道3.0”大模型项目成果开源至FlagAI,目前该项目已经加入Linux基金会,吸引全球科研力量共同创新、共同贡献。
开源图像到视频生成模型
Ruyi-Mini-7B是由CreateAI团队开发的开源图像到视频生成模型,具有约71亿参数,能够从输入图像生成360p到720p分辨率的视频帧,最长5秒。模型支持不同宽高比,并增强了运动和相机控制功能,提供更大的灵活性和创造力。该模型在Apache 2.0许可下发布,意味着用户可以自由使用和修改。
最强大的RWKV模型变体,打破多项英语基准测试。
Q-RWKV-6 32B Instruct Preview是由Recursal AI开发的最新RWKV模型变体,它在多项英语基准测试中超越了之前所有的RWKV、State Space和Liquid AI模型。这个模型通过将Qwen 32B Instruct模型的权重转换到定制的QRWKV6架构中,成功地用RWKV-V6注意力头替换了现有的Transformer注意力头,这一过程是由Recursal AI团队与RWKV和EleutherAI开源社区联合开发的。该模型的主要优点包括在大规模计算成本上的显著降低,以及对环境友好的开源AI技术。
高效、多语种的语音合成模型
CosyVoice语音生成大模型2.0-0.5B是一个高性能的语音合成模型,支持零样本、跨语言的语音合成,能够根据文本内容直接生成相应的语音输出。该模型由通义实验室提供,具有强大的语音合成能力和广泛的应用场景,包括但不限于智能助手、有声读物、虚拟主播等。模型的重要性在于其能够提供自然、流畅的语音输出,极大地丰富了人机交互的体验。
开源多模态大型语言模型系列
InternVL 2.5是基于InternVL 2.0的高级多模态大型语言模型系列,它在保持核心模型架构的同时,在训练和测试策略以及数据质量方面引入了显著的增强。该模型深入探讨了模型扩展与性能之间的关系,系统地探索了视觉编码器、语言模型、数据集大小和测试时配置的性能趋势。通过在包括多学科推理、文档理解、多图像/视频理解、现实世界理解、多模态幻觉检测、视觉定位、多语言能力和纯语言处理在内的广泛基准测试中进行的广泛评估,InternVL 2.5展现出了与GPT-4o和Claude-3.5-Sonnet等领先商业模型相媲美的竞争力。特别是,该模型是第一个在MMMU基准测试中超过70%的开源MLLM,通过链式思考(CoT)推理实现了3.7个百分点的提升,并展示了测试时扩展的强大潜力。
大型语言模型,用于文本生成和分类
OLMo-2-1124-7B-RM是由Hugging Face和Allen AI共同开发的一个大型语言模型,专注于文本生成和分类任务。该模型基于7B参数的规模构建,旨在处理多样化的语言任务,包括聊天、数学问题解答、文本分类等。它是基于Tülu 3数据集和偏好数据集训练的奖励模型,用于初始化RLVR训练中的价值模型。OLMo系列模型的发布,旨在推动语言模型的科学研究,通过开放代码、检查点、日志和相关的训练细节,促进了模型的透明度和可访问性。
高性能英文文本生成模型
OLMo-2-1124-7B-SFT是由艾伦人工智能研究所(AI2)发布的一个英文文本生成模型,它是OLMo 2 7B模型的监督微调版本,专门针对Tülu 3数据集进行了优化。Tülu 3数据集旨在提供多样化任务的顶尖性能,包括聊天、数学问题解答、GSM8K、IFEval等。该模型的主要优点包括强大的文本生成能力、多样性任务处理能力以及开源的代码和训练细节,使其成为研究和教育领域的有力工具。
腾讯开源的大型视频生成模型训练框架
HunyuanVideo是腾讯开源的一个系统性框架,用于训练大型视频生成模型。该框架通过采用数据策划、图像-视频联合模型训练和高效的基础设施等关键技术,成功训练了一个超过130亿参数的视频生成模型,是所有开源模型中最大的。HunyuanVideo在视觉质量、运动多样性、文本-视频对齐和生成稳定性方面表现出色,超越了包括Runway Gen-3、Luma 1.6在内的多个行业领先模型。通过开源代码和模型权重,HunyuanVideo旨在缩小闭源和开源视频生成模型之间的差距,推动视频生成生态系统的活跃发展。
高性能英文语言模型,适用于多样化任务
OLMo-2-1124-13B-DPO是经过监督微调和DPO训练的13B参数大型语言模型,主要针对英文,旨在提供在聊天、数学、GSM8K和IFEval等多种任务上的卓越性能。该模型是OLMo系列的一部分,旨在推动语言模型的科学研究。模型训练基于Dolma数据集,并公开代码、检查点、日志和训练细节。
基于大型语言模型的主动式代理,预测用户需求并主动提供帮助。
ProactiveAgent是一个基于大型语言模型(LLM)的主动式代理项目,旨在构建一个能够预测用户需求并主动提供帮助的智能代理。该项目通过数据收集和生成管道、自动评估器和训练代理来实现这一目标。ProactiveAgent的主要优点包括环境感知、协助标注、动态数据生成和构建管道,其奖励模型在测试集上达到了0.918的F1分数,显示出良好的性能。该产品背景信息显示,它适用于编程、写作和日常生活场景,并且遵循Apache License 2.0协议。
科学文献综合检索增强型语言模型
Ai2 OpenScholar是由艾伦人工智能研究所与华盛顿大学合作开发的检索增强型语言模型,旨在帮助科学家通过检索相关文献并基于这些文献生成回答来有效导航和综合科学文献。该模型在多个科学领域中表现出色,特别是在引用准确性和事实性方面。它代表了人工智能在科学研究中应用的重要进步,能够加速科学发现并提高研究效率。
最先进的全开放语言模型
OLMo 2是由Ai2推出的最新全开放语言模型,包括7B和13B两种规模的模型,训练数据高达5T tokens。这些模型在性能上与同等规模的全开放模型相当或更优,并且在英语学术基准测试中与开放权重模型如Llama 3.1竞争。OLMo 2的开发注重模型训练的稳定性、阶段性训练干预、最先进的后训练方法和可操作的评估框架。这些技术的应用使得OLMo 2在多个任务上表现出色,特别是在知识回忆、常识、一般和数学推理方面。
先进的文本生成模型,支持多样化任务
Llama-3.1-Tulu-3-8B-DPO是Tülu3模型家族中的一员,专注于指令遵循,提供完全开源的数据、代码和配方,旨在作为现代后训练技术的全面指南。该模型专为聊天以外的多样化任务设计,如MATH、GSM8K和IFEval,以达到最先进的性能。模型主要优点包括开源数据和代码、支持多种任务、以及优秀的性能。产品背景信息显示,该模型由Allen AI研究所开发,遵循Llama 3.1社区许可协议,适用于研究和教育用途。
先进的指令遵循模型,提供开源数据和代码。
Llama-3.1-Tulu-3-8B是Tülu3指令遵循模型家族的一部分,专为多样化任务设计,包括聊天、数学问题解答、GSM8K和IFEval等。这个模型家族以其卓越的性能和完全开源的数据、代码以及现代后训练技术的全面指南而著称。模型主要使用英文,并且是基于allenai/Llama-3.1-Tulu-3-8B-DPO模型微调而来。
Qwen Turbo 1M Demo是一个由Qwen提供的Hugging Face空间。
Qwen Turbo 1M Demo是一个基于Hugging Face平台的人工智能模型演示。这个模型代表了自然语言处理技术的最新进展,特别是在中文文本理解和生成方面。它的重要性在于能够提供高效、准确的语言模型,以支持各种语言相关的应用,如机器翻译、文本摘要、问答系统等。Qwen Turbo 1M Demo以其较小的模型尺寸和快速的处理速度而受到青睐,适合需要快速部署和高效运行的场合。目前,该模型是免费试用的,具体价格和定位可能需要进一步的商业洽谈。
O1复制之旅:战略进展报告第一部分
O1-Journey是由上海交通大学GAIR研究组发起的一个项目,旨在复制和重新想象OpenAI的O1模型的能力。该项目提出了“旅程学习”的新训练范式,并构建了首个成功整合搜索和学习在数学推理中的模型。这个模型通过试错、纠正、回溯和反思等过程,成为处理复杂推理任务的有效方法。
业界领先的开源大型混合专家模型
Tencent-Hunyuan-Large(混元大模型)是由腾讯推出的业界领先的开源大型混合专家(MoE)模型,拥有3890亿总参数和520亿激活参数。该模型在自然语言处理、计算机视觉和科学任务等领域取得了显著进展,特别是在处理长上下文输入和提升长上下文任务处理能力方面表现出色。混元大模型的开源,旨在激发更多研究者的创新灵感,共同推动AI技术的进步和应用。
开源视频生成模型
genmoai/models 是一个开源的视频生成模型,代表了视频生成技术的最新进展。该模型名为 Mochi 1,是一个基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构的10亿参数扩散模型,从零开始训练,是迄今为止公开发布的最大的视频生成模型。它具有高保真运动和强提示遵循性,显著缩小了封闭和开放视频生成系统之间的差距。该模型在 Apache 2.0 许可下发布,用户可以在 Genmo 的 playground 上免费试用此模型。
© 2025 AIbase 备案号:闽ICP备08105208号-14