需求人群:
"目标受众是需要处理多样化任务的开发者和研究人员,他们可以利用该框架提高模型的适应性和效率,适用于需要实时任务处理和优化模型性能的场景。"
使用场景示例:
自然语言处理任务中的文本分类和情感分析。
多语言翻译任务,根据不同语言对模型进行实时调整。
智能客服系统中根据不同客户问题调整回答策略。
产品特色:
实时任务适应:能够快速识别并适应未见任务。
两步推理机制:先识别任务属性,再动态混合专家向量。
强化学习训练:使用强化学习优化任务特定的专家向量。
开源框架:在GitHub上开源,方便开发者使用和贡献。
多任务处理:适用于多种不同的任务和应用场景。
高效计算:相比传统方法,计算更加高效,节省资源。
使用教程:
1. 克隆仓库:git clone https://github.com/SakanaAI/self-adaptive-llms 并进入目录。
2. 安装依赖库:创建conda环境并安装requirements.txt中列出的库。
3. 安装任务评估器:进入evaluation/fishfarm目录并执行pip install -e .。
4. 训练模型:运行scripts/train_task_expert.sh脚本进行模型训练。
5. 评估模型:根据需要选择prompt-based或few-shots评估方式,运行相应的脚本。
浏览量:9
最新流量情况
月访问量
4.91m
平均访问时长
00:06:18
每次访问页数
5.57
跳出率
37.92%
流量来源
直接访问
51.73%
自然搜索
32.88%
邮件
0.04%
外链引荐
13.01%
社交媒体
2.27%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
13.81%
德国
3.69%
印度
9.16%
俄罗斯
4.47%
美国
18.04%
一个实时适应未见任务的自适应大型语言模型框架。
SakanaAI/self-adaptive-llms是一个名为Transformer²的自适应框架,旨在解决传统微调方法计算密集且处理多样化任务能力静态的挑战。该框架能够在推理过程中通过两步机制实时调整大型语言模型(LLMs)以适应未见任务:首先,调度系统识别任务属性;然后,使用强化学习训练的任务特定'专家'向量被动态混合,以获得针对输入提示的目标行为。主要优点包括实时任务适应性、计算效率和灵活性。该项目由SakanaAI团队开发,目前在GitHub上开源,拥有195颗星和12次分叉。
DeepSeek-R1-Distill-Llama-70B 是一款基于强化学习优化的大型语言模型,专注于推理和对话能力。
DeepSeek-R1-Distill-Llama-70B 是由 DeepSeek 团队开发的一款大型语言模型,基于 Llama-70B 架构并通过强化学习进行优化。该模型在推理、对话和多语言任务中表现出色,支持多种应用场景,包括代码生成、数学推理和自然语言处理。其主要优点是高效的推理能力和对复杂问题的解决能力,同时支持开源和商业使用。该模型适用于需要高性能语言生成和推理能力的企业和研究机构。
DeepSeek-R1 是一款高性能推理模型,支持多种语言和任务,适用于研究和商业应用。
DeepSeek-R1 是 DeepSeek 团队推出的第一代推理模型,通过大规模强化学习训练,无需监督微调即可展现出卓越的推理能力。该模型在数学、代码和推理任务上表现优异,与 OpenAI-o1 模型相当。DeepSeek-R1 还提供了多种蒸馏模型,适用于不同规模和性能需求的场景。其开源特性为研究社区提供了强大的工具,支持商业使用和二次开发。
医疗领域复杂推理的大型语言模型
HuatuoGPT-o1是一个专为医疗复杂推理设计的大语言模型,能够识别错误、探索替代策略并完善答案。该模型通过利用可验证的医疗问题和专门的医疗验证器,推进了复杂推理的发展。HuatuoGPT-o1的主要优点包括:使用验证器指导复杂推理轨迹的搜索,以微调大型语言模型;应用基于验证器奖励的强化学习(PPO)进一步提升复杂推理能力。HuatuoGPT-o1的开源模型、数据和代码,使其在医疗教育和研究领域具有重要价值。
多模态大型语言模型,提升文本、图像和视频数据处理能力。
Valley是由字节跳动开发的多模态大型模型(MLLM),旨在处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果,远超过其他开源模型,并在OpenCompass多模态模型评估排行榜上展现了出色的性能,平均得分67.40,位列已知开源MLLMs(<10B)中的前两名。
开源多模态大型语言模型系列
InternVL 2.5是基于InternVL 2.0的高级多模态大型语言模型系列,它在保持核心模型架构的同时,在训练和测试策略以及数据质量方面引入了显著的增强。该模型深入探讨了模型扩展与性能之间的关系,系统地探索了视觉编码器、语言模型、数据集大小和测试时配置的性能趋势。通过在包括多学科推理、文档理解、多图像/视频理解、现实世界理解、多模态幻觉检测、视觉定位、多语言能力和纯语言处理在内的广泛基准测试中进行的广泛评估,InternVL 2.5展现出了与GPT-4o和Claude-3.5-Sonnet等领先商业模型相媲美的竞争力。特别是,该模型是第一个在MMMU基准测试中超过70%的开源MLLM,通过链式思考(CoT)推理实现了3.7个百分点的提升,并展示了测试时扩展的强大潜力。
前沿级多模态大型语言模型,实现视觉-语言任务的先进性能。
NVLM 1.0是一系列前沿级的多模态大型语言模型(LLMs),在视觉-语言任务上取得了与领先专有模型和开放访问模型相媲美的先进成果。值得注意的是,NVLM 1.0在多模态训练后,其文本性能甚至超过了其LLM主干模型。我们为社区开源了模型权重和代码。
一个新的高效开源大型语言模型标准
DBRX是一个由Databricks的Mosaic研究团队构建的通用大型语言模型(LLM),在标准基准测试中表现优于所有现有开源模型。它采用Mixture-of-Experts (MoE)架构,使用362亿个参数,拥有出色的语言理解、编程、数学和逻辑推理能力。DBRX旨在推动高质量开源LLM的发展,并且便于企业根据自身数据对模型进行定制。Databricks为企业用户提供了交互式使用DBRX、利用其长上下文能力构建检索增强系统,并基于自身数据构建定制DBRX模型的能力。
一种新颖的图像到视频采样技术,基于Hunyuan模型实现高质量视频生成。
leapfusion-hunyuan-image2video 是一种基于 Hunyuan 模型的图像到视频生成技术。它通过先进的深度学习算法,将静态图像转换为动态视频,为内容创作者提供了一种全新的创作方式。该技术的主要优点包括高效的内容生成、灵活的定制化能力以及对高质量视频输出的支持。它适用于需要快速生成视频内容的场景,如广告制作、视频特效等领域。该模型目前以开源形式发布,供开发者和研究人员免费使用,未来有望通过社区贡献进一步提升其性能。
百川智能开发的专为医疗场景优化的开源大语言模型,具备卓越的通用能力和医疗领域性能。
Baichuan-M1-14B 是由百川智能开发的开源大语言模型,专为医疗场景优化。它基于20万亿token的高质量医疗与通用数据训练,覆盖20多个医疗科室,具备强大的上下文理解和长序列任务表现能力。该模型在医疗领域表现出色,同时在通用任务中也达到了同尺寸模型的效果。其创新的模型结构和训练方法使其在医疗推理、病症判断等复杂任务中表现出色,为医疗领域的人工智能应用提供了强大的支持。
FilmAgent是一个基于LLM的多智能体协作框架,用于虚拟3D空间中的端到端电影自动化制作。
FilmAgent是一种创新的电影制作技术,通过模拟导演、编剧、演员和摄影师等关键角色,利用多智能体协作实现虚拟3D空间中的电影自动化制作。该技术的主要优点在于能够减少人工干预,提高制作效率,同时降低错误率。FilmAgent在电影制作领域的应用,为创作者提供了一个高效、低成本的解决方案,尤其适合资源有限的小型制作团队。虽然目前没有明确的价格信息,但其开源的特性使其具有广泛的适用性和推广价值。
DeepSeek-R1-Distill-Qwen-1.5B 是一款高效推理的开源语言模型,适用于多种自然语言处理任务。
DeepSeek-R1-Distill-Qwen-1.5B 是由 DeepSeek 团队开发的开源语言模型,基于 Qwen2.5 系列进行蒸馏优化。该模型通过大规模强化学习和数据蒸馏技术,显著提升了推理能力和性能,同时保持了较小的模型体积。它在多项基准测试中表现出色,尤其在数学、代码生成和推理任务中具有显著优势。该模型支持商业使用,并允许用户进行修改和衍生作品开发,适合研究机构和企业用于开发高性能的自然语言处理应用。
DeepSeek-R1-Distill-Qwen-7B 是一个开源的推理模型,专注于数学、代码和推理任务。
DeepSeek-R1-Distill-Qwen-7B 是一个经过强化学习优化的推理模型,基于 Qwen-7B 进行了蒸馏优化。它在数学、代码和推理任务上表现出色,能够生成高质量的推理链和解决方案。该模型通过大规模强化学习和数据蒸馏技术,显著提升了推理能力和效率,适用于需要复杂推理和逻辑分析的场景。
DeepSeek-R1-Distill-Llama-8B 是一个高性能的开源语言模型,适用于文本生成和推理任务。
DeepSeek-R1-Distill-Llama-8B 是 DeepSeek 团队开发的高性能语言模型,基于 Llama 架构并经过强化学习和蒸馏优化。该模型在推理、代码生成和多语言任务中表现出色,是开源社区中首个通过纯强化学习提升推理能力的模型。它支持商业使用,允许修改和衍生作品,适合学术研究和企业应用。
DeepSeek-R1-Distill-Qwen-32B 是一款高性能的开源语言模型,适用于多种文本生成任务。
DeepSeek-R1-Distill-Qwen-32B 是由 DeepSeek 团队开发的高性能语言模型,基于 Qwen-2.5 系列进行蒸馏优化。该模型在多项基准测试中表现出色,尤其是在数学、代码和推理任务上。其主要优点包括高效的推理能力、强大的多语言支持以及开源特性,便于研究人员和开发者进行二次开发和应用。该模型适用于需要高性能文本生成的场景,如智能客服、内容创作和代码辅助等,具有广泛的应用前景。
PaSa 是一个由大语言模型驱动的先进学术论文搜索代理,能够自主决策并获取准确结果。
PaSa 是由字节跳动开发的一种先进学术论文搜索代理,基于大语言模型(LLM)技术,能够自主调用搜索工具、阅读论文并筛选相关参考文献,以获取复杂学术查询的全面准确结果。该技术通过强化学习优化,使用合成数据集 AutoScholarQuery 进行训练,并在真实世界查询数据集 RealScholarQuery 上表现出色,显著优于传统搜索引擎和基于 GPT 的方法。PaSa 的主要优势在于其高召回率和精准率,能够为研究人员提供更高效的学术搜索体验。
DeepSeek-R1-Zero 是一款通过大规模强化学习训练的推理模型,无需监督微调即可实现卓越推理能力。
DeepSeek-R1-Zero 是由 DeepSeek 团队开发的推理模型,专注于通过强化学习提升模型的推理能力。该模型在无需监督微调的情况下,展现出强大的推理行为,如自我验证、反思和生成长链推理。其主要优点包括高效推理能力、无需预训练即可使用,以及在数学、代码和推理任务上的卓越表现。该模型基于 DeepSeek-V3 架构开发,支持大规模推理任务,适用于研究和商业应用。
一个用于强化学习人类反馈训练过程可视化的工具,帮助深度理解与调试。
RLLoggingBoard 是一个专注于强化学习人类反馈(RLHF)训练过程可视化的工具。它通过细粒度的指标监控,帮助研究人员和开发者直观理解训练过程,快速定位问题,并优化训练效果。该工具支持多种可视化模块,包括奖励曲线、响应排序和 token 级别指标等,旨在辅助现有的训练框架,提升训练效率和效果。它适用于任何支持保存所需指标的训练框架,具有高度的灵活性和可扩展性。
InternLM3-8B-Instruct是一个开源的80亿参数指令模型,用于通用用途和高级推理。
InternLM3-8B-Instruct是InternLM团队开发的大型语言模型,具有卓越的推理能力和知识密集型任务处理能力。该模型在仅使用4万亿高质量词元进行训练的情况下,实现了比同级别模型低75%以上的训练成本,同时在多个基准测试中超越了Llama3.1-8B和Qwen2.5-7B等模型。它支持深度思考模式,能够通过长思维链解决复杂的推理任务,同时也具备流畅的用户交互能力。该模型基于Apache-2.0许可证开源,适用于需要高效推理和知识处理的各种应用场景。
MinMo是一款多模态大型语言模型,用于无缝语音交互。
MinMo是阿里巴巴集团通义实验室开发的一款多模态大型语言模型,拥有约80亿参数,专注于实现无缝语音交互。它通过多个阶段的训练,包括语音到文本对齐、文本到语音对齐、语音到语音对齐和全双工交互对齐,在140万小时的多样化语音数据和广泛的语音任务上进行训练。MinMo在语音理解和生成的各种基准测试中达到了最先进的性能,同时保持了文本大型语言模型的能力,并支持全双工对话,即用户和系统之间的同时双向通信。此外,MinMo还提出了一种新颖且简单的语音解码器,在语音生成方面超越了以往的模型。MinMo的指令遵循能力得到了增强,支持根据用户指令控制语音生成,包括情感、方言和语速等细节,并模仿特定的声音。MinMo的语音到文本延迟约为100毫秒,全双工延迟理论上约为600毫秒,实际约为800毫秒。MinMo的开发旨在克服以往对齐多模态模型的主要限制,为用户提供更自然、流畅和人性化的语音交互体验。
开源的视觉语言模型,可在多种设备上运行。
Moondream AI是一个开源的视觉语言模型,具有强大的多模态处理能力。它支持多种量化格式,如fp16、int8、int4,能够在服务器、PC、移动设备等多种目标设备上进行GPU和CPU优化推理。其主要优点包括快速、高效、易于部署,且采用Apache 2.0许可证,允许用户自由使用和修改。Moondream AI的定位是为开发者提供一个灵活、高效的人工智能解决方案,适用于需要视觉和语言处理能力的各种应用场景。
Agent Laboratory是一个端到端的自主研究工作流,旨在协助人类研究人员实施研究想法。
Agent Laboratory是一个由Samuel Schmidgall等人开发的项目,旨在通过大型语言模型驱动的专门代理,帮助研究人员完成从文献综述到实验执行再到报告撰写的整个研究流程。它不是为了取代人类的创造力,而是为了补充创造力,使研究人员能够专注于构思和批判性思维,同时自动化编码和文档等重复性和耗时的任务。该工具的源代码采用MIT许可证,允许在遵守MIT许可证条款的情况下使用、修改和分发代码。
PRIME通过隐式奖励增强在线强化学习,提升语言模型的推理能力。
PRIME是一个开源的在线强化学习解决方案,通过隐式过程奖励来增强语言模型的推理能力。该技术的主要优点在于能够在不依赖显式过程标签的情况下,有效地提供密集的奖励信号,从而加速模型的训练和推理能力的提升。PRIME在数学竞赛基准测试中表现出色,超越了现有的大型语言模型。其背景信息包括由多个研究者共同开发,并在GitHub上发布了相关代码和数据集。PRIME的定位是为需要复杂推理任务的用户提供强大的模型支持。
Sonus-1:开启大型语言模型(LLMs)的新时代
Sonus-1是Sonus AI推出的一系列大型语言模型(LLMs),旨在推动人工智能的边界。这些模型以其高性能和多应用场景的多功能性而设计,包括Sonus-1 Mini、Sonus-1 Air、Sonus-1 Pro和Sonus-1 Pro (w/ Reasoning)等不同版本,以满足不同需求。Sonus-1 Pro (w/ Reasoning)在多个基准测试中表现突出,特别是在推理和数学问题上,展现了其超越其他专有模型的能力。Sonus AI致力于开发高性能、可负担、可靠且注重隐私的大型语言模型。
先进的医疗领域大型语言模型
HuatuoGPT-o1-8B 是一个专为高级医疗推理设计的医疗领域大型语言模型(LLM)。它在提供最终响应之前会生成一个复杂的思考过程,反映并完善其推理过程。该模型基于LLaMA-3.1-8B构建,支持英文,并且采用'thinks-before-it-answers'的方法,输出格式包括推理过程和最终响应。此模型在医疗领域具有重要意义,因为它能够处理复杂的医疗问题并提供深思熟虑的答案,这对于提高医疗决策的质量和效率至关重要。
多模态大型语言模型,优化图像与文本交互能力
InternVL2_5-4B-MPO-AWQ是一个多模态大型语言模型(MLLM),专注于提升模型在图像和文本交互任务中的表现。该模型基于InternVL2.5系列,并通过混合偏好优化(MPO)进一步提升性能。它能够处理包括单图像和多图像、视频数据在内的多种输入,适用于需要图像和文本交互理解的复杂任务。InternVL2_5-4B-MPO-AWQ以其卓越的多模态能力,为图像-文本到文本的任务提供了一个强大的解决方案。
模型评测平台
FlagEval是一个模型评测平台,专注于大语言模型和多模态模型的评测。它提供了一个公正、透明的环境,让不同的模型在同一标准下进行比较,帮助研究者和开发者了解模型性能,推动人工智能技术的发展。该平台涵盖了对话模型、视觉语言模型等多种模型类型,支持开源和闭源模型的评测,并提供专项评测如K12学科测验和金融量化交易评测。
© 2025 AIbase 备案号:闽ICP备08105208号-14