需求人群:
"目标受众为研究人员、自然语言处理开发者和教育工作者,他们需要一个工具来评估和提升语言模型在科学文献研究中的性能。ScholarQABench提供了必要的数据集和评估工具,帮助他们理解模型的强项和弱点,进而优化模型设计。"
使用场景示例:
研究人员使用ScholarQABench来评估他们开发的问答系统在计算机科学领域的性能。
教育工作者利用该平台来教授学生如何使用和评估语言模型在科学文献研究中的应用。
开发者用ScholarQABench来测试和改进他们的模型,以更好地服务于生物医学研究。
产品特色:
提供ScholarQABench评估脚本和数据:包含多个领域的数据文件和评估脚本,用于测试LLMs的科学文献综合能力。
支持多个科学领域:包括计算机科学、生物医学、神经科学等多个领域的数据集,以评估模型在不同领域的应用效果。
提供详细的评估指标:包括准确性、引用完整性等,以全面评估模型性能。
支持模型推理后的评估:用户可以使用提供的脚本来评估自己模型的推理结果。
提供答案转换脚本:帮助用户将原始答案文件转换为评估所需的格式。
覆盖从短文生成到长文生成的评估:适用于不同类型的科学文献问题回答任务。
提供 Prometheus 评估:用于评估答案的组织、相关性和覆盖度。
使用教程:
1. 访问ScholarQABench的GitHub页面并克隆或下载代码。
2. 根据README.md中的指南设置环境,包括创建虚拟环境和安装依赖。
3. 下载并准备所需的数据文件,这些文件包含测试案例和评估指标。
4. 运行模型推理,生成答案文件,确保文件格式符合评估要求。
5. 使用提供的评估脚本来评估模型性能,包括引用准确性和内容相关性。
6. 分析评估结果,根据反馈优化模型参数和性能。
7. 重复步骤4-6,直到模型性能达到满意水平。
浏览量:2
最新流量情况
月访问量
5.16m
平均访问时长
00:06:42
每次访问页数
5.81
跳出率
37.20%
流量来源
直接访问
52.27%
自然搜索
32.92%
邮件
0.05%
外链引荐
12.52%
社交媒体
2.15%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
11.99%
德国
3.63%
印度
9.20%
俄罗斯
5.25%
美国
19.02%
科学文献综合评估平台
ScholarQABench是一个用于测试大型语言模型(LLMs)在协助研究人员进行科学文献综合方面能力的综合评估平台。它来源于OpenScholar项目,提供了一个全面的评估框架,包括多个数据集和评估脚本,以衡量模型在不同科学领域的表现。该平台的重要性在于它能够帮助研究人员和开发者理解并提升语言模型在科学文献研究中的实用性和准确性。
科学文献合成的检索增强型语言模型
OpenScholar是一个检索增强型语言模型(LM),旨在通过首先搜索文献中的相关论文,然后基于这些来源生成回答,来帮助科学家有效地导航和综合科学文献。该模型对于处理每年发表的数百万篇科学论文,以及帮助科学家找到他们需要的信息或跟上单一子领域最新发现具有重要意义。
开源的先进语言模型后训练框架
Tülu 3是一系列开源的先进语言模型,它们经过后训练以适应更多的任务和用户。这些模型通过结合专有方法的部分细节、新颖技术和已建立的学术研究,实现了复杂的训练过程。Tülu 3的成功根植于精心的数据管理、严格的实验、创新的方法论和改进的训练基础设施。通过公开分享数据、配方和发现,Tülu 3旨在赋予社区探索新的和创新的后训练方法的能力。
高性能语言模型基准测试数据集
DCLM-baseline是一个用于语言模型基准测试的预训练数据集,包含4T个token和3B个文档。它通过精心策划的数据清洗、过滤和去重步骤,从Common Crawl数据集中提取,旨在展示数据策划在训练高效语言模型中的重要性。该数据集仅供研究使用,不适用于生产环境或特定领域的模型训练,如代码和数学。
端到端MLLM,实现精准引用和定位
ml-ferret是一个端到端的机器学习语言模型(MLLM),能够接受各种形式的引用并响应性地在多模态环境中进行精准定位。它结合了混合区域表示和空间感知的视觉采样器,支持细粒度和开放词汇的引用和定位。此外,ml-ferret还包括GRIT数据集(约110万个样本)和Ferret-Bench评估基准。
高质量的AI客服数据集,训练智能客服
Botdocs是一系列高质量的数据集,用于训练人工智能处理常见的客服互动。它可用于训练大型语言模型、意图分类器和自然语言理解引擎,以帮助企业自动化常见的客服互动,并提供对客户意图的理解和提供卓越的客户体验。Botdocs以CSV、JSONL和Dialogflow(ES)格式提供,以满足AI开发人员和系统对大型语言模型、意图分类器和自然语言理解引擎的不同需求。
全球合作训练的10B参数语言模型聊天工具
INTELLECT-1 Chat是一个由全球合作训练的10B参数语言模型驱动的聊天工具。它代表了人工智能领域中大规模语言模型的最新进展,通过分散式训练,提高了模型的多样性和适应性。这种技术的主要优点包括能够理解和生成自然语言,提供流畅的对话体验,并且能够处理大量的语言数据。产品背景信息显示,这是一个首次展示分散式训练可能性的演示,易于使用且富有趣味性。价格方面,页面提供了登录以保存和重访聊天的功能,暗示了可能的付费或会员服务模式。
高性能英文语言模型,适用于多样化任务
OLMo-2-1124-13B-DPO是经过监督微调和DPO训练的13B参数大型语言模型,主要针对英文,旨在提供在聊天、数学、GSM8K和IFEval等多种任务上的卓越性能。该模型是OLMo系列的一部分,旨在推动语言模型的科学研究。模型训练基于Dolma数据集,并公开代码、检查点、日志和训练细节。
基于Qwen-Agent的Chrome浏览器插件,提供网页和文档讨论、记录及自动化写作功能。
BrowserQwen是一个Chrome浏览器插件,基于Qwen-Agent开发,主要功能包括与Qwen进行当前网页或PDF文档的讨论、记录浏览的网页和PDF/Word/PPT材料以帮助用户理解和总结浏览内容、以及自动化写作任务。此外,它还集成了包括代码解释器在内的插件,用于解决数学问题和数据可视化。BrowserQwen通过提供这些功能,增强了用户对信息的处理能力和创作效率,尤其在学术研究和内容创作领域具有重要价值。产品背景基于提升用户在数字时代的信息处理和创作能力,价格方面,BrowserQwen作为一个开源项目,对用户是免费的。
高质量数据集,用于OLMo2训练的第二阶段。
DOLMino dataset mix for OLMo2 stage 2 annealing training是一个混合了多种高质数据的数据集,用于在OLMo2模型训练的第二阶段。这个数据集包含了网页页面、STEM论文、百科全书等多种类型的数据,旨在提升模型在文本生成任务中的表现。它的重要性在于为开发更智能、更准确的自然语言处理模型提供了丰富的训练资源。
高性能的英文学术基准语言模型
OLMo 2 13B是由Allen Institute for AI (Ai2)开发的一款基于Transformer的自回归语言模型,专注于英文学术基准测试。该模型在训练过程中使用了高达5万亿个token,展现出与同等规模的全开放模型相媲美或更优的性能,并在英语学术基准上与Meta和Mistral的开放权重模型竞争。OLMo 2 13B的发布包括所有代码、检查点、日志和相关的训练细节,旨在推动语言模型的科学研究。
科学文献综合检索增强型语言模型
Ai2 OpenScholar是由艾伦人工智能研究所与华盛顿大学合作开发的检索增强型语言模型,旨在帮助科学家通过检索相关文献并基于这些文献生成回答来有效导航和综合科学文献。该模型在多个科学领域中表现出色,特别是在引用准确性和事实性方面。它代表了人工智能在科学研究中应用的重要进步,能够加速科学发现并提高研究效率。
最先进的全开放语言模型
OLMo 2是由Ai2推出的最新全开放语言模型,包括7B和13B两种规模的模型,训练数据高达5T tokens。这些模型在性能上与同等规模的全开放模型相当或更优,并且在英语学术基准测试中与开放权重模型如Llama 3.1竞争。OLMo 2的开发注重模型训练的稳定性、阶段性训练干预、最先进的后训练方法和可操作的评估框架。这些技术的应用使得OLMo 2在多个任务上表现出色,特别是在知识回忆、常识、一般和数学推理方面。
数据驱动的框架,增强大型语言模型的工作流编排能力
WorkflowLLM是一个以数据为中心的框架,旨在增强大型语言模型(LLMs)在工作流编排方面的能力。核心是WorkflowBench,这是一个大规模的监督式微调数据集,包含来自83个应用、28个类别的1503个API的106763个样本。WorkflowLLM通过微调Llama-3.1-8B模型,创建了专门针对工作流编排任务优化的WorkflowLlama模型。实验结果表明,WorkflowLlama在编排复杂工作流方面表现出色,并且能够很好地泛化到未见过的API。
2024年AI信息热点汇聚平台
Hot AI Informations是一个专注于提供2024年AI领域最新信息的平台,包括AI模型比较、AI论文列表、AI新闻列表和AI工具列表。该平台通过聚合和展示AI领域的最新研究成果、行业动态和工具资源,为研究人员、开发者和对AI感兴趣的用户提供了一个宝贵的信息来源。平台的主要优点在于其信息的时效性和全面性,能够帮助用户快速把握AI领域的最新发展。
专为软件改进设计的开源大型语言模型。
Lingma SWE-GPT是一个开源的大型语言模型,专注于软件工程领域的任务,旨在提供智能化的开发支持。该模型基于Qwen系列基础模型,经过额外训练以增强其在复杂软件工程任务中的能力。它在软件工程智能代理的权威排行榜上表现出色,适合需要自动化软件改进的开发团队和研究人员。
人类中心语言模型和模拟器的领导者
Nous Research专注于开发以人为中心的语言模型和模拟器,致力于将AI系统与现实世界用户体验对齐。我们的主要研究领域包括模型架构、数据合成、微调和推理。我们优先开发开源、人类兼容的模型,挑战传统的封闭模型方法。
PDF 科学论文翻译与双语对比工具
基于 Python 开发,遵循 AGPL-3.0 开源许可证。可对 PDF 科学论文全文双语翻译,保留公式图表和目录结构,支持多种翻译服务。它支持多种翻译服务,如Google、DeepL、Ollama和OpenAI,使用户能够根据需要选择合适的翻译服务。该工具的主要优点在于它能够在翻译过程中完整保留PDF的排版,这对于学术研究和文档翻译尤为重要。
开源的网页自动化库,支持任何大型语言模型(LLM)
browser-use是一个开源的网页自动化库,允许大型语言模型(LLM)与网站进行交互,通过简单的接口实现复杂的网页操作。该技术的主要优点包括对多种语言模型的通用支持、交互元素自动检测、多标签页管理、XPath提取、视觉模型支持等。它解决了传统网页自动化中的一些痛点,如动态内容处理、长任务解决等。browser-use以其灵活性和易用性,为开发者提供了一个强大的工具,以构建更加智能和自动化的网页交互体验。
生成任何3D和4D场景的先进框架
GenXD是一个专注于3D和4D场景生成的框架,它利用日常生活中常见的相机和物体运动来联合研究一般的3D和4D生成。由于社区缺乏大规模的4D数据,GenXD首先提出了一个数据策划流程,从视频中获取相机姿态和物体运动强度。基于此流程,GenXD引入了一个大规模的现实世界4D场景数据集:CamVid-30K。通过利用所有3D和4D数据,GenXD框架能够生成任何3D或4D场景。它提出了多视图-时间模块,这些模块分离相机和物体运动,无缝地从3D和4D数据中学习。此外,GenXD还采用了掩码潜在条件,以支持多种条件视图。GenXD能够生成遵循相机轨迹的视频以及可以提升到3D表示的一致3D视图。它在各种现实世界和合成数据集上进行了广泛的评估,展示了GenXD在3D和4D生成方面与以前方法相比的有效性和多功能性。
一款通过纯语言模型实现的文本到语音合成模型
OuteTTS-0.1-350M是一款基于纯语言模型的文本到语音合成技术,它不需要外部适配器或复杂架构,通过精心设计的提示和音频标记实现高质量的语音合成。该模型基于LLaMa架构,使用350M参数,展示了直接使用语言模型进行语音合成的潜力。它通过三个步骤处理音频:使用WavTokenizer进行音频标记化、CTC强制对齐创建精确的单词到音频标记映射、以及遵循特定格式的结构化提示创建。OuteTTS的主要优点包括纯语言建模方法、声音克隆能力、与llama.cpp和GGUF格式的兼容性。
Meta 开发的子十亿参数语言模型,适用于设备端应用。
Meta 开发的自回归语言模型,采用优化架构,适合资源受限设备。优点多,如集成多种技术,支持零样本推理等,价格免费,面向自然语言处理研究人员和开发者。
高效优化的600M参数语言模型,专为设备端应用设计。
MobileLLM-600M是由Meta开发的自回归语言模型,采用了优化的Transformer架构,专为资源受限的设备端应用而设计。该模型集成了SwiGLU激活函数、深度薄架构、嵌入共享和分组查询注意力等关键技术。MobileLLM-600M在零样本常识推理任务上取得了显著的性能提升,与之前的125M/350M SoTA模型相比,分别提高了2.7%/4.3%的准确率。该模型的设计理念可扩展至更大模型,如MobileLLM-1B/1.5B,均取得了SoTA结果。
自动化论文评审工具,将arXiv论文转化为博客文章。
paper-reviewer是一个开源项目,旨在自动化地从arXiv论文生成全面的评审,并将其转化为博客文章。该项目提供了一套工具,帮助用户构建自己的论文评审博客。它通过两个Python脚本collect.py和convert.py实现,分别用于收集和生成评审以及将评审转化为博客文章。该工具对于研究人员和学术工作者来说非常有用,因为它可以节省他们评审论文的时间,并帮助他们更有效地分享研究成果。
自监督触觉表示,用于基于视觉的触觉传感。
Sparsh是一系列通过自监督算法(如MAE、DINO和JEPA)训练的通用触觉表示。它能够为DIGIT、Gelsight'17和Gelsight Mini生成有用的表示,并在TacBench提出的下游任务中大幅度超越端到端模型,同时能够为新下游任务的数据高效训练提供支持。Sparsh项目包含PyTorch实现、预训练模型和与Sparsh一起发布的数据集。
高效优化的子十亿参数语言模型,专为设备端应用设计
MobileLLM-350M是由Meta开发的自回归语言模型,采用优化的Transformer架构,专为设备端应用设计,以满足资源受限的环境。该模型整合了SwiGLU激活函数、深层薄架构、嵌入共享和分组查询注意力等关键技术,实现了在零样本常识推理任务上的显著准确率提升。MobileLLM-350M在保持较小模型尺寸的同时,提供了与更大模型相媲美的性能,是设备端自然语言处理应用的理想选择。
高效优化的小型语言模型,专为设备端应用设计。
MobileLLM-125M是由Meta开发的自动回归语言模型,它利用优化的变换器架构,专为资源受限的设备端应用而设计。该模型集成了包括SwiGLU激活函数、深度薄架构、嵌入共享和分组查询注意力等多项关键技术。MobileLLM-125M/350M在零样本常识推理任务上相较于前代125M/350M SoTA模型分别取得了2.7%和4.3%的准确率提升。该模型的设计理念可有效扩展到更大模型,MobileLLM-600M/1B/1.5B均取得了SoTA结果。
优化的小型语言模型,适用于移动设备
MobileLLM是一种针对移动设备优化的小型语言模型,专注于设计少于十亿参数的高质量LLMs,以适应移动部署的实用性。与传统观念不同,该研究强调了模型架构在小型LLMs中的重要性。通过深度和薄型架构,结合嵌入共享和分组查询注意力机制,MobileLLM在准确性上取得了显著提升,并提出了一种不增加模型大小且延迟开销小的块级权重共享方法。此外,MobileLLM模型家族在聊天基准测试中显示出与之前小型模型相比的显著改进,并在API调用任务中接近LLaMA-v2 7B的正确性,突出了小型模型在普通设备用例中的能力。
© 2024 AIbase 备案号:闽ICP备08105208号-14