多语言预训练数据集
FineWeb2是由Hugging Face提供的一个大规模多语言预训练数据集,覆盖超过1000种语言。该数据集经过精心设计,用于支持自然语言处理(NLP)模型的预训练和微调,特别是在多种语言上。它以其高质量、大规模和多样性而闻名,能够帮助模型学习跨语言的通用特征,提升在特定语言任务上的表现。FineWeb2在多个语言的预训练数据集中表现出色,甚至在某些情况下,比一些专门为单一语言设计的数据库表现更好。
大型多模态模型,集成表格数据
TableGPT2是一个大型多模态模型,专门针对表格数据进行预训练和微调,以解决实际应用中表格数据整合不足的问题。该模型在超过593.8K的表格和2.36M的高质量查询-表格-输出元组上进行了预训练和微调,规模前所未有。TableGPT2的关键创新之一是其新颖的表格编码器,专门设计用于捕获模式级别和单元格级别的信息,增强了模型处理模糊查询、缺失列名和不规则表格的能力。在23个基准测试指标上,TableGPT2在7B模型上平均性能提升了35.20%,在72B模型上提升了49.32%,同时保持了强大的通用语言和编码能力。
高质量英文网页数据集
FineWeb数据集包含超过15万亿个经过清洗和去重的英文网页数据,来源于CommonCrawl。该数据集专为大型语言模型预训练设计,旨在推动开源模型的发展。数据集经过精心处理和筛选,以确保高质量,适用于各种自然语言处理任务。
首个中文大语言模型,专注中文理解和生成
Chinese Tiny LLM(CT-LLM)是针对中文设计的首个大语言模型,拥有20亿参数,并在12000亿中文语料库上进行预训练。CT-LLM专注于提高对中文语言的理解和生成能力,利用大规模的中文数据预训练,实现对中文文本的高效处理。虽然重点优化了中文处理,CT-LLM也展示了对英文和编程代码的良好处理能力,体现了模型的多语言适应性。在中文语言任务的基准测试CHC-Bench上,CT-LLM展现了出色的性能,证明了其在理解和应用中文方面的高效能力。CT-LLM从零开始训练,主要使用中文数据进行预训练,开放了整个数据过滤过程、训练动态、训练和评估数据,以及模型的中间检查点等所有相关信息。该开放资源的做法使得其他研究者、开发者能够访问这些资源,利用这些资料进行自己的研究或进一步改进模型。
苹果发布多模态LLM模型MM1
苹果发布了自己的大语言模型MM1,这是一个最高有30B规模的多模态LLM。通过预训练和SFT,MM1模型在多个基准测试中取得了SOTA性能,展现了上下文内预测、多图像推理和少样本学习能力等吸引人的特性。
实时开放词汇物体检测
YOLO-World是一款先进的实时开放词汇物体检测器,基于You Only Look Once (YOLO)系列检测器,并通过视觉-语言建模和大规模数据集的预训练,增强了开放词汇检测能力。其采用新的可重新参数化的视觉-语言路径聚合网络(RepVL-PAN)和区域-文本对比损失,促进了视觉和语言信息之间的交互。YOLO-World在零-shot方式下高效地检测各种对象,具有高效率。在具有挑战性的LVIS数据集上,YOLO-World在V100上实现了35.4 AP和52.0 FPS,在准确性和速度方面均优于许多最新方法。此外,经过微调的YOLO-World在多项下游任务上表现出色,包括物体检测和开放词汇实例分割。
© 2024 AIbase 备案号:闽ICP备08105208号-14