需求人群:
"目标受众为研究人员、开发者以及对提升小型语言模型数学推理能力感兴趣的学术界和工业界人士。该模型适用于需要高效数学推理和问题解决能力的场景,如教育领域的智能辅导系统、数学竞赛训练工具等。"
使用场景示例:
在MATH基准测试中,将Qwen2.5-Math-7B的性能从58.8%提升至90.0%,Phi3-mini-3.8B从41.4%提升至86.4%。
在AIME竞赛中,平均解决了53.3%(8/15)的问题,排名前20%的优秀高中生数学选手之列。
通过自我演化,不断优化策略模型和流程奖励模型,提高解决复杂数学问题的能力。
产品特色:
采用蒙特卡洛树搜索(MCTS)进行深度思考和测试时搜索。
提出新颖的代码增强链式推理(CoT)数据合成方法,生成验证推理轨迹。
开发新的流程奖励模型训练方法,避免简单的步骤级评分标注。
实现自我演化配方,从头开始构建并迭代演化策略SLM和PPM,提升推理能力。
在多个数学基准测试中表现出色,提升小型语言模型的数学推理水平。
使用教程:
1. 访问Hugging Face网站上的rStar-Math页面,了解模型详情。
2. 查看论文和相关资料,理解模型的架构和工作原理。
3. 下载并安装必要的依赖库和工具,准备运行环境。
4. 使用提供的代码和数据,加载预训练的策略SLM和PPM模型。
5. 对于给定的数学问题,利用MCTS进行推理和搜索,获取解决方案。
6. 根据需要调整模型参数和搜索策略,优化性能。
7. 在实际应用中部署模型,如教育软件、在线辅导平台等,为用户提供数学推理支持。
浏览量:9
最新流量情况
月访问量
26103.68k
平均访问时长
00:04:43
每次访问页数
5.49
跳出率
43.69%
流量来源
直接访问
48.80%
自然搜索
35.36%
邮件
0.03%
外链引荐
12.91%
社交媒体
2.88%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
16.85%
印度
7.96%
日本
3.46%
俄罗斯
5.47%
美国
16.98%
展示小型语言模型通过自我演化深度思考掌握数学推理能力的研究成果。
rStar-Math是一项研究,旨在证明小型语言模型(SLMs)能够在不依赖于更高级模型的情况下,与OpenAI的o1模型相媲美甚至超越其数学推理能力。该研究通过蒙特卡洛树搜索(MCTS)实现“深度思考”,其中数学策略SLM在基于SLM的流程奖励模型的指导下进行测试时搜索。rStar-Math引入了三种创新方法来应对训练两个SLM的挑战,通过4轮自我演化和数百万个合成解决方案,将SLMs的数学推理能力提升到最先进水平。该模型在MATH基准测试中显著提高了性能,并在AIME竞赛中表现优异。
强大的语言模型,拥有4560亿总参数,可处理长达400万token的上下文。
MiniMax-01是一个具有4560亿总参数的强大语言模型,其中每个token激活459亿参数。它采用混合架构,结合了闪电注意力、softmax注意力和专家混合(MoE),通过先进的并行策略和创新的计算-通信重叠方法,如线性注意力序列并行主义加(LASP+)、varlen环形注意力、专家张量并行(ETP)等,将训练上下文长度扩展到100万tokens,在推理时可处理长达400万tokens的上下文。在多个学术基准测试中,MiniMax-01展现了顶级模型的性能。
Eurus-2-7B-SFT是一个经过数学能力优化的大型语言模型,专注于推理和问题解决.
Eurus-2-7B-SFT是基于Qwen2.5-Math-7B模型进行微调的大型语言模型,专注于数学推理和问题解决能力的提升。该模型通过模仿学习(监督微调)的方式,学习推理模式,能够有效解决复杂的数学问题和编程任务。其主要优点在于强大的推理能力和对数学问题的准确处理,适用于需要复杂逻辑推理的场景。该模型由PRIME-RL团队开发,旨在通过隐式奖励的方式提升模型的推理能力。
Ai2 OLMoE 是一款可在 iOS 设备上运行的开源语言模型应用
OLMoE 是由 Ai2 开发的开源语言模型应用,旨在为研究人员和开发者提供一个完全开放的工具包,用于在设备上进行人工智能实验。该应用支持在 iPhone 和 iPad 上离线运行,确保用户数据完全私密。它基于高效的 OLMoE 模型构建,通过优化和量化,使其在移动设备上运行时保持高性能。该应用的开源特性使其成为研究和开发新一代设备端人工智能应用的重要基础。
Huginn-0125是一个35亿参数的潜变量循环深度模型,擅长推理和代码生成。
Huginn-0125是一个由马里兰大学帕克分校Tom Goldstein实验室开发的潜变量循环深度模型。该模型拥有35亿参数,经过8000亿个token的训练,在推理和代码生成方面表现出色。其核心特点是通过循环深度结构在测试时动态调整计算量,能够根据任务需求灵活增加或减少计算步骤,从而在保持性能的同时优化资源利用。该模型基于开源的Hugging Face平台发布,支持社区共享和协作,用户可以自由下载、使用和进一步开发。其开源性和灵活的架构使其成为研究和开发中的重要工具,尤其是在资源受限或需要高性能推理的场景中。
Lumina-Video 是一个用于视频生成的初步尝试项目,支持文本到视频的生成。
Lumina-Video 是 Alpha-VLLM 团队开发的一个视频生成模型,主要用于从文本生成高质量的视频内容。该模型基于深度学习技术,能够根据用户输入的文本提示生成对应的视频,具有高效性和灵活性。它在视频生成领域具有重要意义,为内容创作者提供了强大的工具,能够快速生成视频素材。目前该项目已开源,支持多种分辨率和帧率的视频生成,并提供了详细的安装和使用指南。
VideoJAM 是一种用于增强视频生成模型运动连贯性的框架。
VideoJAM 是一种创新的视频生成框架,旨在通过联合外观 - 运动表示来提升视频生成模型的运动连贯性和视觉质量。该技术通过引入内指导机制(Inner-Guidance),利用模型自身预测的运动信号动态引导视频生成,从而在生成复杂运动类型时表现出色。VideoJAM 的主要优点是能够显著提高视频生成的连贯性,同时保持高质量的视觉效果,且无需对训练数据或模型架构进行大规模修改,即可应用于任何视频生成模型。该技术在视频生成领域具有重要的应用前景,尤其是在需要高度运动连贯性的场景中。
Xwen-Chat是专注中文对话的大语言模型集合,提供多版本模型及语言生成服务
Xwen-Chat由xwen-team开发,为满足高质量中文对话模型需求而生,填补领域空白。其有多个版本,具备强大语言理解与生成能力,可处理复杂语言任务,生成自然对话内容,适用于智能客服等场景,在Hugging Face平台免费提供。
MatAnyone 是一个支持目标指定的稳定视频抠像框架,适用于复杂背景。
MatAnyone 是一种先进的视频抠像技术,专注于通过一致的记忆传播实现稳定的视频抠像。它通过区域自适应记忆融合模块,结合目标指定的分割图,能够在复杂背景中保持语义稳定性和细节完整性。该技术的重要性在于它能够为视频编辑、特效制作和内容创作提供高质量的抠像解决方案,尤其适用于需要精确抠像的场景。MatAnyone 的主要优点是其在核心区域的语义稳定性和边界细节的精细处理能力。它由南洋理工大学和商汤科技的研究团队开发,旨在解决传统抠像方法在复杂背景下的不足。
Janus-Pro-7B 是一个新型的自回归框架,统一多模态理解和生成。
Janus-Pro-7B 是一个强大的多模态模型,能够同时处理文本和图像数据。它通过分离视觉编码路径,解决了传统模型在理解和生成任务中的冲突,提高了模型的灵活性和性能。该模型基于 DeepSeek-LLM 架构,使用 SigLIP-L 作为视觉编码器,支持 384x384 的图像输入,并在多模态任务中表现出色。其主要优点包括高效性、灵活性和强大的多模态处理能力。该模型适用于需要多模态交互的场景,例如图像生成和文本理解。
Tarsier 是由字节跳动推出的用于生成高质量视频描述的大型视频语言模型。
Tarsier 是由字节跳动研究团队开发的一系列大规模视频语言模型,旨在生成高质量的视频描述,并具备强大的视频理解能力。该模型通过两阶段训练策略(多任务预训练和多粒度指令微调)显著提升了视频描述的精度和细节。其主要优点包括高精度的视频描述能力、对复杂视频内容的理解能力以及在多个视频理解基准测试中取得的 SOTA(State-of-the-Art)结果。Tarsier 的背景基于对现有视频语言模型在描述细节和准确性上的不足进行改进,通过大规模高质量数据训练和创新的训练方法,使其在视频描述领域达到了新的高度。该模型目前未明确定价,主要面向学术研究和商业应用,适合需要高质量视频内容理解和生成的场景。
一种新颖的图像到视频采样技术,基于Hunyuan模型实现高质量视频生成。
leapfusion-hunyuan-image2video 是一种基于 Hunyuan 模型的图像到视频生成技术。它通过先进的深度学习算法,将静态图像转换为动态视频,为内容创作者提供了一种全新的创作方式。该技术的主要优点包括高效的内容生成、灵活的定制化能力以及对高质量视频输出的支持。它适用于需要快速生成视频内容的场景,如广告制作、视频特效等领域。该模型目前以开源形式发布,供开发者和研究人员免费使用,未来有望通过社区贡献进一步提升其性能。
OmniThink 是一种通过模拟人类思考过程来提升机器写作知识密度的框架。
OmniThink 是一种创新的机器写作框架,旨在通过模拟人类的迭代扩展和反思过程,提升生成文章的知识密度。它通过知识密度指标衡量内容的独特性和深度,并通过信息树和概念池的结构化方式组织知识,从而生成高质量的长文本。该技术的核心优势在于能够有效减少冗余信息,提升内容的深度和新颖性,适用于需要高质量长文本生成的场景。
Seaweed-APT是一种支持实时单步生成1280x720 24fps视频的模型。
Seaweed-APT是一种用于视频生成的模型,通过对抗性后训练技术,实现了大规模文本到视频的单步生成。该模型能够在短时间内生成高质量的视频,具有重要的技术意义和应用价值。其主要优点是速度快、生成效果好,适用于需要快速生成视频的场景。目前尚未明确具体的价格和市场定位。
MangaNinja 是一种基于参考的线稿上色方法,可实现精确匹配和细粒度交互控制。
MangaNinja 是一种参考引导的线稿上色方法,它通过独特的设计确保精确的人物细节转录,包括用于促进参考彩色图像和目标线稿之间对应学习的块洗牌模块,以及用于实现细粒度颜色匹配的点驱动控制方案。该模型在自收集的基准测试中表现出色,超越了当前解决方案的精确上色能力。此外,其交互式点控制在处理复杂情况(如极端姿势和阴影)、跨角色上色、多参考协调等方面展现出巨大潜力,这些是现有算法难以实现的。MangaNinja 由来自香港大学、香港科技大学、通义实验室和蚂蚁集团的研究人员共同开发,相关论文已发表在 arXiv 上,代码也已开源。
SVFR是一个用于视频人脸修复的统一框架。
SVFR(Stable Video Face Restoration)是一个用于广义视频人脸修复的统一框架。它整合了视频人脸修复(BFR)、着色和修复任务,通过利用Stable Video Diffusion(SVD)的生成和运动先验,并结合统一的人脸修复框架中的任务特定信息,有效结合了这些任务的互补优势,增强了时间连贯性并实现了卓越的修复质量。该框架引入了可学习的任务嵌入以增强任务识别,并采用新颖的统一潜在正则化(ULR)来鼓励不同子任务之间的共享特征表示学习。此外,还引入了面部先验学习和自引用细化作为辅助策略,以进一步提高修复质量和时间稳定性。SVFR在视频人脸修复领域取得了最先进的成果,并为广义视频人脸修复建立了新的范式。
未来大型语言模型的解锁者
Sonus AI是一个以Sonus-1模型为核心的大型语言模型,它重新定义了语言理解和计算的边界。Sonus-1以其卓越的复杂问题解决能力而著称,远超过典型的语言模型。Sonus AI提供了增强的搜索和实时信息检索功能,确保用户能够访问到最新和最精确的信息。此外,Sonus AI还计划推出开发者友好的API,以便将Sonus-1的强大能力集成到各种应用中。Sonus AI的产品背景信息显示,它是一个面向未来的技术,旨在通过先进的AI能力提升用户的工作效率和信息获取的准确性。
端侧全模态理解模型,软硬协同释放无穹端侧智能
Infini-Megrez是一个由无问芯穹研发的端侧全模态理解模型,它基于Megrez-3B-Instruct扩展,具备图片、文本、音频三种模态数据的理解分析能力,并在图像理解、语言理解和语音理解三个方面均取得最优精度。该模型通过软硬协同优化,确保了各结构参数与主流硬件高度适配,推理速度领先同精度模型最大300%。它简单易用,采用最原始的LLaMA结构,开发者无需任何修改便可将模型部署于各种平台,最小化二次开发复杂度。此外,Infini-Megrez还提供了完整的WebSearch方案,使模型可以自动决策搜索调用时机,在搜索和对话中自动切换,并提供更好的总结效果。
快速因果视频生成器,实现即时视频生成。
CausVid是一个先进的视频生成模型,它通过将预训练的双向扩散变换器适配为因果变换器,实现了即时视频帧的生成。这一技术的重要性在于它能够显著减少视频生成的延迟,使得视频生成能够以交互式帧率(9.4FPS)在单个GPU上进行流式生成。CausVid模型支持从文本到视频的生成,以及零样本图像到视频的生成,展现了视频生成技术的新高度。
大规模基础世界模型,生成多样的3D可操作环境
Genie 2是由Google DeepMind开发的一款大规模基础世界模型,能够基于单一提示图像生成无尽的、可操作的、可玩的3D环境,用于训练和评估具身智能体。Genie 2代表了深度学习和人工智能领域的一大进步,它通过模拟虚拟世界及其行动后果,展示了在大规模生成模型中的多种紧急能力,如物体交互、复杂角色动画、物理模拟等。Genie 2的研究推动了新的创意工作流程,用于原型化交互体验,并为未来更通用的AI系统和智能体的研究提供了新的可能性。
全球合作训练的10B参数语言模型聊天工具
INTELLECT-1 Chat是一个由全球合作训练的10B参数语言模型驱动的聊天工具。它代表了人工智能领域中大规模语言模型的最新进展,通过分散式训练,提高了模型的多样性和适应性。这种技术的主要优点包括能够理解和生成自然语言,提供流畅的对话体验,并且能够处理大量的语言数据。产品背景信息显示,这是一个首次展示分散式训练可能性的演示,易于使用且富有趣味性。价格方面,页面提供了登录以保存和重访聊天的功能,暗示了可能的付费或会员服务模式。
高性能英文语言模型,适用于多样化任务
OLMo-2-1124-13B-DPO是经过监督微调和DPO训练的13B参数大型语言模型,主要针对英文,旨在提供在聊天、数学、GSM8K和IFEval等多种任务上的卓越性能。该模型是OLMo系列的一部分,旨在推动语言模型的科学研究。模型训练基于Dolma数据集,并公开代码、检查点、日志和训练细节。
最先进的全开放语言模型
OLMo 2是由Ai2推出的最新全开放语言模型,包括7B和13B两种规模的模型,训练数据高达5T tokens。这些模型在性能上与同等规模的全开放模型相当或更优,并且在英语学术基准测试中与开放权重模型如Llama 3.1竞争。OLMo 2的开发注重模型训练的稳定性、阶段性训练干预、最先进的后训练方法和可操作的评估框架。这些技术的应用使得OLMo 2在多个任务上表现出色,特别是在知识回忆、常识、一般和数学推理方面。
3D网格生成与语言模型的统一
LLaMA-Mesh是一项将大型语言模型(LLMs)预训练在文本上扩展到生成3D网格的能力的技术。这项技术利用了LLMs中已经嵌入的空间知识,并实现了对话式3D生成和网格理解。LLaMA-Mesh的主要优势在于它能够将3D网格的顶点坐标和面定义表示为纯文本,允许与LLMs直接集成而无需扩展词汇表。该技术的主要优点包括能够从文本提示生成3D网格、按需产生交错的文本和3D网格输出,以及理解和解释3D网格。LLaMA-Mesh在保持强大的文本生成性能的同时,实现了与从头开始训练的模型相当的网格生成质量。
专为软件改进设计的开源大型语言模型。
Lingma SWE-GPT是一个开源的大型语言模型,专注于软件工程领域的任务,旨在提供智能化的开发支持。该模型基于Qwen系列基础模型,经过额外训练以增强其在复杂软件工程任务中的能力。它在软件工程智能代理的权威排行榜上表现出色,适合需要自动化软件改进的开发团队和研究人员。
构建视频搜索和摘要代理,提取视频洞察
NVIDIA Video Search and Summarization 是一个利用深度学习和人工智能技术,能够处理大量实时或存档视频,并从中提取信息以进行摘要和交互式问答的模型。该产品代表了视频内容分析和处理技术的最新进展,它通过生成式AI和视频到文本的技术,为用户提供了一种全新的视频内容管理和检索方式。NVIDIA Video Search and Summarization 的主要优点包括高效的视频内容分析、准确的摘要生成和交互式问答能力,这些功能对于需要处理大量视频数据的企业来说至关重要。产品背景信息显示,NVIDIA 致力于通过其先进的AI模型,推动视频内容的智能化处理和分析。
O1复制之旅:战略进展报告第一部分
O1-Journey是由上海交通大学GAIR研究组发起的一个项目,旨在复制和重新想象OpenAI的O1模型的能力。该项目提出了“旅程学习”的新训练范式,并构建了首个成功整合搜索和学习在数学推理中的模型。这个模型通过试错、纠正、回溯和反思等过程,成为处理复杂推理任务的有效方法。
超轻量级数字人模型,移动端实时运行
Ultralight-Digital-Human是一个超轻量级的数字人模型,可以在移动端实时运行。这个模型是开源的,据开发者所知,它是第一个如此轻量级的开源数字人模型。该模型的主要优点包括轻量级设计,适合移动端部署,以及实时运行的能力。它的背后是深度学习技术,特别是在人脸合成和声音模拟方面的应用,这使得数字人模型能够以较低的资源消耗实现高质量的表现。产品目前是免费的,主要面向技术爱好者和开发者。
多模态语言模型,融合文本和语音
Spirit LM是一个基础多模态语言模型,能够自由混合文本和语音。该模型基于一个7B预训练的文本语言模型,通过持续在文本和语音单元上训练来扩展到语音模式。语音和文本序列被串联为单个令牌流,并使用一个小的自动策划的语音-文本平行语料库,采用词级交错方法进行训练。Spirit LM有两个版本:基础版使用语音音素单元(HuBERT),而表达版除了音素单元外,还使用音高和风格单元来模拟表达性。对于两个版本,文本都使用子词BPE令牌进行编码。该模型不仅展现了文本模型的语义能力,还展现了语音模型的表达能力。此外,我们展示了Spirit LM能够在少量样本的情况下跨模态学习新任务(例如ASR、TTS、语音分类)。
© 2025 AIbase 备案号:闽ICP备08105208号-14