需求人群:
"SELA的目标受众是机器学习研究人员和开发人员,特别是那些寻求通过自动化机器学习流程来提高模型选择和集成效率的专业人士。SELA通过提供一种新颖的方法来探索和优化机器学习管道,适合需要处理大量数据和模型选择的专业人员。"
使用场景示例:
使用SELA在泰坦尼克号数据集上进行模型选择和集成。
利用SELA在房价预测任务中优化模型性能。
通过SELA进行消融研究,比较不同搜索策略对模型性能的影响。
产品特色:
数据准备:支持从链接下载数据集或从头开始准备数据集。
配置灵活:用户可以根据需要修改数据配置和LLM配置。
SELA运行:提供了运行SELA的详细步骤,包括设置、运行实验和参数配置。
实验模式:支持MCTS和随机搜索(RS)两种实验模式。
参数调整:用户可以根据需要调整诸如rollouts、timeout等参数。
断点续跑:支持加载现有的MCTS树,以便在实验中断后继续。
Ablation Study:支持进行消融研究,比较不同搜索策略的效果。
使用教程:
1. 数据准备:根据SELA的指南下载或准备数据集。
2. 配置设置:根据需要修改`datasets.yaml`和`data.yaml`文件中的配置。
3. 安装依赖:在SELA目录下运行`pip install -r requirements.txt`安装所需依赖。
4. 运行SELA:使用`python run_experiment.py`命令并附加相应参数来运行实验。
5. 参数调整:根据实验需要调整rollouts、timeout等参数。
6. 结果分析:分析实验结果,根据反馈迭代改进策略。
7. 断点续跑:如果实验中断,可以使用`--load_tree`参数加载之前的MCTS树继续实验。
浏览量:10
最新流量情况
月访问量
5.16m
平均访问时长
00:06:42
每次访问页数
5.81
跳出率
37.20%
流量来源
直接访问
52.27%
自然搜索
32.92%
邮件
0.05%
外链引荐
12.52%
社交媒体
2.15%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
11.99%
德国
3.63%
印度
9.20%
俄罗斯
5.25%
美国
19.02%
SELA通过结合蒙特卡洛树搜索和基于LLM的代理来增强自动化机器学习。
SELA是一个创新系统,它通过将蒙特卡洛树搜索(MCTS)与基于大型语言模型(LLM)的代理结合起来,增强了自动化机器学习(AutoML)。传统的AutoML方法经常产生低多样性和次优的代码,限制了它们在模型选择和集成方面的有效性。SELA通过将管道配置表示为树,使代理能够智能地探索解决方案空间,并根据实验反馈迭代改进其策略。
AI模型选择助手
Lumigator 是 Mozilla.ai 开发的一款产品,旨在帮助开发者从众多大型语言模型(LLM)中选择最适合其特定项目的模型。它通过提供任务特定的指标框架来评估模型,确保所选模型能够满足项目需求。Lumigator 的愿景是成为一个开源平台,促进道德和透明的AI开发,并填补行业工具链中的空白。
开放的大型语言模型排行榜
Open LLM Leaderboard是一个由Hugging Face提供的空间,旨在展示和比较各种大型语言模型的性能。它为开发者、研究人员和企业提供了一个平台,可以查看不同模型在特定任务上的表现,从而帮助用户选择最适合自己需求的模型。
7B参数的大型语言模型,提升自然语言处理能力
OLMo 2 7B是由Allen Institute for AI (Ai2)开发的一款7B参数的大型语言模型,它在多个自然语言处理任务上展现出色的表现。该模型通过在大规模数据集上的训练,能够理解和生成自然语言,支持多种语言模型相关的科研和应用。OLMo 2 7B的主要优点包括其大规模的参数量,使得模型能够捕捉到更加细微的语言特征,以及其开源的特性,促进了学术界和工业界的进一步研究和应用。
高效长序列大型语言模型推理技术
Star-Attention是NVIDIA提出的一种新型块稀疏注意力机制,旨在提高基于Transformer的大型语言模型(LLM)在长序列上的推理效率。该技术通过两个阶段的操作显著提高了推理速度,同时保持了95-100%的准确率。它与大多数基于Transformer的LLM兼容,无需额外训练或微调即可直接使用,并且可以与其他优化方法如Flash Attention和KV缓存压缩技术结合使用,进一步提升性能。
123B参数的大型语言模型,具备先进推理和编码能力。
Mistral-Large-Instruct-2411是由Mistral AI提供的一款具有123B参数的大型语言模型,它在推理、知识、编码等方面具有最先进的能力。该模型支持多种语言,并在80多种编程语言上进行了训练,包括但不限于Python、Java、C、C++等。它以代理为中心,具备原生函数调用和JSON输出能力,是进行科研和开发的理想选择。
Qwen2.5-Coder系列的1.5B参数指令调优模型
Qwen2.5-Coder是Qwen大型语言模型的最新系列,专为代码生成、代码推理和代码修复而设计。基于强大的Qwen2.5,通过增加训练令牌至5.5万亿,包括源代码、文本代码基础、合成数据等,Qwen2.5-Coder-32B已成为当前最先进的开源代码大型语言模型,其编码能力与GPT-4o相匹配。此模型是1.5B参数的指令调优版本,采用GGUF格式,具有因果语言模型、预训练和后训练阶段、transformers架构等特点。
数据驱动的框架,增强大型语言模型的工作流编排能力
WorkflowLLM是一个以数据为中心的框架,旨在增强大型语言模型(LLMs)在工作流编排方面的能力。核心是WorkflowBench,这是一个大规模的监督式微调数据集,包含来自83个应用、28个类别的1503个API的106763个样本。WorkflowLLM通过微调Llama-3.1-8B模型,创建了专门针对工作流编排任务优化的WorkflowLlama模型。实验结果表明,WorkflowLlama在编排复杂工作流方面表现出色,并且能够很好地泛化到未见过的API。
124B参数的多模态大型语言模型
Pixtral-Large-Instruct-2411是由Mistral AI研发的124B参数的大型多模态模型,基于Mistral Large 2构建,展现出前沿级别的图像理解能力。该模型不仅能够理解文档、图表和自然图像,同时保持了Mistral Large 2在文本理解方面的领先地位。它在MathVista、DocVQA、VQAv2等数据集上达到了最先进的性能,是科研和商业应用的强大工具。
多模态语音大型语言模型
fixie-ai/ultravox-v0_4_1-llama-3_1-70b是一个基于预训练的Llama3.1-70B-Instruct和whisper-large-v3-turbo的大型语言模型,能够处理语音和文本输入,生成文本输出。该模型通过特殊伪标记<|audio|>将输入音频转换为嵌入,并与文本提示合并后生成输出文本。Ultravox的开发旨在扩展语音识别和文本生成的应用场景,如语音代理、语音到语音翻译和口语音频分析等。该模型遵循MIT许可,由Fixie.ai开发。
多模态语音大型语言模型
fixie-ai/ultravox-v0_4_1-llama-3_1-8b是一个基于预训练的Llama3.1-8B-Instruct和whisper-large-v3-turbo的大型语言模型,能够处理语音和文本输入,生成文本输出。该模型通过特殊的<|audio|>伪标记将输入音频转换为嵌入,并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记,进而可以用于声码器产生语音输出。该模型在翻译评估中表现出色,且没有偏好调整,适用于语音代理、语音到语音翻译、语音分析等场景。
Hermes系列的最新版大型语言模型
Hermes 3是Nous Research公司推出的Hermes系列最新版大型语言模型(LLM),相较于Hermes 2,它在代理能力、角色扮演、推理、多轮对话、长文本连贯性等方面都有显著提升。Hermes系列模型的核心理念是将LLM与用户对齐,赋予终端用户强大的引导能力和控制权。Hermes 3在Hermes 2的基础上,进一步增强了功能调用和结构化输出能力,提升了通用助手能力和代码生成技能。
Nous Research推出的首款无限制AI聊天机器人
Nous Chat是AI研究组织Nous Research推出的首款面向用户的聊天机器人,它提供了对大型语言模型Hermes 3-70B的访问权限。Hermes 3-70B是Meta的Llama 3.1的一个变体,经过微调后,以ChatGPT等流行AI聊天工具的形式提供服务。该聊天机器人以其复古的设计语言和早期PC终端的字体和字符为特色,提供暗色和亮色模式供用户选择。尽管Nous Chat旨在允许用户部署和控制自己的AI模型,但它实际上设置了一些防护措施,包括禁止制造非法药物。此外,该模型的知识截止日期为2023年4月,因此在获取最新事件方面可能不如其他竞争对手有用。尽管如此,Nous Chat是一个有趣的实验,随着新功能的添加,它可能成为企业聊天机器人和AI模型的一个有吸引力的替代品。
跨平台通信协议,使不同的大型语言模型(LLMs)能够高效沟通。
Agora是一个简单的跨平台协议,允许异构的大型语言模型(LLMs)通过谈判高效地相互通信。该协议通过自然语言进行罕见通信,并为频繁通信协商出一种通信协议,通常涉及结构化数据(例如JSON)。一旦协议确定,它们将使用LLMs实现例程,即简单的脚本(例如Python),用于发送或接收数据。未来通信将使用这些例程处理,这意味着不再需要LLMs,从而实现了效率、多功能性和可移植性。
视频序列理解的GPU实现模型
PPLLaVA是一个高效的视频大型语言模型,它结合了细粒度视觉提示对齐、用户指令的卷积风格池化的视觉令牌压缩以及CLIP上下文扩展。该模型在VideoMME、MVBench、VideoChatGPT Bench和VideoQA Bench等数据集上建立了新的最先进结果,仅使用1024个视觉令牌,吞吐量提高了8倍。
简单易用,释放AI的强大力量
5ire是一个以简洁和用户友好为核心的AI产品,旨在让即使是初学者也能轻松利用大型语言模型。它支持多种文档格式的解析和向量化,具备本地知识库、使用分析、提示库、书签和快速关键词搜索等功能。作为一个开源项目,5ire提供免费下载,并且提供了按需付费的大型语言模型API服务。
大型推理模型框架,支持PyTorch和HuggingFace。
LLaMA-O1是一个大型推理模型框架,它结合了蒙特卡洛树搜索(MCTS)、自我强化学习、PPO等技术,并借鉴了AlphaGo Zero的双重策略范式以及大型语言模型。该模型主要针对奥林匹克级别的数学推理问题,提供了一个开放的平台用于训练、推理和评估。产品背景信息显示,这是一个个人实验项目,与任何第三方组织或机构无关。
O1复制之旅:战略进展报告第一部分
O1-Journey是由上海交通大学GAIR研究组发起的一个项目,旨在复制和重新想象OpenAI的O1模型的能力。该项目提出了“旅程学习”的新训练范式,并构建了首个成功整合搜索和学习在数学推理中的模型。这个模型通过试错、纠正、回溯和反思等过程,成为处理复杂推理任务的有效方法。
自动化工作流生成框架
AFlow是一个框架,用于自动生成和优化代理工作流。它利用蒙特卡洛树搜索在代码表示的工作流空间中寻找有效的工作流,替代手工开发,展现出在多种任务上超越手工工作流的潜力。AFlow的主要优点包括提高开发效率、减少人力成本,并能够适应不同的任务需求。
基于Llama-3-8B的多模态大型语言模型,专注于UI任务。
Ferret-UI是首个以用户界面为中心的多模态大型语言模型(MLLM),专为指代表达、定位和推理任务设计。它基于Gemma-2B和Llama-3-8B构建,能够执行复杂的用户界面任务。这个版本遵循了Apple的研究论文,是一个强大的工具,可以用于图像文本到文本的任务,并且在对话和文本生成方面具有优势。
在线URL解析器,将URL转换为适合大型语言模型的输入格式。
URL Parser Online是一个在线工具,它能够将复杂的URL转换为适合大型语言模型(LLMs)使用的输入格式。这项技术的重要性在于它能够帮助开发者和研究人员更有效地处理和解析URL数据,尤其是在进行网页内容分析和数据抽取时。产品背景信息显示,随着互联网数据量的爆炸式增长,对URL的解析和处理需求日益增加。URL Parser Online以其简洁的用户界面和高效的解析能力,为用户提供了一个便捷的解决方案。该产品目前提供免费服务,定位于开发者和数据分析师。
长视频语言理解的时空自适应压缩模型
LongVU是一种创新的长视频语言理解模型,通过时空自适应压缩机制减少视频标记的数量,同时保留长视频中的视觉细节。这一技术的重要性在于它能够处理大量视频帧,且在有限的上下文长度内仅损失少量视觉信息,显著提升了长视频内容理解和分析的能力。LongVU在多种视频理解基准测试中均超越了现有方法,尤其是在理解长达一小时的视频任务上。此外,LongVU还能够有效地扩展到更小的模型尺寸,同时保持最先进的视频理解性能。
智能AI助手,为模型选择提供最优方案
Precog by Ubik是一个智能AI助手,它能够根据用户的任务需求,挑选出最合适的模型来使用。这种技术的重要性在于它能够优化模型选择过程,提高开发效率,减少资源浪费。Precog by Ubik背后的技术可能涉及机器学习和自然语言处理,旨在为用户提供一个更加智能化和个性化的编程辅助工具。目前,该产品的具体价格和定位信息未在页面中提供。
1位大型语言模型推理框架
BitNet是由微软开发的官方推理框架,专为1位大型语言模型(LLMs)设计。它提供了一套优化的核心,支持在CPU上进行快速且无损的1.58位模型推理(NPU和GPU支持即将推出)。BitNet在ARM CPU上实现了1.37倍到5.07倍的速度提升,能效比提高了55.4%到70.0%。在x86 CPU上,速度提升范围从2.37倍到6.17倍,能效比提高了71.9%到82.2%。此外,BitNet能够在单个CPU上运行100B参数的BitNet b1.58模型,实现接近人类阅读速度的推理速度,拓宽了在本地设备上运行大型语言模型的可能性。
由NVIDIA定制的大型语言模型,提升查询回答的帮助性。
Llama-3.1-Nemotron-70B-Instruct是NVIDIA定制的大型语言模型,专注于提升大型语言模型(LLM)生成回答的帮助性。该模型在多个自动对齐基准测试中表现优异,例如Arena Hard、AlpacaEval 2 LC和GPT-4-Turbo MT-Bench。它通过使用RLHF(特别是REINFORCE算法)、Llama-3.1-Nemotron-70B-Reward和HelpSteer2-Preference提示在Llama-3.1-70B-Instruct模型上进行训练。此模型不仅展示了NVIDIA在提升通用领域指令遵循帮助性方面的技术,还提供了与HuggingFace Transformers代码库兼容的模型转换格式,并可通过NVIDIA的build平台进行免费托管推理。
文本到图像生成的自适应工作流
ComfyGen 是一个专注于文本到图像生成的自适应工作流系统,它通过学习用户提示来自动化并定制有效的工作流。这项技术的出现,标志着从使用单一模型到结合多个专业组件的复杂工作流的转变,旨在提高图像生成的质量。ComfyGen 背后的主要优点是能够根据用户的文本提示自动调整工作流,以生成更高质量的图像,这对于需要生成特定风格或主题图像的用户来说非常重要。
高效能的语言模型,支持本地智能和设备端计算。
Ministral-8B-Instruct-2410是由Mistral AI团队开发的一款大型语言模型,专为本地智能、设备端计算和边缘使用场景设计。该模型在类似的大小模型中表现优异,支持128k上下文窗口和交错滑动窗口注意力机制,能够在多语言和代码数据上进行训练,支持函数调用,词汇量达到131k。Ministral-8B-Instruct-2410模型在各种基准测试中表现出色,包括知识与常识、代码与数学以及多语言支持等方面。该模型在聊天/竞技场(gpt-4o判断)中的性能尤为突出,能够处理复杂的对话和任务。
多模态大型语言模型的优化与分析
MM1.5是一系列多模态大型语言模型(MLLMs),旨在增强文本丰富的图像理解、视觉指代表明和接地以及多图像推理的能力。该模型基于MM1架构,采用以数据为中心的模型训练方法,系统地探索了整个模型训练生命周期中不同数据混合的影响。MM1.5模型从1B到30B参数不等,包括密集型和混合专家(MoE)变体,并通过广泛的实证研究和消融研究,提供了详细的训练过程和决策见解,为未来MLLM开发研究提供了宝贵的指导。
© 2024 AIbase 备案号:闽ICP备08105208号-14