需求人群:
"目标受众主要是需要利用大型语言模型进行复杂问题解决的研究者和开发者。BoT通过提供思考模板和动态缓冲区管理,使得这些用户能够更高效、更准确地利用LLMs进行推理任务,特别适合于需要处理大量数据和复杂逻辑的领域。"
使用场景示例:
在'24点游戏'中通过BoT提升解题准确率
利用BoT在'Checkmate-in-One'任务中快速找到解决方案
通过BoT进行'Word Sorting'任务以优化单词排序逻辑
产品特色:
通过元缓冲区存储和检索问题解决过程中的思考模板
适应性地实例化思考模板以进行高效推理
动态更新元缓冲区以增强问题解决能力
在多个推理密集型任务上实现显著的性能提升
与GPT-4、Llama3-70B等不同LLMs兼容
提供了易于使用的命令行接口进行快速测试和验证
使用教程:
首先,克隆或下载Buffer of Thoughts的代码库到本地
设置环境,进入项目目录并创建Python虚拟环境,安装依赖
选择一个任务,例如'gameof24',并准备相应的API密钥和模型ID
通过命令行接口运行BoT,输入必要的参数,如任务名、API密钥和模型ID
在/benchmarks目录下查看任务数据
实验结果将存储在/test_results目录中
使用validate_results.py脚本来验证测试结果并打印出准确率
浏览量:8
最新流量情况
月访问量
4.62m
平均访问时长
00:07:21
每次访问页数
6.60
跳出率
38.26%
流量来源
直接访问
51.51%
自然搜索
29.89%
邮件
0.83%
外链引荐
11.04%
社交媒体
6.68%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
美国
15.78%
中国
14.70%
印度
9.07%
日本
3.91%
德国
3.32%
你的私人AI聊天工具,运行在浏览器中。
Chatty是一个利用WebGPU技术在浏览器中本地且私密地运行大型语言模型(LLMs)的私人AI聊天工具。它提供了丰富的浏览器内AI体验,包括本地数据处理、离线使用、聊天历史管理、支持开源模型、响应式设计、直观UI、Markdown和代码高亮显示、文件聊天、自定义内存支持、导出聊天记录、语音输入支持、重新生成响应以及明暗模式切换等功能。
构建一个会讲故事的人工智能大型语言模型。
LLM101n是一个开源课程,旨在教授如何从头开始构建一个能讲故事的人工智能大型语言模型(LLM)。课程内容涵盖了从基础到高级的多个方面,包括语言模型、机器学习、深度学习框架等,适合希望深入理解AI和LLM的编程人员和研究人员。
免费开源的浏览器侧边栏插件,集成AI功能
BrainyAI是一个完全免费的Chrome浏览器扩展,用户只需登录一次即可使用各种AI网站。通过便捷的侧边栏,BrainyAI提供AI聊天聚合、AI搜索、AI阅读和增强的AI网页浏览等功能。支持多种大型语言模型,如Gpt3.5、Gpt4等,并且注重用户隐私,所有聊天历史、设置和登录数据都安全地存储在本地设备上。
使用大型语言模型编辑大型代码库的工具。
Moatless Tools 是一个业余项目,作者在这里尝试一些关于如何使用大型语言模型(LLMs)来编辑大型现有代码库的想法。项目认为,构建好工具以插入正确的上下文到提示中并处理响应,比依赖代理推理解决方案更为关键。
52B参数的开源多语言大型语言模型
Tele-FLM(亦称FLM-2)是一个52亿参数的开源多语言大型语言模型,具有稳定高效的预训练范式和增强的事实判断能力。基于解码器仅变换器架构,已在大约2T的token上进行训练。Tele-FLM在同等规模上展现出优越的性能,有时甚至超越了更大的模型。除了分享模型权重外,我们还提供了核心设计、工程实践和训练细节,期待它们对学术界和工业界社区都有所裨益。
探索大型语言模型的偏好和价值观对齐。
prism-alignment 是一个由 HannahRoseKirk 创建的数据集,专注于研究大型语言模型(LLMs)的偏好和价值观对齐问题。数据集通过调查问卷和与语言模型的多轮对话,收集了来自不同国家和文化背景的参与者对模型回答的评分和反馈。这些数据对于理解和改进人工智能的价值观对齐至关重要。
无代码LLM平台,用于结构化非结构化文档。
Unstract是一个无代码的LLM(大型语言模型)平台,它允许用户通过简单的无代码方法启动APIs和ETL管道来处理非结构化文档。它支持从多种云文件/对象存储系统中读取复杂文档,并将结构化数据写入流行的数据仓库和数据库。Unstract利用大型语言模型的能力,超越了传统的RPA(机器人流程自动化),实现了机器到机器的自动化。
提升市场搜索、推荐和原生广告的排名
Promoted是一个专注于市场搜索、推荐和原生广告排名的解决方案,通过先进的机器学习技术和大型语言模型搜索相关性AI技术,显著提升转化率和广告质量。它为市场平台提供了统一的搜索、推荐和广告服务,帮助企业实现更好的匹配和更高的收益。
19亿参数规模的角色扮演模型,支持few shots角色定制。
Index-1.9B-Character是由Index团队自主研发的大型语言模型,专注于角色扮演领域,拥有19亿参数规模。该模型支持用户通过上传角色对话语料实现快速的角色定制,具备较高的角色一致性、对话能力和角色扮演吸引力。在CharacterEval权威benchmark评估中,整体均分排名第九,表现优于同量级模型。
多令牌预测模型,提升语言模型的效率与性能
multi-token prediction模型是Facebook基于大型语言模型研究开发的技术,旨在通过预测多个未来令牌来提高模型的效率和性能。该技术允许模型在单次前向传播中生成多个令牌,从而加快生成速度并可能提高模型的准确性。该模型在非商业研究用途下免费提供,但使用时需遵守Meta的隐私政策和相关法律法规。
大型视频-语言模型,提供视觉问答和视频字幕生成。
VideoLLaMA2-7B是由DAMO-NLP-SG团队开发的多模态大型语言模型,专注于视频内容的理解和生成。该模型在视觉问答和视频字幕生成方面具有显著的性能,能够处理复杂的视频内容,并生成准确、自然的语言描述。它在空间-时间建模和音频理解方面进行了优化,为视频内容的智能分析和处理提供了强大的支持。
大型语言模型,支持多语言和编程语言文本生成。
Nemotron-4-340B-Base是由NVIDIA开发的大型语言模型,拥有3400亿参数,支持4096个token的上下文长度,适用于生成合成数据,帮助研究人员和开发者构建自己的大型语言模型。模型经过9万亿token的预训练,涵盖50多种自然语言和40多种编程语言。NVIDIA开放模型许可允许商业使用和派生模型的创建与分发,不声明对使用模型或派生模型生成的任何输出拥有所有权。
提升大型语言模型性能的混合代理技术
MoA(Mixture of Agents)是一种新颖的方法,它利用多个大型语言模型(LLMs)的集体优势来提升性能,实现了最先进的结果。MoA采用分层架构,每层包含多个LLM代理,显著超越了GPT-4 Omni在AlpacaEval 2.0上的57.5%得分,达到了65.1%的得分,使用的是仅开源模型。
多维奖励模型,助力构建自定义大型语言模型。
Nemotron-4-340B-Reward是由NVIDIA开发的多维奖励模型,用于合成数据生成管道,帮助研究人员和开发者构建自己的大型语言模型(LLMs)。该模型由Nemotron-4-340B-Base模型和一个线性层组成,能够将响应末尾的标记转换为五个标量值,对应于HelpSteer2属性。它支持最多4096个标记的上下文长度,并能够对每个助手轮次的五个属性进行评分。
NVIDIA的高级语言模型,优化于英文对话场景。
Nemotron-4-340B-Instruct是由NVIDIA开发的大型语言模型(LLM),专为英文单轮和多轮对话场景优化。该模型支持4096个token的上下文长度,经过监督式微调(SFT)、直接偏好优化(DPO)和奖励感知偏好优化(RPO)等额外的对齐步骤。模型在约20K人工标注数据的基础上,通过合成数据生成管道合成了超过98%的用于监督微调和偏好微调的数据。这使得模型在人类对话偏好、数学推理、编码和指令遵循方面表现良好,并且能够为多种用例生成高质量的合成数据。
基于大型语言模型的多智能体应用开发框架
agentUniverse 是一个基于大型语言模型的多智能体应用开发框架,提供了构建单一智能体和多智能体协作机制的所有必需组件。通过模式工厂,允许开发者构建和自定义多智能体协作模式,轻松构建多智能体应用,并分享不同技术与业务领域的模式实践。
轻量级文本分类工具,使用大型语言模型嵌入。
fastc是一个基于大型语言模型嵌入的简单且轻量级的文本分类工具。它专注于CPU执行,使用高效的模型如deepset/tinyroberta-6l-768d生成嵌入。通过余弦相似度分类代替微调,实现文本分类。它还可以在不增加额外开销的情况下,使用相同的模型运行多个分类器。
长视频理解基准测试
LVBench是一个专门设计用于长视频理解的基准测试,旨在推动多模态大型语言模型在理解数小时长视频方面的能力,这对于长期决策制定、深入电影评论和讨论、现场体育解说等实际应用至关重要。
一个交互式绘图应用,用于数学方程的绘制和计算。
AI Math Notes 是一个开源的交互式绘图应用程序,允许用户在画布上绘制数学方程。应用程序利用多模态大型语言模型(LLM)计算并显示结果。该应用程序使用Python开发,利用Tkinter库创建图形用户界面,使用PIL进行图像处理。灵感来源于Apple在2024年全球开发者大会(WWDC)上展示的'Math Notes'。
多模态语言模型的视觉推理工具
Visual Sketchpad 是一种为多模态大型语言模型(LLMs)提供视觉草图板和绘图工具的框架。它允许模型在进行规划和推理时,根据自己绘制的视觉工件进行操作。与以往使用文本作为推理步骤的方法不同,Visual Sketchpad 使模型能够使用线条、框、标记等更接近人类绘图方式的元素进行绘图,从而更好地促进推理。此外,它还可以在绘图过程中使用专家视觉模型,例如使用目标检测模型绘制边界框,或使用分割模型绘制掩码,以进一步提高视觉感知和推理能力。
多轮交互式图像生成技术
AutoStudio是一个基于大型语言模型的多轮交互式图像生成框架,它通过三个代理与一个基于稳定扩散的代理来生成高质量图像。该技术在多主题一致性方面取得了显著进步,通过并行UNet结构和主题初始化生成方法,提高了图像生成的质量和一致性。
用于训练大型语言模型的开源合成数据生成管道。
Nemotron-4 340B是NVIDIA发布的一系列开放模型,专为生成合成数据以训练大型语言模型(LLMs)而设计。这些模型经过优化,可以与NVIDIA NeMo和NVIDIA TensorRT-LLM配合使用,以提高训练和推理的效率。Nemotron-4 340B包括基础、指令和奖励模型,形成一个生成合成数据的管道,用于训练和完善LLMs。这些模型在Hugging Face上提供下载,并很快将在ai.nvidia.com上提供,作为NVIDIA NIM微服务的一部分。
实时表情生成人类模型
PROTEUS是Apparate Labs推出的一款下一代基础模型,用于实时表情生成人类。它采用先进的transformer架构的潜在扩散模型,创新的潜在空间设计实现了实时效率,并能通过进一步的架构和算法改进,达到每秒100帧以上视频流。PROTEUS旨在提供一种通过语音控制的视觉体现,为人工对话实体提供直观的接口,并且与多种大型语言模型兼容,可定制用于多种不同应用。
使用反思工作流的代理翻译模型
Translation Agent 是一个使用反思工作流的机器翻译演示项目。它由 Andrew Ng 以及合作者开发,主要利用大型语言模型(LLM)进行文本翻译,并反思翻译结果以提出改进建议。该模型的可定制性高,可以调整翻译风格、处理习语和专有名词,以及针对特定地区或方言进行优化。尽管目前该软件还不够成熟,但已经显示出与传统机器翻译系统相比有时更具竞争力的潜力。
高效的分布式数据并行框架,专为大型语言模型设计。
YaFSDP是一个分布式数据并行框架,专为与transformer类神经网络结构良好协作而设计。它在预训练大型语言模型(Large Language Models, LLMs)时比传统的FSDP快20%,并且在高内存压力条件下表现更佳。YaFSDP旨在减少通信和内存操作的开销。
视频生成的前沿模型
WorldDreamer是一个创新的视频生成模型,它通过预测遮蔽的视觉令牌来理解并模拟世界动态。它在图像到视频合成、文本到视频生成、视频修复、视频风格化以及动作到视频生成等多个方面表现出色。该模型借鉴了大型语言模型的成功经验,将世界建模视为一个无监督的视觉序列建模挑战,通过将视觉输入映射到离散的令牌并预测被遮蔽的令牌来实现。
自回归模型在可扩展图像生成领域的新突破
LlamaGen是一个新的图像生成模型家族,它将大型语言模型的原始下一个token预测范式应用于视觉生成领域。该模型通过适当的扩展,无需对视觉信号的归纳偏差即可实现最先进的图像生成性能。LlamaGen重新审视了图像分词器的设计空间、图像生成模型的可扩展性属性以及它们的训练数据质量。
AI对编程的辅助,提升代码效率。
aider 是一款集成在终端的AI配对编程工具,它允许开发者与大型语言模型(LLMs)进行配对编程,以编辑本地Git仓库中的代码。aider 与 GPT-4o 和 Claude 3 Opus 等模型配合使用效果最佳,并且可以连接到几乎所有的LLM。它通过自动提交代码变更,并使用合理的提交信息来帮助开发者提高编程效率。aider 支持多种流行编程语言,包括 Python、JavaScript、TypeScript 等,并且能够处理大型代码库中的协调变更。
© 2024 AIbase 备案号:闽ICP备08105208号-14