需求人群:
"目标受众为研究人员和开发者,特别是对自然语言处理和机器学习领域感兴趣的人。该产品适合他们因为它提供了一个实验性的平台来探索和扩展语言模型的能力,促进了开源社区的交流与合作。"
使用场景示例:
研究人员使用llama3-s模型来理解不同口音的语音指令。
开发者利用llama3-s进行多模态数据的训练和模型微调。
教育机构将llama3-s作为教学案例,教授学生如何训练和使用语言模型。
产品特色:
使用合成声音数据生成器理解女性和澳大利亚口音。
目前只能处理单声指令数据。
通过HF Trainer和Torchtune进行训练。
提供完全微调的模型和初始化模型。
支持多GPU训练(1-8GPUs)。
提供Google Colab笔记本快速开始。
合成生成指南详细说明了合成生成的详细信息。
使用教程:
克隆GitHub仓库以获取llama3-s项目代码。
按照文档组织输入/输出目录,并设置文件夹结构。
安装HF Trainer或Torchtune的依赖项,并根据需要配置环境。
使用Huggingface登录并配置训练参数。
运行训练脚本,开始模型的训练过程。
监控训练进度和性能,根据需要调整超参数。
使用Google Colab笔记本快速开始实验和原型制作。
浏览量:16
最新流量情况
月访问量
5.00m
平均访问时长
00:06:52
每次访问页数
5.82
跳出率
37.31%
流量来源
直接访问
52.65%
自然搜索
32.08%
邮件
0.05%
外链引荐
12.79%
社交媒体
2.25%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
13.49%
德国
3.62%
印度
9.70%
俄罗斯
3.96%
美国
18.50%
一个正在训练中的开源语言模型,具备“听力”能力。
llama3-s是一个开放的、正在进行中的研究实验,旨在将基于文本的大型语言模型(LLM)扩展到具有原生“听力”能力。该项目使用Meta的Chameleon论文启发的技术,专注于令牌传递性,将声音令牌扩展到LLM的词汇表中,未来可能扩展到各种输入类型。作为一个开源科学实验,代码库和数据集都是公开的。
世界顶尖的开源大型语言模型
Reflection Llama-3.1 70B 是目前世界上顶尖的开源大型语言模型(LLM),采用名为 Reflection-Tuning 的新技术进行训练,使模型能够检测其推理中的错误并进行修正。该模型在合成数据上进行了训练,这些数据由 Glaive 生成。对于正在训练模型的用户来说,Glaive 是一个非常出色的工具。该模型使用标准的 Llama 3.1 聊天格式,通过特殊的标签来区分模型的内部思考和最终答案,从而提升用户体验。
高效开源的大型语言模型
OLMoE-1B-7B 是一个具有1亿活跃参数和7亿总参数的专家混合型大型语言模型(LLM),于2024年9月发布。该模型在成本相似的模型中表现卓越,与更大的模型如Llama2-13B竞争。OLMoE完全开源,支持多种功能,包括文本生成、模型训练和部署等。
RWKV v6 Finch 14B,开源大模型,高效处理长文本。
RWKV v6 Finch 14B是RWKV架构的第六个版本,也是该系列中最大的模型。它通过引入数据依赖性到token shift和time-mixing中,提高了处理长文本时的效率。Finch 14B模型在处理提示时,能够更好地管理其长期记忆,从而提供更广泛的应用范围。该模型是开源的,由Linux Foundation认可,并且接受社区的GPU集群时间捐赠以支持训练。
最新多模态检查点,提升语音理解能力。
Llama3-s v0.2 是 Homebrew Computer Company 开发的多模态检查点,专注于提升语音理解能力。该模型通过早期融合语义标记的方式,利用社区反馈进行改进,以简化模型结构,提高压缩效率,并实现一致的语音特征提取。Llama3-s v0.2 在多个语音理解基准测试中表现稳定,并提供了实时演示,允许用户亲自体验其功能。尽管模型仍在早期开发阶段,存在一些限制,如对音频压缩敏感、无法处理超过10秒的音频等,但团队计划在未来更新中解决这些问题。
9天内预训练的紧凑型大型语言模型
1.5-Pints是一个开源的紧凑型大型语言模型(LLM),它在9天内使用高质量数据进行预训练,旨在成为与Apple OpenELM和Microsoft Phi相当的AI助手。该模型的代码库和架构公开,以促进模型的复制、实验和进一步的开源开发。
300行代码实现基于LLM的语音转录。
WeST是一个开源的语音识别转录模型,以300行代码的简洁形式,基于大型语言模型(LLM)实现语音到文本的转换。它由一个大型语言模型、一个语音编码器和一个投影器组成,其中仅投影器部分可训练。WeST的开发灵感来源于SLAM-ASR和LLaMA 3.1,旨在通过简化的代码实现高效的语音识别功能。
开源框架,支持数据驱动的自适应语言代理。
aiwaves-cn/agents 是一个开源框架,专注于数据驱动的自适应语言代理。它提供了一种系统化框架,通过符号学习训练语言代理,灵感来源于用于训练神经网络的连接主义学习过程。该框架实现了反向传播和基于梯度的权重更新,使用基于语言的损失、梯度和权重,支持多代理系统的优化。
一个完全开源的大型语言模型,提供先进的自然语言处理能力。
MAP-NEO是一个完全开源的大型语言模型,它包括预训练数据、数据处理管道(Matrix)、预训练脚本和对齐代码。该模型从零开始训练,使用了4.5T的英文和中文token,展现出与LLaMA2 7B相当的性能。MAP-NEO在推理、数学和编码等具有挑战性的任务中表现出色,超越了同等规模的模型。为了研究目的,我们致力于实现LLM训练过程的完全透明度,因此我们全面发布了MAP-NEO,包括最终和中间检查点、自训练的分词器、预训练语料库以及高效稳定的优化预训练代码库。
开源基础模型,用于代码智能任务,支持116种编程语言。
Granite Code Models 是 IBM 开发的一系列开源基础模型,专为代码生成任务设计,如修复错误、解释代码、文档化代码等。这些模型在多种编程语言上进行了训练,并在不同的代码相关任务上达到了最先进的性能。主要优点包括全面的性能、企业级的信任度以及遵循 IBM 的 AI 伦理原则进行训练。
开源框架,用于构建模块化的生产级应用程序。
Cognita 是一个开源框架,用于组织 RAG(Retrieval Augmented Generation)代码库,并提供一个前端界面,以便在不同的 RAG 定制中进行实验。它提供了一种简单的方法来组织代码库,使得在本地测试变得容易,同时也能够部署到生产环境中。Cognita 使用 Langchain/Llamaindex 作为底层技术,并提供了一个组织结构,使得每个 RAG 组件都是模块化的、API 驱动的,并且易于扩展。
Qwen1.5系列首个千亿参数开源模型,多语言支持,高效Transformer解码器架构。
Qwen1.5-110B是Qwen1.5系列中规模最大的模型,拥有1100亿参数,支持多语言,采用高效的Transformer解码器架构,并包含分组查询注意力(GQA),在模型推理时更加高效。它在基础能力评估中与Meta-Llama3-70B相媲美,在Chat评估中表现出色,包括MT-Bench和AlpacaEval 2.0。该模型的发布展示了在模型规模扩展方面的巨大潜力,并且预示着未来通过扩展数据和模型规模,可以获得更大的性能提升。
高效的企业级人工智能模型,低成本实现高质量定制模型。
Snowflake Arctic 是一款专为企业级人工智能任务设计的大规模语言模型(LLM),它在 SQL 生成、编码以及指令遵循等基准测试中表现出色,即使与计算预算更高的开源模型相比也毫不逊色。Arctic 通过其高效的训练和推理,为 Snowflake 客户以及广大 AI 社区提供了一种成本效益极高的定制模型创建方式。此外,Arctic 采用 Apache 2.0 许可,提供无门槛的权重和代码访问,并通过开源数据配方和研究洞察,进一步推动了社区的开放性和成本效益。
OpenELM是一套高效的语言模型家族,具备开源训练和推理框架。
OpenELM是由苹果公司开发的语言模型家族,旨在为开源研究社区提供先进的语言模型。这些模型基于公开可用的数据集训练,不提供任何安全保证,可能产生不准确、有害、有偏见或令人反感的输出。因此,用户和开发者需要进行彻底的安全测试,并实施适当的过滤机制。
Qihoo-T2X,一款针对文本到任意任务的高效扩散变换器模型。
Qihoo-T2X是由360CVGroup开发的一个开源项目,它代表了一种创新的文本到任意任务(Text-to-Any)的扩散变换器(DiT)架构范式。该项目旨在通过代理令牌技术,提高文本到任意任务的处理效率。Qihoo-T2X项目是一个正在进行中的项目,其团队承诺将持续优化和增强其功能。
通过自博弈相互推理,提升小型语言模型的解决问题能力。
rStar是一个自我博弈相互推理方法,它通过将推理过程分解为解决方案生成和相互验证,显著提升了小型语言模型(SLMs)的推理能力,无需微调或使用更高级的模型。rStar通过蒙特卡洛树搜索(MCTS)和人类推理动作的结合,构建更高质量的推理轨迹,并通过另一个类似能力的SLM作为鉴别器来验证这些轨迹的正确性。这种方法在多个SLMs上进行了广泛的实验,证明了其在解决多样化推理问题方面的有效性。
模块化研究导向的检索增强生成统一框架
RAGLAB是一个模块化、研究导向的开源框架,专注于检索增强生成(RAG)算法。它提供了6种现有RAG算法的复现,以及一个包含10个基准数据集的全面评估系统,支持公平比较不同RAG算法,并便于高效开发新算法、数据集和评估指标。
集成了通用和编程能力的人工智能模型
DeepSeek-V2.5 是一个升级版本,结合了 DeepSeek-V2-Chat 和 DeepSeek-Coder-V2-Instruct 的功能。这个新模型整合了两个先前版本的通用和编程能力,更好地符合人类的偏好,并在写作和指令遵循等多个方面进行了优化。
情商智商俱佳的多模态大模型
西湖大模型是心辰智能云推出的一款具有高情商和智商的多模态大模型,它能够处理包括文本、图像、声音等多种数据类型,为用户提供智能对话、写作、绘画、语音等AI服务。该模型通过先进的人工智能算法,能够理解和生成自然语言,适用于多种场景,如心理咨询、内容创作、客户服务等,具有高度的定制性和灵活性。西湖大模型的推出,标志着心辰智能云在AI领域的技术实力和创新能力,为用户提供了更加丰富和高效的智能服务体验。
开源的专家混合语言模型,具有1.3亿活跃参数。
OLMoE是一个完全开放的、最先进的专家混合模型,具有1.3亿活跃参数和6.9亿总参数。该模型的所有数据、代码和日志都已发布。它提供了论文'OLMoE: Open Mixture-of-Experts Language Models'的所有资源概览。该模型在预训练、微调、适应和评估方面都具有重要应用,是自然语言处理领域的一个里程碑。
AI工具目录,发现最佳AI工具
Aixploria是一个专注于人工智能的网站,提供在线AI工具目录,帮助用户发现和选择满足其需求的最佳AI工具。该平台以简化的设计和直观的搜索引擎,让用户能够轻松地通过关键词搜索,找到各种AI应用。Aixploria不仅提供工具列表,还发布关于每个AI如何工作的文章,帮助用户理解最新趋势和最受欢迎的应用。此外,Aixploria还设有实时更新的'top 10 AI'专区,方便用户快速了解每个类别中的顶级AI工具。Aixploria适合所有对AI感兴趣的人,无论是初学者还是专家,都能在这里找到有价值的信息。
一个用于与ChatGPT模型交互的提示集合
Awesome ChatGPT Prompts是一个开源仓库,收集了用于与ChatGPT模型交互的提示示例。这个仓库鼓励用户添加自己的提示,并使用ChatGPT生成新的提示。
104B参数的多语种高级对话生成模型
C4AI Command R+ 08-2024是一个拥有104B参数的大规模研究发布模型,具备高度先进的能力,包括检索增强生成(RAG)和工具使用,以自动化复杂任务。该模型支持23种语言的训练,并在10种语言中进行评估。它优化了多种用例,包括推理、总结和问答。
AI即时推理解决方案,速度领先世界。
Cerebras Inference是Cerebras公司推出的AI推理平台,提供20倍于GPU的速度和1/5的成本。它利用Cerebras的高性能计算技术,为大规模语言模型、高性能计算等提供快速、高效的推理服务。该平台支持多种AI模型,包括医疗、能源、政府和金融服务等行业应用,具有开放源代码的特性,允许用户训练自己的基础模型或微调开源模型。
一个用于加载和测试大型语言模型的互动平台。
LLM Playground是一个在线平台,允许用户加载和测试各种大型语言模型。它为开发者和研究者提供了一个实验和探索人工智能最新进展的环境。该平台的主要优点是易于使用,支持多种模型,并且可以即时看到模型的输出结果。
2D游戏动画生成模型
godmodeanimation是一个开源的2D游戏动画生成模型,它通过训练文本到视频和图像到视频的模型来生成2D游戏动画。开发者使用了公共游戏动画数据和3D mixamo模型渲染动画来训练动画生成模型,并开源了模型、训练数据、训练代码和数据生成代码。
与大型语言模型进行自然的语音对话
OpenVoiceChat是一个开源项目,旨在提供一个与大型语言模型(LLM)进行自然语音对话的平台。它支持多种语音识别(STT)、文本到语音(TTS)和LLM模型,允许用户通过语音与AI进行交互。项目采用Apache-2.0许可,强调开放性和易用性,目标是成为封闭商业实现的开源替代品。
AI可观测性和机器学习监控平台
Evidently AI是一个开源的Python库,用于监控机器学习模型,支持从RAGs到AI助手的LLM驱动产品的评估。它提供了数据漂移、数据质量和生产ML模型性能的监控,拥有超过2000万的下载量和5000+的GitHub星标,是机器学习领域中一个值得信赖的监控工具。
© 2024 AIbase 备案号:闽ICP备08105208号-14