需求人群:
"目标受众为需要在设备上快速部署和运行语言模型的开发者和企业,特别是在需要角色扮演、检索增强问答和功能调用的应用场景中。"
使用场景示例:
在视频游戏中集成模型,以提供角色扮演对话
用于商业用途,如客户服务聊天机器人
在需要快速响应和设备部署的场景中使用
产品特色:
角色扮演响应生成
检索增强生成
功能调用
优化以提高速度和设备部署
支持 4096 个令牌的上下文长度
通过蒸馏、剪枝和量化技术优化
使用教程:
1. 从 Hugging Face 导入 AutoTokenizer 和 AutoModelForCausalLM。
2. 使用 'nvidia/Nemotron-Mini-4B-Instruct' 预训练模型加载 tokenizer 和 model。
3. 使用推荐的 prompt 模板进行消息格式化。
4. 调用 model.generate 函数生成响应。
5. 使用 tokenizer.decode 函数将生成的令牌转换为文本。
6. (可选)使用 pipeline 进行文本生成,但需要手动分配 tokenizer 对象。
浏览量:6
最新流量情况
月访问量
18200.57k
平均访问时长
00:05:46
每次访问页数
5.75
跳出率
44.11%
流量来源
直接访问
48.35%
自然搜索
36.16%
邮件
0.03%
外链引荐
12.35%
社交媒体
3.09%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
15.34%
印度
6.38%
日本
3.75%
俄罗斯
5.68%
美国
17.74%
用于角色扮演、检索增强生成和功能调用的小型语言模型
Nemotron-Mini-4B-Instruct 是 NVIDIA 开发的一款小型语言模型,通过蒸馏、剪枝和量化优化,以提高速度和便于在设备上部署。它是从 Nemotron-4 15B 通过 NVIDIA 的大型语言模型压缩技术剪枝和蒸馏得到的 nvidia/Minitron-4B-Base 的微调版本。此指令模型针对角色扮演、检索增强问答(RAG QA)和功能调用进行了优化,支持 4096 个令牌的上下文长度,已准备好用于商业用途。
与您的粉丝通过角色直接互动,创造沉浸式故事体验。
DreamRP是一个创新的在线平台,专注于通过角色扮演技术,让创作者与粉丝之间的互动更加直接和沉浸。它支持创作者创建并管理自己的角色,让粉丝能够直接与这些角色进行对话和互动,从而增强粉丝的参与感和忠诚度。DreamRP致力于保护创作者的权益,反对技术剥削,并寻求通过新的商业模式帮助创作者变现其作品。此外,DreamRP还注重环保,使用高效的AI模型,减少能源消耗。
一个提供多种角色体验的互动平台。
Altera PlayLabs是一个在线互动平台,用户可以通过选择不同的角色进行模拟生存体验。该平台通过模拟生存游戏,让用户在虚拟环境中体验生存挑战,增强用户的决策能力和应变能力。产品背景信息显示,该平台拥有多种角色供用户选择,每种角色都有其独特的生存技能和挑战。价格方面,目前平台提供免费体验,但可能包含内购项目。
与文学巨著中的角色对话,让阅读体验生动起来。
Hello Literature 是一款应用程序,它允许用户与文学名著中的角色进行对话。这款应用通过创新的方式,将书籍的世界带入生活,无论是教育工作者、家长、学生还是终身学习者,都能通过这款应用获得前所未有的阅读体验。该应用支持基于项目的沉浸式学习,帮助学生与他们学习的书籍中的角色互动,加深理解和参与度。它使用真实的语音生成技术,使应用更加易于访问和沉浸。
35亿参数的高性能生成模型
C4AI Command R 08-2024是由Cohere和Cohere For AI开发的35亿参数大型语言模型,专为推理、总结和问答等多种用例优化。该模型支持23种语言的训练,并在10种语言中进行了评估,具有高性能的RAG(检索增强生成)能力。它通过监督式微调和偏好训练,以符合人类对有用性和安全性的偏好。此外,该模型还具备对话工具使用能力,能够通过特定的提示模板生成基于工具的响应。
104B参数的多语种高级对话生成模型
C4AI Command R+ 08-2024是一个拥有104B参数的大规模研究发布模型,具备高度先进的能力,包括检索增强生成(RAG)和工具使用,以自动化复杂任务。该模型支持23种语言的训练,并在10种语言中进行评估。它优化了多种用例,包括推理、总结和问答。
一个适合学习、使用、自主扩展的RAG系统。
Easy-RAG是一个检索增强生成(RAG)系统,它不仅适合学习者了解和掌握RAG技术,同时也便于开发者使用和进行自主扩展。该系统通过集成知识图谱提取解析工具、rerank重新排序机制以及faiss向量数据库等技术,提高了检索效率和生成质量。
GGUF量化支持,优化ComfyUI原生模型性能
ComfyUI-GGUF是一个为ComfyUI原生模型提供GGUF量化支持的项目。它允许模型文件以GGUF格式存储,这种格式由llama.cpp推广。尽管常规的UNET模型(conv2d)不适用于量化,但像flux这样的transformer/DiT模型似乎受量化影响较小。这使得它们可以在低端GPU上以更低的每权重变量比特率进行运行。
通过角色扮演进行对话的大型语言模型
Peach-9B-8k-Roleplay是一个经过微调的大型语言模型,专门用于角色扮演对话。它基于01-ai/Yi-1.5-9B模型,通过数据合成方法在超过100K的对话上进行训练。尽管模型参数较小,但可能在34B以下参数的语言模型中表现最佳。
一款专为中英文用户定制的指令式语言模型。
Llama3.1-8B-Chinese-Chat是一个基于Meta-Llama-3.1-8B-Instruct模型的指令式调优语言模型,专为中文和英文用户设计,具有角色扮演和工具使用等多种能力。该模型通过ORPO算法进行微调,显著减少了中文问题用英文回答和回答中中英文混合的问题,特别是在角色扮演、功能调用和数学能力方面有显著提升。
70亿参数的中英双语对话模型
Llama3.1-70B-Chinese-Chat 是基于 Meta-Llama-3.1-70B-Instruct 模型的指令调优语言模型,专为中英双语用户设计,具备角色扮演和工具使用等多样化能力。该模型通过 ORPO 算法进行微调,显著减少了中文问题用英文回答以及回答中中英文混合的问题,特别是在角色扮演、功能调用和数学能力方面有显著提升。
70B参数量的大型语言模型,专为工具使用优化
Llama-3-70B-Tool-Use是一种70B参数量的大型语言模型,专为高级工具使用和功能调用任务设计。该模型在Berkeley功能调用排行榜(BFCL)上的总体准确率达到90.76%,表现优于所有开源的70B语言模型。该模型优化了变换器架构,并通过完整的微调和直接偏好优化(DPO)在Llama 3 70B基础模型上进行了训练。输入为文本,输出为文本,增强了工具使用和功能调用的能力。尽管其主要用途是工具使用和功能调用,但在一般知识或开放式任务中,可能更适用通用语言模型。该模型可能在某些情况下产生不准确或有偏见的内容,用户应注意实现适合其特定用例的适当安全措施。该模型对温度和top_p采样配置非常敏感。
增强型语言工具包
SaltAI Language Toolkit 是一个集成了检索增强生成(RAG)工具 Llama-Index、微软的 AutoGen 和 LlaVA-Next 的项目,通过 ComfyUI 的可适应节点接口,增强了平台的功能和用户体验。该项目于2024年5月9日增加了代理功能。
高效小型语言模型
SmolLM是一系列最新的小型语言模型,包含135M、360M和1.7B参数的版本。这些模型在精心策划的高质量训练语料库上进行训练,能够实现在本地设备上运行,显著降低推理成本并提高用户隐私。SmolLM模型在多种基准测试中表现优异,测试了常识推理和世界知识。
创新AI技术,轻松改变声音。
免费AI在线变声器是一种利用人工智能技术,允许用户上传语音或输入文本,并将其转换成不同声音的工具。它与传统变声器不同,提供更逼真和准确的效果,支持性别声音转换,适用于角色扮演、游戏、内容创作等多种场景。
首个面向中英文用户的指令调优语言模型
Gemma-2-27B-Chinese-Chat是基于google/gemma-2-27b-it的首个指令调优语言模型,专为中英文用户设计,拥有角色扮演和工具使用等多种能力。该模型通过ORPO算法进行微调,显著提升了在中英文对话、角色扮演和数学计算等方面的性能。
实验性的对话AI,与Moshi畅聊吧!
Moshi是一款实验性的对话AI,旨在提供流畅的对话体验。它能够同时进行思考和对话,支持全时听和说,最大可能地提升与用户的交流效率。Moshi支持多种浏览器,但以Chrome浏览器体验最佳。产品由Kyutai团队开发,目前提供欧盟区域的演示服务,根据用户位置,美国区域的演示服务可能提供更低的延迟。
快速易用的LLM推理和服务平台
vLLM是一个为大型语言模型(LLM)推理和提供服务的快速、易用且高效的库。它通过使用最新的服务吞吐量技术、高效的内存管理、连续批处理请求、CUDA/HIP图快速模型执行、量化技术、优化的CUDA内核等,提供了高性能的推理服务。vLLM支持与流行的HuggingFace模型无缝集成,支持多种解码算法,包括并行采样、束搜索等,支持张量并行性,适用于分布式推理,支持流式输出,并兼容OpenAI API服务器。此外,vLLM还支持NVIDIA和AMD GPU,以及实验性的前缀缓存和多lora支持。
多功能中文英文对话模型
Gemma-2-9B-Chinese-Chat是一款基于google/gemma-2-9b-it的指令调整型语言模型,专为中英文用户设计,具备角色扮演和工具使用等多种能力。该模型通过ORPO算法进行微调,显著提升了对中文问题的响应准确性,减少了中英文混合使用的问题,并在角色扮演、工具使用和数学计算方面表现出色。
19亿参数规模的角色扮演模型,支持few shots角色定制。
Index-1.9B-Character是由Index团队自主研发的大型语言模型,专注于角色扮演领域,拥有19亿参数规模。该模型支持用户通过上传角色对话语料实现快速的角色定制,具备较高的角色一致性、对话能力和角色扮演吸引力。在CharacterEval权威benchmark评估中,整体均分排名第九,表现优于同量级模型。
基于19亿参数的对话生成模型
Index-1.9B-Chat是一个基于19亿参数的对话生成模型,它通过SFT和DPO对齐技术,结合RAG实现fewshots角色扮演定制,具有较高的对话趣味性和定制性。该模型在2.8T中英文为主的语料上预训练,并且在多个评测基准上表现领先。
哔哩哔哩自主研发的轻量级大语言模型
Index-1.9B系列是哔哩哔哩公司自主研发的轻量级大语言模型,包含多种版本,如base、pure、chat和character等,适用于中英文为主的语料预训练,并在多个评测基准上表现优异。模型支持SFT和DPO对齐,以及RAG技术实现角色扮演定制,适用于对话生成、角色扮演等场景。
专为角色扮演优化的大型语言模型
Higgs-Llama-3-70B是一个基于Meta-Llama-3-70B的后训练模型,特别针对角色扮演进行了优化,同时在通用领域指令执行和推理方面保持竞争力。该模型通过监督式微调,结合人工标注者和私有大型语言模型构建偏好对,进行迭代偏好优化以对齐模型行为,使其更贴近系统消息。与其它指令型模型相比,Higgs模型更紧密地遵循其角色。
基于人类长期记忆的新型RAG框架
HippoRAG是一个启发自人类长期记忆的新型检索增强生成(RAG)框架,它使得大型语言模型(LLMs)能够持续地整合跨外部文档的知识。该框架通过实验表明,HippoRAG能够以更低的计算成本提供通常需要昂贵且高延迟迭代LLM流水线的RAG系统能力。
大型语言模型,支持指令式对话和功能调用。
Mistral-7B-Instruct-v0.3是由Mistral AI Team开发的大型语言模型,它是Mistral-7B-v0.3的指令式微调版本。该模型具有扩展的词汇量、支持v3 Tokenizer和功能调用。它能够通过指令式对话和功能调用来生成文本,适合于需要交互式对话和自动化任务的场景。
PygmalionAI是一个开源AI项目,用于聊天、角色扮演、冒险等。
PygmalionAI是一个开源项目,致力于创建用于聊天和角色扮演的大型语言模型。它具有强大的功能和技术,可以为用户提供优质的聊天体验。PygmalionAI的优点包括语言生成的准确性和多样性,以及其可扩展性和自定义性。它可以广泛应用于各种领域,包括娱乐、教育和商业。
提供RPers搜索角色信息的网站
harpy.chat是一个专为RPers设计的网站,帮助他们搜索角色信息并进行角色扮演。它提供了一个简单易用的界面,用户可以通过搜索功能找到符合自己需求的角色。harpy.chat还提供了角色的详细信息,包括背景故事、能力技能等。它的主要优点是方便快捷地找到适合自己的角色,并且提供了丰富的角色信息,帮助用户更好地进行角色扮演。
星绘提供丰富的 AI 生图能力,让你创建 AI 世界的你,并为你的分身定制多样的效果,体验各种虚拟人生。
星绘是一款提供丰富 AI 生图能力的应用,让用户可以通过上传图片、输入关键词,自由切换风格,如像素风、赛博朋克、日式漫画等,即刻拥有虚拟人生体验。用户可以探索平行世界,自由输入 AI 形象,并进行 AI Cosplay,同时享受 AI 写真和 AI 造型师功能。应用还支持图片风格化,如古典油画、街头涂鸦、中式水墨等。
量化ADHD症状和干预措施的最佳方式
MoodMap是一个用于测量ADHD症状和干预措施的在线工具。它帮助用户跟踪和评估自己的注意力缺陷多动障碍症状,并记录他们使用的干预措施的效果。MoodMap的主要优点包括方便易用的界面,精确的测量结果,以及个性化的建议和反馈。它的背景信息包括ADHD的普遍存在和对个人日常生活和学习能力的影响。MoodMap定位于帮助那些希望更好管理他们ADHD症状的人。
© 2024 AIbase 备案号:闽ICP备08105208号-14