需求人群:
"目标受众为需要在本地或边缘设备上部署视觉语言模型的开发者和企业,特别是那些对模型大小和推理成本敏感的用户。SmolVLM因其小巧、高效和开源的特性,特别适合资源受限的环境,如移动设备或小型服务器。"
使用场景示例:
使用SmolVLM为曼谷大皇宫提供旅行建议。
根据图表识别严重干旱发生的地区。
从发票中提取到期日和发票日期。
产品特色:
支持多模态AI,能够在较小的本地设置中使用。
完全开源,允许商业使用和自定义部署。
内存占用小,适合在资源受限的设备上运行。
性能优异,提供了包括图像编码效率在内的多项基准测试结果。
支持视频分析任务,尤其是在计算资源有限的情况下。
与VLMEvalKit集成,方便在更多基准上进行评估。
可以通过Transformers库轻松加载和使用。
使用教程:
1. 访问SmolVLM的Hugging Face页面并下载所需的模型和处理器。
2. 使用Python和Transformers库加载模型和处理器。
3. 准备输入数据,包括图像和文本提示。
4. 通过处理器将输入数据格式化为模型可接受的格式。
5. 使用模型生成输出,如描述图像内容或回答与图像相关的问题。
6. 对生成的输出进行解码和后处理,以获取最终结果。
7. (可选)根据特定任务对SmolVLM进行微调,以提高性能。
浏览量:8
最新流量情况
月访问量
19075.32k
平均访问时长
00:05:32
每次访问页数
5.52
跳出率
45.07%
流量来源
直接访问
48.31%
自然搜索
36.36%
邮件
0.03%
外链引荐
12.17%
社交媒体
3.11%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
13.13%
印度
7.59%
日本
3.67%
俄罗斯
6.13%
美国
18.18%
高效开源的视觉语言模型
SmolVLM是一个小型但功能强大的视觉语言模型(VLM),拥有2B参数,以其较小的内存占用和高效性能在同类模型中处于领先地位。SmolVLM完全开源,包括所有模型检查点、VLM数据集、训练配方和工具均在Apache 2.0许可下发布。该模型适合在浏览器或边缘设备上进行本地部署,降低推理成本,并允许用户自定义。
一个多图像视觉语言模型,具有训练、推理和评估方案,可从云端部署到边缘设备(如Jetson Orin和笔记本电脑)。
VILA是一个预训练的视觉语言模型(VLM),它通过大规模的交错图像-文本数据进行预训练,从而实现视频理解和多图像理解能力。VILA通过AWQ 4bit量化和TinyChat框架在边缘设备上可部署。主要优点包括:1) 交错图像-文本数据对于提升性能至关重要;2) 在交错图像-文本预训练期间不冻结大型语言模型(LLM)可以促进上下文学习;3) 重新混合文本指令数据对于提升VLM和纯文本性能至关重要;4) 标记压缩可以扩展视频帧数。VILA展示了包括视频推理、上下文学习、视觉思维链和更好的世界知识等引人入胜的能力。
7B参数的大型语言模型,提升自然语言处理能力
OLMo 2 7B是由Allen Institute for AI (Ai2)开发的一款7B参数的大型语言模型,它在多个自然语言处理任务上展现出色的表现。该模型通过在大规模数据集上的训练,能够理解和生成自然语言,支持多种语言模型相关的科研和应用。OLMo 2 7B的主要优点包括其大规模的参数量,使得模型能够捕捉到更加细微的语言特征,以及其开源的特性,促进了学术界和工业界的进一步研究和应用。
Qwen2.5-Coder系列中的7B参数代码生成模型
Qwen2.5-Coder-7B是基于Qwen2.5的大型语言模型,专注于代码生成、代码推理和代码修复。它在5.5万亿的训练令牌上进行了扩展,包括源代码、文本代码接地、合成数据等,是目前开源代码语言模型的最新进展。该模型不仅在编程能力上与GPT-4o相匹配,还保持了在数学和一般能力上的优势,并支持长达128K令牌的长上下文。
Qwen2.5-Coder系列中的14B参数代码生成模型
Qwen2.5-Coder-14B-Instruct是Qwen2.5-Coder系列中的一个大型语言模型,专注于代码生成、代码推理和代码修复。基于强大的Qwen2.5,该模型通过扩展训练令牌到5.5万亿,包括源代码、文本代码接地、合成数据等,成为当前开源代码LLM的最新技术。它不仅增强了编码能力,还保持了在数学和通用能力方面的优势,并支持长达128K令牌的长上下文。
开源代码生成大型语言模型
Qwen2.5-Coder是一系列专为代码生成设计的Qwen大型语言模型,包含0.5、1.5、3、7、14、32亿参数的六种主流模型尺寸,以满足不同开发者的需求。该模型在代码生成、代码推理和代码修复方面有显著提升,基于强大的Qwen2.5,训练令牌扩展到5.5万亿,包括源代码、文本代码基础、合成数据等。Qwen2.5-Coder-32B是目前最先进的开源代码生成大型语言模型,其编码能力与GPT-4o相匹配。它不仅增强了编码能力,还保持了在数学和通用能力方面的优势,并支持长达128K令牌的长上下文。
开源AI模型,可微调、蒸馏、部署。
Llama 3.2是一系列大型语言模型(LLMs),预训练和微调在1B和3B大小的多语言文本模型,以及11B和90B大小的文本和图像输入输出文本的模型。这些模型可以用于开发高性能和高效率的应用。Llama 3.2的模型可以在移动设备和边缘设备上运行,支持多种编程语言,并且可以通过Llama Stack构建代理应用程序。
开源本地RAG,集成ChatGPT和MCP能力
Minima是一个开源的、完全本地化的RAG(Retrieval-Augmented Generation)模型,具备与ChatGPT和MCP(Model Context Protocol)集成的能力。它支持三种模式:完全本地安装、通过ChatGPT查询本地文档以及使用Anthropic Claude查询本地文件。Minima的主要优点包括本地化处理数据,保护隐私,以及能够利用强大的语言模型来增强检索和生成任务。产品背景信息显示,Minima支持多种文件格式,并允许用户自定义配置以适应不同的使用场景。Minima是免费开源的,定位于需要本地化AI解决方案的开发者和企业。
高性能英文文本生成模型
OLMo-2-1124-7B-SFT是由艾伦人工智能研究所(AI2)发布的一个英文文本生成模型,它是OLMo 2 7B模型的监督微调版本,专门针对Tülu 3数据集进行了优化。Tülu 3数据集旨在提供多样化任务的顶尖性能,包括聊天、数学问题解答、GSM8K、IFEval等。该模型的主要优点包括强大的文本生成能力、多样性任务处理能力以及开源的代码和训练细节,使其成为研究和教育领域的有力工具。
开源AIOps平台,管理大规模告警/事件的瑞士军刀
Keep是一个开源的AIOps平台,专为复杂环境中处理告警的团队设计。它通过AI技术增强IT运维能力,提供告警丰富、工作流、单视图界面和90多个集成选项。Keep平台支持从SRE、运维人员到工程师、初创企业和全球企业,是可靠团队的选择。产品背景信息显示,Keep在2024年宣布了270万美元的种子轮融资,并在GitHub上拥有7.8k的关注者,体现了其在开源社区的影响力和受欢迎程度。Keep提供免费试用和不同定价方案,定位于大型企业和需要高效管理告警的团队。
腾讯开源的大型视频生成模型训练框架
HunyuanVideo是腾讯开源的一个系统性框架,用于训练大型视频生成模型。该框架通过采用数据策划、图像-视频联合模型训练和高效的基础设施等关键技术,成功训练了一个超过130亿参数的视频生成模型,是所有开源模型中最大的。HunyuanVideo在视觉质量、运动多样性、文本-视频对齐和生成稳定性方面表现出色,超越了包括Runway Gen-3、Luma 1.6在内的多个行业领先模型。通过开源代码和模型权重,HunyuanVideo旨在缩小闭源和开源视频生成模型之间的差距,推动视频生成生态系统的活跃发展。
为LTX视频模型提供额外控制的ComfyUI节点集合
ComfyUI-LTXTricks是一个为LTX视频模型提供额外控制的ComfyUI节点集合。它通过实现RF-Inversion和RF-Solver-Edit等技术,允许用户对视频内容进行更精细的操作和编辑。该产品背景信息显示,它是基于开源项目构建的,拥有活跃的社区支持,并且遵循GPL-3.0许可证。产品的主要优点包括无需额外安装包、提供丰富的示例工作流以及支持多种视频编辑技术。
一键生成多语言翻译的项目工具,由Azure AI服务支持。
Co-op Translator是一个Python包,旨在使用Azure AI服务自动化您的项目中的多语言翻译。该项目通过集成先进的大型语言模型(LLM)技术和Azure AI服务,简化了将内容翻译成多种语言的过程,使开发者能够轻松地生成组织良好的翻译文件夹,并轻松翻译Markdown文件和图像。
AI驱动的开源笔记/研究平台,尊重您的隐私。
Open Notebook是一个结合了人工智能的强大开源笔记和研究平台,专为研究人员、学生和专业人士设计,旨在增强他们的学习和能力,同时完全控制工作流程、模型以及数据的使用和暴露。该产品代表了一种新型的隐私保护学习工具,它通过AI技术帮助用户整理笔记、生成播客和深入理解学习内容,同时确保用户的数据隐私不受侵犯。Open Notebook的背景信息显示,它是一个开源项目,鼓励社区参与和贡献,以构建一个能够个性化辅助每个人发展的智能伙伴。
实时端到端自动驾驶的截断扩散模型
DiffusionDrive是一个用于实时端到端自动驾驶的截断扩散模型,它通过减少扩散去噪步骤来加快计算速度,同时保持高准确性和多样性。该模型直接从人类示范中学习,无需复杂的预处理或后处理步骤,即可实现实时的自动驾驶决策。DiffusionDrive在NAVSIM基准测试中取得了88.1 PDMS的突破性成绩,并且能够在45 FPS的速度下运行。
高效率的高分辨率图像合成框架
Sana是一个文本到图像的框架,能够高效生成高达4096×4096分辨率的图像。它以极快的速度合成高分辨率、高质量的图像,并保持强大的文本-图像对齐,可以部署在笔记本电脑GPU上。Sana的核心设计包括深度压缩自编码器、线性扩散变换器(DiT)、仅解码器的小型语言模型作为文本编码器,以及高效的训练和采样策略。Sana-0.6B与现代大型扩散模型相比,体积小20倍,测量吞吐量快100倍以上。此外,Sana-0.6B可以部署在16GB笔记本电脑GPU上,生成1024×1024分辨率图像的时间少于1秒。Sana使得低成本的内容创作成为可能。
一键AI变身、发型、穿搭,发现更美的自己
MagicMirror是一款利用人工智能技术的桌面客户端应用,它能够让用户通过简单的拖拽照片,一键实现变身、换发型和穿搭的效果。这款应用的设计理念是简单易用,无需复杂的设置,也不需要高端的GPU硬件支持。MagicMirror强调隐私保护,所有处理完全在本地进行,不涉及云端处理,确保用户数据的安全。此外,它的安装包体积小,模型文件也轻便,便于用户下载和使用。MagicMirror的主要优点包括简单易用、硬件要求低、隐私保护、轻量级以及开源,这些都是它在图像处理领域中的重要优势。
科学文献综合检索增强型语言模型
Ai2 OpenScholar是由艾伦人工智能研究所与华盛顿大学合作开发的检索增强型语言模型,旨在帮助科学家通过检索相关文献并基于这些文献生成回答来有效导航和综合科学文献。该模型在多个科学领域中表现出色,特别是在引用准确性和事实性方面。它代表了人工智能在科学研究中应用的重要进步,能够加速科学发现并提高研究效率。
Skywork o1 Open系列模型,提升复杂问题解决能力
Skywork-o1-Open-PRM-Qwen-2.5-1.5B是Skywork团队开发的一系列模型,这些模型结合了o1风格的慢思考和推理能力。该模型专门设计用于通过增量过程奖励增强推理能力,适合解决小规模的复杂问题。与简单的OpenAI o1模型复现不同,Skywork o1 Open系列模型不仅在输出中展现出固有的思考、规划和反思能力,而且在标准基准测试中的推理技能有显著提升。这一系列代表了AI能力的一次战略性进步,将原本较弱的基础模型推向了推理任务的最新技术(SOTA)。
Qwen团队开发的实验性研究模型,专注于提升AI推理能力。
QwQ-32B-Preview是一个由Qwen团队开发的实验性研究模型,旨在提高人工智能的推理能力。该模型展示了有前景的分析能力,但也存在一些重要的限制。模型在数学和编程方面表现出色,但在常识推理和细微语言理解方面还有提升空间。该模型使用了transformers架构,具有32.5B个参数,64层,以及40个注意力头(GQA)。产品背景信息显示,QwQ-32B-Preview是基于Qwen2.5-32B模型的进一步开发,具有更深层次的语言理解和生成能力。
先进的指令遵循模型,提供全面后训练技术指南。
Llama-3.1-Tulu-3-8B-RM是Tülu3模型家族的一部分,该家族以开源数据、代码和配方为特色,旨在为现代后训练技术提供全面指南。该模型专为聊天以外的多样化任务(如MATH、GSM8K和IFEval)提供最先进的性能。
Prompt越狱手册,AI技术交流与越狱技巧分享平台。
PromptJailbreakManual是一个专注于AI越狱技术的平台,提供技术交流和分享越狱技巧。它代表了AI技术在越狱领域的应用,强调了技术的重要性和创新性。该平台背景信息显示,它由Acmesec组织发起,旨在通过开源协作的方式,共同探索和突破AI的限制。产品定位为技术爱好者和专业人士提供交流和学习的空间,目前是免费提供给用户使用。
Qwen2.5-Coder系列中的0.5B参数量指令调优模型
Qwen2.5-Coder是Qwen大型语言模型的最新系列,专注于代码生成、代码推理和代码修复。基于强大的Qwen2.5,该系列模型通过增加训练令牌至5.5万亿,包括源代码、文本代码接地、合成数据等,显著提升了代码生成、推理和修复能力。Qwen2.5-Coder-32B已成为当前最先进的开源代码大型语言模型,编码能力与GPT-4o相匹配。此外,Qwen2.5-Coder还为真实世界应用提供了更全面的基础,如代码代理,不仅增强了编码能力,还保持了在数学和通用能力方面的优势。
Qwen2.5-Coder系列的0.5B参数代码生成模型
Qwen2.5-Coder是Qwen大型语言模型的最新系列,专注于代码生成、代码推理和代码修复。基于强大的Qwen2.5,该模型在训练中涵盖了5.5万亿的源代码、文本代码基础、合成数据等,成为当前开源代码语言模型的最新技术。该模型不仅在编程能力上与GPT-4o相匹配,还在数学和一般能力上保持了优势。Qwen2.5-Coder-0.5B-Instruct-GPTQ-Int4模型是经过GPTQ量化的4位指令调整模型,具有因果语言模型、预训练和后训练、transformers架构等特点。
先进的文本生成模型,支持多样化任务
Llama-3.1-Tulu-3-8B-SFT是Tülu3模型家族中的一员,这是一个领先的指令遵循模型家族,提供完全开源的数据、代码和配方,旨在为现代后训练技术提供全面的指南。该模型不仅在聊天任务上表现出色,还在MATH、GSM8K和IFEval等多样化任务上展现了卓越的性能。
领先的指令遵循模型家族,提供开源数据、代码和指南。
Llama-3.1-Tulu-3-70B-SFT是Tülu3模型家族的一部分,专为现代后训练技术提供全面指南而设计。该模型不仅在聊天任务上表现出色,还在MATH、GSM8K和IFEval等多种任务上实现了最先进的性能。它是基于公开可用的、合成的和人类创建的数据集训练的,主要使用英语,并遵循Llama 3.1社区许可协议。
开源的ComfyUI桌面客户端,适用于Windows和macOS。
ComfyUI Desktop是一个开源的桌面客户端,旨在为用户提供更稳定和高效的工作环境。它支持Windows和macOS,适合需要图形用户界面的开发者和设计师。该产品在测试阶段持续改进,用户可以期待每日更新。其主要定位是为用户提供一个集成的工作流管理工具,帮助用户更高效地完成任务。
开源AI代理项目,展示如何构建强大的AI代理并流式传输响应及生成工件。
PostBot 3000是一个开源项目,展示了如何构建一个强大的AI代理,流式传输响应并生成工件。该项目使用LangGraph Python构建AI工作流,并使用FastAPI创建一个健壮的API。它利用了多种技术栈,包括LangGraph、Vercel AI SDK、gpt-4o-mini、FastAPI、Next.js、TailwindCSS等。PostBot 3000的开源特性使得任何想要实现类似解决方案的人都能够更容易地进行开发和部署。
© 2024 AIbase 备案号:闽ICP备08105208号-14