需求人群:
"目标受众为需要在本地或边缘设备上部署视觉语言模型的开发者和企业,特别是那些对模型大小和推理成本敏感的用户。SmolVLM因其小巧、高效和开源的特性,特别适合资源受限的环境,如移动设备或小型服务器。"
使用场景示例:
使用SmolVLM为曼谷大皇宫提供旅行建议。
根据图表识别严重干旱发生的地区。
从发票中提取到期日和发票日期。
产品特色:
支持多模态AI,能够在较小的本地设置中使用。
完全开源,允许商业使用和自定义部署。
内存占用小,适合在资源受限的设备上运行。
性能优异,提供了包括图像编码效率在内的多项基准测试结果。
支持视频分析任务,尤其是在计算资源有限的情况下。
与VLMEvalKit集成,方便在更多基准上进行评估。
可以通过Transformers库轻松加载和使用。
使用教程:
1. 访问SmolVLM的Hugging Face页面并下载所需的模型和处理器。
2. 使用Python和Transformers库加载模型和处理器。
3. 准备输入数据,包括图像和文本提示。
4. 通过处理器将输入数据格式化为模型可接受的格式。
5. 使用模型生成输出,如描述图像内容或回答与图像相关的问题。
6. 对生成的输出进行解码和后处理,以获取最终结果。
7. (可选)根据特定任务对SmolVLM进行微调,以提高性能。
浏览量:66
最新流量情况
月访问量
29742.94k
平均访问时长
00:04:44
每次访问页数
5.85
跳出率
44.20%
流量来源
直接访问
50.45%
自然搜索
33.93%
邮件
0.03%
外链引荐
12.90%
社交媒体
2.67%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
21.55%
印度
7.98%
日本
2.93%
俄罗斯
5.29%
美国
16.06%
高效开源的视觉语言模型
SmolVLM是一个小型但功能强大的视觉语言模型(VLM),拥有2B参数,以其较小的内存占用和高效性能在同类模型中处于领先地位。SmolVLM完全开源,包括所有模型检查点、VLM数据集、训练配方和工具均在Apache 2.0许可下发布。该模型适合在浏览器或边缘设备上进行本地部署,降低推理成本,并允许用户自定义。
8亿参数的多语言视觉语言模型,支持OCR、图像描述、视觉推理等功能
CohereForAI的Aya Vision 8B是一个8亿参数的多语言视觉语言模型,专为多种视觉语言任务优化,支持OCR、图像描述、视觉推理、总结、问答等功能。该模型基于C4AI Command R7B语言模型,结合SigLIP2视觉编码器,支持23种语言,具有16K上下文长度。其主要优点包括多语言支持、强大的视觉理解能力以及广泛的适用场景。该模型以开源权重形式发布,旨在推动全球研究社区的发展。根据CC-BY-NC许可协议,用户需遵守C4AI的可接受使用政策。
低成本强化视觉语言模型的泛化能力,仅需不到3美元。
R1-V是一个专注于强化视觉语言模型(VLM)泛化能力的项目。它通过可验证奖励的强化学习(RLVR)技术,显著提升了VLM在视觉计数任务中的泛化能力,尤其是在分布外(OOD)测试中表现出色。该技术的重要性在于,它能够在极低的成本下(仅需2.62美元的训练成本),实现对大规模模型的高效优化,为视觉语言模型的实用化提供了新的思路。项目背景基于对现有VLM训练方法的改进,目标是通过创新的训练策略,提升模型在复杂视觉任务中的表现。R1-V的开源性质也使其成为研究者和开发者探索和应用先进VLM技术的重要资源。
一个强大的OCR包,使用最先进的视觉语言模型提取图像中的文本。
ollama-ocr是一个基于ollama的光学字符识别(OCR)模型,能够从图像中提取文本。它利用先进的视觉语言模型,如LLaVA、Llama 3.2 Vision和MiniCPM-V 2.6,提供高精度的文本识别。该模型对于需要从图片中获取文本信息的场景非常有用,如文档扫描、图像内容分析等。它开源免费,易于集成到各种项目中。
开源的视觉语言模型,可在多种设备上运行。
Moondream AI是一个开源的视觉语言模型,具有强大的多模态处理能力。它支持多种量化格式,如fp16、int8、int4,能够在服务器、PC、移动设备等多种目标设备上进行GPU和CPU优化推理。其主要优点包括快速、高效、易于部署,且采用Apache 2.0许可证,允许用户自由使用和修改。Moondream AI的定位是为开发者提供一个灵活、高效的人工智能解决方案,适用于需要视觉和语言处理能力的各种应用场景。
一个多图像视觉语言模型,具有训练、推理和评估方案,可从云端部署到边缘设备(如Jetson Orin和笔记本电脑)。
VILA是一个预训练的视觉语言模型(VLM),它通过大规模的交错图像-文本数据进行预训练,从而实现视频理解和多图像理解能力。VILA通过AWQ 4bit量化和TinyChat框架在边缘设备上可部署。主要优点包括:1) 交错图像-文本数据对于提升性能至关重要;2) 在交错图像-文本预训练期间不冻结大型语言模型(LLM)可以促进上下文学习;3) 重新混合文本指令数据对于提升VLM和纯文本性能至关重要;4) 标记压缩可以扩展视频帧数。VILA展示了包括视频推理、上下文学习、视觉思维链和更好的世界知识等引人入胜的能力。
一个强大的文本生成模型,适用于多种对话应用。
DeepSeek-V3-0324 是一个先进的文本生成模型,具有 685 亿参数,采用 BF16 和 F32 张量类型,能够支持高效的推理和文本生成。该模型的主要优点在于其强大的生成能力和开放源码的特性,使其可以被广泛应用于多种自然语言处理任务。该模型的定位是为开发者和研究人员提供一个强大的工具,帮助他们在文本生成领域取得突破。
通过强化学习驱动的金融推理大模型。
Fin-R1 是一个专为金融领域设计的大型语言模型,旨在提升金融推理能力。由上海财经大学和财跃星辰联合研发,基于 Qwen2.5-7B-Instruct 进行微调和强化学习,具有高效的金融推理能力,适用于银行、证券等核心金融场景。该模型免费开源,便于用户使用和改进。
生成高质量 SVG 代码的基础模型。
StarVector 是一个先进的生成模型,旨在将图像和文本指令转化为高质量的可缩放矢量图形(SVG)代码。其主要优点在于能够处理复杂的 SVG 元素,并在各种图形风格和复杂性上表现出色。作为开放源代码资源,StarVector 推动了图形设计的创新和效率,适用于设计、插图和技术文档等多种应用场景。
Roblox Foundation Model for 3D Intelligence。
Cube 是一个强大的 3D 智能生成模型,旨在帮助开发者在 Roblox 平台上创建各种 3D 资产和场景。该模型具备生成 3D 对象、角色动画绑定及程序脚本生成等功能。它的出现将极大地提升创作者的生产效率,激发更多的创意,帮助用户以更快的速度构建出丰富的 3D 体验。当前版本已经开放源代码,旨在与研究社区共享,以推进 3D 智能的发展。适用于各种规模的开发者和创作者,支持实验与创新,推动负责任的使用。
一款 21B 通用推理模型,适合低延迟应用。
Reka Flash 3 是一款从零开始训练的 21 亿参数的通用推理模型,利用合成和公共数据集进行监督微调,结合基于模型和基于规则的奖励进行强化学习。该模型在低延迟和设备端部署应用中表现优异,具有较强的研究能力。它目前是同类开源模型中的最佳选择,适合于各种自然语言处理任务和应用场景。
通过训练您的 AI 自我,增强个性,连接世界。
Second Me 是一个开源原型,旨在让用户创造自己的 AI 自我,保留个人特点,并在数字世界中扩展自我。它使用分层记忆建模和用户对齐算法,确保用户数据本地存储且完全私密。这种形式的 AI 不仅帮助用户管理信息,还能与全球网络中的其他 AI 进行交互,从而促进创造力和协作。Second Me 的主要优点在于它保护用户的隐私,让用户真正掌控自己的数字身份,适合技术爱好者、AI 专家和各领域专业人士。此产品当前处于开发阶段,用户可以在 GitHub 上获取最新版本。
LG AI 推出的开源推理 AI 模型,具备卓越的推理能力。
EXAONE Deep 是 LG AI Research 推出的先进推理 AI 模型,标志着韩国在全球 AI 市场中的竞争力。它具备 32 亿参数,表现卓越,尤其在数学和科学问题解决方面展现出色。该模型的发布使得 LG 在 AI 领域迈入了自主决策的时代,其开源特性使得更多开发者能够利用这一技术进行研究与开发。EXAONE Deep 的轻量级和在设备上的模型设计使得其适用于多个行业,包括教育、科学研究、编程等。
一个开源文本转语音系统,致力于实现人类语音的自然化。
Orpheus TTS 是一个基于 Llama-3b 模型的开源文本转语音系统,旨在提供更加自然的人类语音合成。它具备较强的语音克隆能力和情感表达能力,适合各种实时应用场景。该产品是免费的,旨在为开发者和研究者提供便捷的语音合成工具。
增强文本与视觉任务处理能力的开源模型。
Mistral-Small-3.1-24B-Base-2503 是一款具有 240 亿参数的先进开源模型,支持多语言和长上下文处理,适用于文本与视觉任务。它是 Mistral Small 3.1 的基础模型,具有较强的多模态能力,适合企业需求。
一款开源的14B参数量的数学模型,通过强化学习训练,性能卓越。
Light-R1-14B-DS 是由北京奇虎科技有限公司开发的开源数学模型。该模型基于 DeepSeek-R1-Distill-Qwen-14B 进行强化学习训练,在 AIME24 和 AIME25 数学竞赛基准测试中分别达到了 74.0 和 60.2 的高分,超越了许多 32B 参数量的模型。它在轻量级预算下成功实现了对已经长链推理微调模型的强化学习尝试,为开源社区提供了一个强大的数学模型工具。该模型的开源有助于推动自然语言处理在教育领域的应用,特别是数学问题解决方面,为研究人员和开发者提供了宝贵的研究基础和实践工具。
Light-R1 是一个专注于长链推理(Long COT)的开源项目,通过课程式 SFT、DPO 和 RL 提供从零开始的训练方法。
Light-R1 是一个由 Qihoo360 开发的开源项目,旨在通过课程式监督微调(SFT)、直接偏好优化(DPO)和强化学习(RL)训练长链推理模型。该项目通过去污染数据集和高效的训练方法,实现了从零开始的长链推理能力。其主要优点包括开源的训练数据、低成本的训练方式以及在数学推理领域的卓越性能。项目背景基于当前长链推理模型的训练需求,旨在提供一种透明且可复现的训练方法。项目目前免费开源,适合研究机构和开发者使用。
一个可以复制任何网页UI界面并生成代码提示的工具。
Same是一个强大的在线工具,允许用户通过输入网页链接生成对应的代码提示,帮助开发者快速复现目标网站的UI界面。它基于先进的网页解析技术,能够精准提取页面元素并生成可复用的代码片段。该工具对于前端开发者来说是一个高效的辅助工具,能够节省大量的时间和精力,特别是在需要快速搭建原型或进行界面克隆时。目前,Same以免费的形式提供服务,主要面向开发者和设计人员。
一个用于生成对话式语音的模型,支持从文本和音频输入生成高质量的语音。
CSM 是一个由 Sesame 开发的对话式语音生成模型,它能够根据文本和音频输入生成高质量的语音。该模型基于 Llama 架构,并使用 Mimi 音频编码器。它主要用于语音合成和交互式语音应用,例如语音助手和教育工具。CSM 的主要优点是能够生成自然流畅的语音,并且可以通过上下文信息优化语音输出。该模型目前是开源的,适用于研究和教育目的。
RagaAI Catalyst 是一个用于观察、评估和调试 AI 代理的平台,助力开发者优化 AI 工作流并安全部署。
RagaAI Catalyst 是一款专注于 AI 可观察性、监控和评估的平台,旨在帮助开发者和企业优化 AI 开发流程。它提供了从可视化追踪数据到执行图的用户友好仪表板,支持深度调试和性能提升。该平台强调安全性和可靠性,通过 RagaAI Guardrails 确保上下文准确的 LLM 响应,减少幻觉风险。此外,RagaAI Catalyst 支持定制化评估逻辑,满足特定用例的全面测试需求。其开源特性也为企业提供了透明度和灵活性,适合希望在 AI 开发中实现高效、安全和可扩展的企业和开发者。
一个开源的多云平台客户端,支持LangGraph代理和前端应用开发。
open-mcp-client 是一个开源项目,旨在为多云平台(MCP)提供客户端支持。它结合了LangGraph代理和基于CopilotKit的前端应用,支持与MCP服务器的交互和工具调用。该项目采用TypeScript、CSS、Python和JavaScript开发,强调开发效率和用户体验。它适用于开发者和企业,用于管理和交互多云资源。开源免费,适合希望在多云环境中快速开发和部署的用户。
Inductive Moment Matching 是一种新型的生成模型,用于高质量图像生成。
Inductive Moment Matching (IMM) 是一种先进的生成模型技术,主要用于高质量图像生成。该技术通过创新的归纳矩匹配方法,显著提高了生成图像的质量和多样性。其主要优点包括高效性、灵活性以及对复杂数据分布的强大建模能力。IMM 由 Luma AI 和斯坦福大学的研究团队开发,旨在推动生成模型领域的发展,为图像生成、数据增强和创意设计等应用提供强大的技术支持。该项目开源了代码和预训练模型,方便研究人员和开发者快速上手和应用。
BashBuddy 让你能够自然地输入命令,无需担心参数或语法。
BashBuddy 是一款旨在通过自然语言交互简化命令行操作的工具。它能够理解上下文并生成精确的命令,支持多种操作系统和 Shell 环境。BashBuddy 的主要优点在于其自然语言处理能力、跨平台支持以及对隐私的重视。它适合开发者、系统管理员以及任何需要频繁使用命令行的用户。BashBuddy 提供本地部署和云服务两种模式,本地模式完全免费且数据完全私密,而云服务则提供更快的命令生成速度,每月收费 2 美元。
开源的 Chrome 扩展程序,用于 AI 驱动的网络自动化,支持多智能体工作流。
Nanobrowser 是一款开源的 Chrome 扩展工具,旨在通过 AI 技术实现高效的网络自动化操作。它支持多智能体系统,用户可以使用自己的 LLM API 密钥运行复杂的网络任务。与 OpenAI Operator 类似,但完全免费且开源,用户可以在本地浏览器中运行任务,确保隐私安全。Nanobrowser 提供了灵活的 LLM 选项,允许用户根据需求选择不同的模型,并为不同的智能体分配不同的模型,从而在性能和成本之间取得平衡。此外,它还具备任务自动化、交互式侧边栏、会话历史等功能,适合需要高效网络操作的用户。
Steiner 是一个基于合成数据训练的推理模型,旨在探索多种推理路径并自主验证。
Steiner 是由 Yichao 'Peak' Ji 开发的推理模型系列,专注于通过强化学习在合成数据上训练,能够在推理时探索多种路径并自主验证或回溯。该模型的目标是复现 OpenAI o1 的推理能力,并验证推理时的扩展曲线。Steiner-preview 是一个正在进行中的项目,其开源目的是为了分享知识并获取更多真实用户的反馈。尽管该模型在某些基准测试中表现出色,但尚未完全实现 OpenAI o1 的推理扩展能力,因此仍处于开发阶段。
一个用于从文本和图像中提取结构化数据的代理API,基于LLMs实现。
l1m是一个强大的工具,它通过代理的方式利用大型语言模型(LLMs)从非结构化的文本或图像中提取结构化的数据。这种技术的重要性在于它能够将复杂的信息转化为易于处理的格式,从而提高数据处理的效率和准确性。l1m的主要优点包括无需复杂的提示工程、支持多种LLM模型以及内置缓存功能等。它由Inferable公司开发,旨在为用户提供一个简单、高效且灵活的数据提取解决方案。l1m提供免费试用,适合需要从大量非结构化数据中提取有价值信息的企业和开发者。
Proxy Lite 是一款开源的 3B 参数视觉语言模型(VLM),专注于网页自动化任务。
Proxy Lite 是 Convergence AI 推出的一款开源模型,具有强大的网页自动化能力。它通过独特的三步响应机制(观察、思考、工具调用)实现高效的网页交互,显著提升了任务的成功率和效率。该模型在 WebVoyager 任务中表现出色,仅使用少量计算资源就能达到顶尖水平。其开源特性使得开发者和研究人员可以自由使用、改进和扩展,推动了开源社区在自动化领域的进步。
Atom of Thoughts (AoT) 是一种用于提升大语言模型推理性能的框架。
Atom of Thoughts (AoT) 是一种新型推理框架,通过将解决方案表示为原子问题的组合,将推理过程转化为马尔可夫过程。该框架通过分解和收缩机制,显著提升了大语言模型在推理任务上的性能,同时减少了计算资源的浪费。AoT 不仅可以作为独立的推理方法,还可以作为现有测试时扩展方法的插件,灵活结合不同方法的优势。该框架开源且基于 Python 实现,适合研究人员和开发者在自然语言处理和大语言模型领域进行实验和应用。
© 2025 AIbase 备案号:闽ICP备08105208号-14