产品库

小型语言模型结合增强视觉词汇

Vary-toy是一个小型Vary模型，基于Qwen-1.8B作为基础“大”语言模型。Vary-toy引入了改进的视觉词汇，使模型不仅具备Vary的所有特性，还具有更广泛的泛化能力。具体来说，在生成视觉词汇的过程中，我们用目标检测驱动的正样本数据替换自然图像的负样本，更充分地利用了词汇网络的容量，使其能够高效地编码与自然物体对应的视觉信息。在实验中，Vary-toy在DocVQA上实现了65.6%的ANLS，在ChartQA上实现了59.1%的准确率，在RefCOCO上实现了88.1%的准确率，在MMVet上实现了29%的准确率。定价：免费试用，付费版本定价待定。定位：为研究人员提供在资源有限的情况下在普通GPU上训练和部署LVLMs的解决方案。

大规模视觉语言模型的视觉词汇扩展

Vary 是一个用于大规模视觉语言模型的官方代码实现。它通过扩展视觉词汇来提高模型的性能。该模型具有强大的图像理解和语言生成能力，可以在多个领域进行应用。

高效小型语言模型

SmolLM是一系列最新的小型语言模型，包含135M、360M和1.7B参数的版本。这些模型在精心策划的高质量训练语料库上进行训练，能够实现在本地设备上运行，显著降低推理成本并提高用户隐私。SmolLM模型在多种基准测试中表现优异，测试了常识推理和世界知识。

基于强化学习技术的视觉思考模型，理科测试行业领先

Kimi视觉思考模型k1是基于强化学习技术打造的AI模型，原生支持端到端图像理解和思维链技术，并将能力扩展到数学之外的更多基础科学领域。在数学、物理、化学等基础科学学科的基准能力测试中，k1模型的表现超过了全球标杆模型。k1模型的发布标志着AI在视觉理解和思考能力上的新突破，尤其在处理图像信息和基础科学问题上展现出色的表现。

一款强大的小型视觉语言模型，无处不在

moondream是一个使用SigLIP、Phi-1.5和LLaVA训练数据集构建的16亿参数模型。由于使用了LLaVA数据集，权重受CC-BY-SA许可证保护。您可以在Huggingface Spaces上尝试使用它。该模型在VQAv2、GQA、VizWiz和TextVQA基准测试中表现如下：LLaVA-1.5（13.3B参数）：80.0、63.3、53.6、61.3；LLaVA-1.5（7.3B参数）：78.5、62.0、50.0、58.2；MC-LLaVA-3B（3B参数）：64.2、49.6、24.9、38.6；LLaVA-Phi（3B参数）：71.4、-、35.9、48.6；moondream1（1.6B参数）：74.3、56.3、30.3、39.8。

统一大型模型 API调用方式

支持将 openai、claude、azure openai, gemini,kimi, 智谱 AI, 通义千问，讯飞星火 API 等模型服务方的调用转为 openai 方式调用。屏蔽不同大模型 API 的差异，统一用 openai api 标准格式使用大模型。提供多种大型模型支持，包括负载均衡、路由、配置管理等功能。

为边缘设备定制的小型语言模型

MobiLlama是一个为资源受限设备设计的小型语言模型（SLM），它旨在提供准确且轻量级的解决方案，以满足设备上的处理需求、能效、低内存占用和响应效率。MobiLlama从更大的模型出发，通过精心设计的参数共享方案来降低预训练和部署成本。

高效紧凑的7B参数语言模型

Arcee Spark是一个7B参数的语言模型，它在紧凑的包体中提供高性能，证明小型模型也能与大型模型相媲美。它是7B-15B范围内得分最高的模型，并且在MT-Bench基准测试中超越了GPT 3.5和Claude 2.1等更大模型。它适用于实时应用、边缘计算场景、成本效益高的AI实施、快速原型设计和增强数据隐私的本地部署。

小型语言模型调研、测量与洞察

SLM_Survey是一个专注于小型语言模型（SLMs）的研究项目，旨在通过调研和测量，提供对这些模型的深入了解和技术评估。该项目涵盖了基于Transformer的、仅解码器的语言模型，参数范围在100M至5B之间。通过对59个最先进的开源SLMs进行调研，分析了它们的技术创新，并在多个领域评估了它们的能力，包括常识推理、上下文学习、数学和编程。此外，还对它们的运行时成本进行了基准测试，包括推理延迟和内存占用。这些研究对于推动SLMs领域的研究具有重要价值。

多模态大型模型，处理文本、图像和视频数据

Valley是由字节跳动开发的尖端多模态大型模型，能够处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果，比其他开源模型表现更优。在OpenCompass测试中，与同规模模型相比，平均得分大于等于67.40，在小于10B模型中排名第二。Valley-Eagle版本参考了Eagle，引入了一个可以灵活调整令牌数量并与原始视觉令牌并行的视觉编码器，增强了模型在极端场景下的性能。

多模态大型模型，处理文本、图像和视频数据

Valley-Eagle-7B是由字节跳动开发的多模态大型模型，旨在处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果，并在OpenCompass测试中展现出与同规模模型相比的卓越性能。Valley-Eagle-7B结合了LargeMLP和ConvAdapter构建投影器，并引入了VisionEncoder，以增强模型在极端场景下的性能。

开源视觉基础模型

InternVL通过将ViT模型扩展到60亿参数并与语言模型对齐,构建出目前最大的14B开源视觉基础模型,在视觉感知、跨模态检索、多模态对话等广泛任务上取得了32项state-of-the-art性能。

实时开放词汇物体检测

YOLO-World是一款先进的实时开放词汇物体检测器，基于You Only Look Once (YOLO)系列检测器，并通过视觉-语言建模和大规模数据集的预训练，增强了开放词汇检测能力。其采用新的可重新参数化的视觉-语言路径聚合网络（RepVL-PAN）和区域-文本对比损失，促进了视觉和语言信息之间的交互。YOLO-World在零-shot方式下高效地检测各种对象，具有高效率。在具有挑战性的LVIS数据集上，YOLO-World在V100上实现了35.4 AP和52.0 FPS，在准确性和速度方面均优于许多最新方法。此外，经过微调的YOLO-World在多项下游任务上表现出色，包括物体检测和开放词汇实例分割。

智能词汇搜索工具

Word Genie是一款智能词汇搜索工具，能够快速准确地帮助用户找到他们想要的词汇及相关信息。该产品具有强大的搜索功能，用户可以轻松地查找同义词、反义词、词根、词源等词汇信息。Word Genie定位于提升用户写作效率，提供高效的词汇查询服务。产品定价灵活多样，适合个人用户及企业用户。

一个简单的检索增强生成框架，使小型模型通过异构图索引和轻量级拓扑增强检索实现良好的RAG性能。

MiniRAG是一个针对小型语言模型设计的检索增强生成系统，旨在简化RAG流程并提高效率。它通过语义感知的异构图索引机制和轻量级的拓扑增强检索方法，解决了小型模型在传统RAG框架中性能受限的问题。该模型在资源受限的场景下具有显著优势，如在移动设备或边缘计算环境中。MiniRAG的开源特性也使其易于被开发者社区接受和改进。

强大的开源视觉语言模型

CogVLM是一个强大的开源视觉语言模型。CogVLM-17B拥有100亿个视觉参数和70亿个语言参数。CogVLM-17B在10个经典的跨模态基准测试中取得了最先进的性能，包括NoCaps、Flicker30k字幕、RefCOCO、RefCOCO+、RefCOCOg、Visual7W、GQA、ScienceQA、VizWiz VQA和TDIUC，并在VQAv2、OKVQA、TextVQA、COCO字幕等方面排名第二，超过或与PaLI-X 55B相匹配。CogVLM还可以与您就图像进行对话。

通用型视觉语言模型

Qwen-VL 是阿里云推出的通用型视觉语言模型,具有强大的视觉理解和多模态推理能力。它支持零样本图像描述、视觉问答、文本理解、图像地标定位等任务,在多个视觉基准测试中达到或超过当前最优水平。该模型采用 Transformer 结构,以 7B 参数规模进行预训练,支持 448x448 分辨率,可以端到端处理图像与文本的多模态输入与输出。Qwen-VL 的优势包括通用性强、支持多语种、细粒度理解等。它可以广泛应用于图像理解、视觉问答、图像标注、图文生成等任务。

高质量开放数据集平台，为大型模型提供数据支持

OpenDataLab是一个开源数据平台，提供高质量的开放数据集，支持大型AI模型的训练和应用。平台容量巨大，包含5500多个数据集，涵盖1500多种任务类型，总数据量达到80TB以上，下载量超过1064500次。平台提供30多种应用场景、20多种标注类型和5种数据类型，支持数据结构、标注格式和在线可视化的统一标准，实现数据的开放共享和智能搜索，提供结构化的数据信息和可视化的注释和数据分布，方便用户阅读和筛选。平台提供快速下载服务，无需VPN即可从国内云端快速下载数据。

先进的视觉基础模型，支持多种视觉和视觉-语言任务

Florence-2-large是由微软开发的先进视觉基础模型，采用基于提示的方法处理广泛的视觉和视觉-语言任务。该模型能够解释简单的文本提示来执行如图像描述、目标检测和分割等任务。它利用包含54亿注释的5.4亿图像的FLD-5B数据集，精通多任务学习。其序列到序列的架构使其在零样本和微调设置中均表现出色，证明是一个有竞争力的视觉基础模型。

使用预训练扩散模型制作视觉错觉

Visual Anagrams是一种简单的、零样本方法，用于生成多视角视觉错觉。我们展示了理论和实践证明，我们的方法支持广泛的变换，包括旋转、翻转、颜色反转、倾斜、拼图重排和随机排列等。我们的方法使用预训练扩散模型来估计图像的不同视角或变换中的噪声，并将其对齐并平均。然后使用这个平均噪声估计来进行扩散步骤。使用Visual Anagrams，您可以制作出多种多视角视觉错觉。

先进的视觉基础模型，支持多种视觉和视觉-语言任务。

Florence-2是由微软开发的高级视觉基础模型，采用基于提示的方法处理广泛的视觉和视觉-语言任务。该模型能够解释简单的文本提示，执行如描述、目标检测和分割等任务。它利用包含54亿个注释的5.4亿张图像的FLD-5B数据集，精通多任务学习。模型的序列到序列架构使其在零样本和微调设置中都表现出色，证明其为有竞争力的视觉基础模型。

对视觉生成模型进行基准测试

GenAI-Arena是一个用于在野外对视觉生成模型进行基准测试的平台。用户可以匿名参与竞技，对比目标模型的表现，并投票选出更优秀的模型。平台支持不同领域的匿名模型对决，帮助用户找到最佳的条件图像生成模型。用户可以点击“New Round”开始新的对决，并通过点击按钮投票选择更优秀的模型。

视觉状态空间模型，线性复杂度，全局感知

VMamba是一种视觉状态空间模型，结合了卷积神经网络（CNNs）和视觉Transformer（ViTs）的优势，实现了线性复杂度而不牺牲全局感知。引入了Cross-Scan模块（CSM）来解决方向敏感问题，能够在各种视觉感知任务中展现出优异的性能，并且随着图像分辨率的增加，相对已有基准模型表现出更为显著的优势。

用于角色扮演、检索增强生成和功能调用的小型语言模型

Nemotron-Mini-4B-Instruct 是 NVIDIA 开发的一款小型语言模型，通过蒸馏、剪枝和量化优化，以提高速度和便于在设备上部署。它是从 Nemotron-4 15B 通过 NVIDIA 的大型语言模型压缩技术剪枝和蒸馏得到的 nvidia/Minitron-4B-Base 的微调版本。此指令模型针对角色扮演、检索增强问答（RAG QA）和功能调用进行了优化，支持 4096 个令牌的上下文长度，已准备好用于商业用途。

先进的视觉基础模型，支持多种视觉和视觉-语言任务

Florence-2是由微软开发的高级视觉基础模型，采用基于提示的方法处理广泛的视觉和视觉-语言任务。该模型能够解释简单的文本提示，执行诸如图像描述、目标检测和分割等任务。它利用FLD-5B数据集，包含54亿个注释，覆盖1.26亿张图像，精通多任务学习。其序列到序列的架构使其在零样本和微调设置中均表现出色，证明是一个有竞争力的视觉基础模型。

多模态视觉语言模型

MouSi是一种多模态视觉语言模型，旨在解决当前大型视觉语言模型（VLMs）面临的挑战。它采用集成专家技术，将个体视觉编码器的能力进行协同，包括图像文本匹配、OCR、图像分割等。该模型引入融合网络来统一处理来自不同视觉专家的输出，并在图像编码器和预训练LLMs之间弥合差距。此外，MouSi还探索了不同的位置编码方案，以有效解决位置编码浪费和长度限制的问题。实验结果表明，具有多个专家的VLMs表现出比孤立的视觉编码器更出色的性能，并随着整合更多专家而获得显著的性能提升。

高效开源的视觉语言模型

SmolVLM是一个小型但功能强大的视觉语言模型（VLM），拥有2B参数，以其较小的内存占用和高效性能在同类模型中处于领先地位。SmolVLM完全开源，包括所有模型检查点、VLM数据集、训练配方和工具均在Apache 2.0许可下发布。该模型适合在浏览器或边缘设备上进行本地部署，降低推理成本，并允许用户自定义。

智能小型企业预算规划软件

MRGN是一款智能小型企业预算规划软件，通过预测智能和预算规划功能，帮助企业主动应对财务和运营挑战。MRGN能够准确预测企业未来的财务状况和运营需求，帮助企业合理安排预算，优化运营效率，实现财务稳定和可持续发展。MRGN还提供多种定价方案，以满足不同企业的需求。

PaliGemma 2是一个强大的视觉-语言模型，支持多种视觉语言任务。

PaliGemma 2是一个由Google开发的视觉-语言模型，继承了Gemma 2模型的能力，能够处理图像和文本输入并生成文本输出。该模型在多种视觉语言任务上表现出色，如图像描述、视觉问答等。其主要优点包括强大的多语言支持、高效的训练架构和广泛的适用性。该模型适用于需要处理视觉和文本数据的各种应用场景，如社交媒体内容生成、智能客服等。

通过词汇AI联想测试探索潜意识

Jung Words是一个基于瑞士著名心理学家卡尔·荣格理论的词汇联想测试产品。它可以帮助用户深入探索潜意识,进行自我发现之旅。用户只需输入第一个蹦入脑海的词语,就可以解锁潜意识,洞悉内心思想。该产品具有简单易用、轻松有趣的互动方式,让用户在玩乐中完成自我ANALYSIS。它适用于各种年龄段的用户,可以用来放松心情,也可以作为了解自我的工具。