产品库

基于视觉语言基础模型的胸部X光解读

CheXagent是一个基于视觉语言基础模型的胸部X光解读工具。它利用临床大型语言模型来解析放射学报告，视觉编码器用于表示X光图像，并设计了一个网络来桥接视觉和语言模态。此外，CheXagent还引入了CheXbench，一个旨在系统评估基于视觉语言基础模型在8个临床相关的胸部X光解读任务上的性能的新型基准。经过广泛的定量评估和与五名专家放射科医生的定性评审，CheXagent在CheXbench任务上的表现优于先前开发的通用和医学领域的基础模型。

Rayscape | 放射学人工智能

Rayscape是一款先进的放射学人工智能解决方案，通过使用前沿的深度学习技术，提高X射线和CT的准确性和效率。我们为肺癌筛查、诊断成像和肿瘤学提供AI辅助诊断。

视觉语言模型，能够进行逐步推理

LLaVA-o1是北京大学元组团队开发的一个视觉语言模型，它能够进行自发的、系统的推理，类似于GPT-o1。该模型在六个具有挑战性的多模态基准测试中超越了其他模型，包括Gemini-1.5-pro、GPT-4o-mini和Llama-3.2-90B-Vision-Instruct。LLaVA-o1通过逐步推理解决问题，展示了其在视觉语言模型中的独特优势。

视觉语言模型，结合图像和文本信息进行智能处理。

Aquila-VL-2B模型是一个基于LLava-one-vision框架训练的视觉语言模型（VLM），选用Qwen2.5-1.5B-instruct模型作为语言模型（LLM），并使用siglip-so400m-patch14-384作为视觉塔。该模型在自建的Infinity-MM数据集上进行训练，包含约4000万图像-文本对。该数据集结合了从互联网收集的开源数据和使用开源VLM模型生成的合成指令数据。Aquila-VL-2B模型的开源，旨在推动多模态性能的发展，特别是在图像和文本的结合处理方面。

根据人类指令修复和编辑照片的框架

PromptFix是一个综合框架，能够使扩散模型遵循人类指令执行各种图像处理任务。该框架通过构建大规模的指令遵循数据集，提出了高频引导采样方法来控制去噪过程，并设计了辅助提示适配器，利用视觉语言模型增强文本提示，提高模型的任务泛化能力。PromptFix在多种图像处理任务中表现优于先前的方法，并在盲恢复和组合任务中展现出优越的零样本能力。

基于纯视觉的图形用户界面代理解析器

OmniParser 是微软研究团队开发的一种用于解析用户界面截图的方法，它通过识别可交互图标和理解屏幕截图中各种元素的语义，显著提升了基于视觉的语言模型（如GPT-4V）生成准确界面操作的能力。该技术通过精细调整的检测模型和描述模型，能够解析屏幕截图中的可交互区域和提取功能语义，从而在多个基准测试中超越了基线模型。OmniParser 作为一个插件，可以与其他视觉语言模型结合使用，提升它们的性能。

基于视觉语言模型的检索增强型生成模型

VisRAG是一个创新的视觉语言模型（VLM）基础的RAG（Retrieval-Augmented Generation）流程。与传统的基于文本的RAG不同，VisRAG直接将文档作为图像通过VLM进行嵌入，然后检索以增强VLM的生成能力。这种方法最大限度地保留了原始文档中的数据信息，并消除了解析过程中引入的信息损失。VisRAG模型在多模态文档上的应用，展示了其在信息检索和增强文本生成方面的强大潜力。

视觉语言模型高效文档检索工具

ColPali 是一种基于视觉语言模型的高效文档检索工具，它通过直接嵌入文档页面图像的方式来简化文档检索流程。ColPali 利用了最新的视觉语言模型技术，特别是 PaliGemma 模型，通过晚交互机制实现多向量检索，从而提高检索性能。这一技术不仅加快了索引速度，降低了查询延迟，而且在检索包含视觉元素的文档方面表现出色，例如图表、表格和图像。ColPali 的出现，为文档检索领域带来了一种新的“视觉空间检索”范式，有助于提高信息检索的效率和准确性。

新一代视觉语言模型，更清晰地看世界。

Qwen2-VL是一款基于Qwen2打造的最新一代视觉语言模型，具备多语言支持和强大的视觉理解能力，能够处理不同分辨率和长宽比的图片，理解长视频，并可集成到手机、机器人等设备中进行自动操作。它在多个视觉理解基准测试中取得全球领先的表现，尤其在文档理解方面有明显优势。

一款多功能大型视觉语言模型

InternLM-XComposer-2.5是一款支持长上下文输入和输出的多功能大型视觉语言模型。它在各种文本图像理解和创作应用中表现出色，实现了与GPT-4V相当的水平，但仅使用了7B的LLM后端。该模型通过24K交错图像文本上下文进行训练，能够无缝扩展到96K长上下文，通过RoPE外推。这种长上下文能力使其在需要广泛输入和输出上下文的任务中表现突出。此外，它还支持超高分辨率理解、细粒度视频理解、多轮多图像对话、网页制作以及撰写高质量图文文章等功能。

自动驾驶与视觉语言模型的融合

DriveVLM是一个自动驾驶系统，它利用视觉语言模型(VLMs)来增强场景理解和规划能力。该系统通过独特的推理模块组合，包括场景描述、场景分析和分层规划，以提高对复杂和长尾场景的理解。此外，为了解决VLMs在空间推理和计算需求上的局限性，提出了DriveVLM-Dual，这是一个混合系统，结合了DriveVLM的优势和传统自动驾驶流程。在nuScenes数据集和SUP-AD数据集上的实验表明，DriveVLM和DriveVLM-Dual在处理复杂和不可预测的驾驶条件方面非常有效。最终，DriveVLM-Dual在生产车辆上进行了部署，验证了其在现实世界自动驾驶环境中的有效性。

Google的尖端开放视觉语言模型

PaliGemma是Google发布的一款先进的视觉语言模型，它结合了图像编码器SigLIP和文本解码器Gemma-2B，能够理解图像和文本，并通过联合训练实现图像和文本的交互理解。该模型专为特定的下游任务设计，如图像描述、视觉问答、分割等，是研究和开发领域的重要工具。

Aloe是一款专为医疗领域设计的高性能语言模型，提供先进的文本生成和对话能力。

Aloe是由HPAI开发的一款医疗领域的语言模型，基于Meta Llama 3 8B模型进行优化。它通过模型融合和先进的提示策略，达到了与其规模相匹配的最先进水平。Aloe在伦理和事实性指标上得分较高，这得益于红队和对齐工作的结合。该模型提供了医疗特定的风险评估，以促进这些系统的安全使用和部署。

一个多图像视觉语言模型，具有训练、推理和评估方案，可从云端部署到边缘设备（如Jetson Orin和笔记本电脑）。

VILA是一个预训练的视觉语言模型（VLM），它通过大规模的交错图像-文本数据进行预训练，从而实现视频理解和多图像理解能力。VILA通过AWQ 4bit量化和TinyChat框架在边缘设备上可部署。主要优点包括：1) 交错图像-文本数据对于提升性能至关重要；2) 在交错图像-文本预训练期间不冻结大型语言模型（LLM）可以促进上下文学习；3) 重新混合文本指令数据对于提升VLM和纯文本性能至关重要；4) 标记压缩可以扩展视频帧数。VILA展示了包括视频推理、上下文学习、视觉思维链和更好的世界知识等引人入胜的能力。

Lyrebird Health正在通过AI革新医疗记录，我们的AI医疗记录员帮助医疗专业人士节省时间并改善患者护理。

Lyrebird Health通过AI技术监听、学习并生成医疗文档，帮助医生在几秒钟内轻松生成记录和文档。它可以学习医生的风格和用词，并根据需要生成各种文档。Lyrebird Health还提供数据加密和隐私保护，以及定制化的记录风格和语言。

AI医学记录助手

Sunoh是一款基于人工智能的医学记录助手，将医生和患者之间的自然对话转化为临床记录。Sunoh为医生和患者提供独特而沉浸式的体验，使临床记录的过程比以往更快捷高效。与您的电子健康记录系统（EHR）一起使用，加速您的记录工作。

AI医疗助手，为您的医疗团队提供最佳支持

Azyri是一款AI医疗助手，通过骨龄测量和分析，为医疗团队提供准确的诊断和治疗建议。优势包括减轻医疗团队工作负担，提高工作效率，定价根据服务套餐而定。主要功能包括骨龄测量、诊断X射线、医学影像和机器智能分析。

提高文本到图像模型中空间一致性的解决方案

SPRIGHT是一个专注于空间关系的大规模视觉语言数据集和模型。它通过重新描述600万张图像构建了SPRIGHT数据集，显著增加了描述中的空间短语。该模型在444张包含大量物体的图像上进行微调训练，从而优化生成具有空间关系的图像。SPRIGHT在多个基准测试中实现了空间一致性的最新水平，同时提高了图像质量评分。

支持同时理解和生成图像的多模态大型语言模型

Mini-Gemini是一个多模态视觉语言模型,支持从2B到34B的系列密集和MoE大型语言模型,同时具备图像理解、推理和生成能力。它基于LLaVA构建,利用双视觉编码器提供低分辨率视觉嵌入和高分辨率候选区域,采用补丁信息挖掘在高分辨率区域和低分辨率视觉查询之间进行补丁级挖掘,将文本与图像融合用于理解和生成任务。支持包括COCO、GQA、OCR-VQA、VisualGenome等多个视觉理解基准测试。

AI解决方案提供商

Apixio是一家为医疗计划和提供商提供准确支付和高质量患者护理的AI解决方案的公司。通过使用人工智能技术，Apixio能够自动分析和提取医疗数据，帮助医疗机构优化支付流程、提高患者护理质量，并提供个性化的护理建议。Apixio的解决方案可帮助医疗机构降低成本、提高效率，并提供更好的患者护理。

给视觉语言模型赋予空间推理能力

SpatialVLM是一个由谷歌DeepMind开发的视觉语言模型,能够对空间关系进行理解和推理。它通过大规模合成数据的训练,获得了像人类一样直观地进行定量空间推理的能力。这不仅提高了其在空间VQA任务上的表现,还为链式空间推理和机器人控制等下游任务打开了新的可能。

多模态视觉语言模型

MouSi是一种多模态视觉语言模型，旨在解决当前大型视觉语言模型（VLMs）面临的挑战。它采用集成专家技术，将个体视觉编码器的能力进行协同，包括图像文本匹配、OCR、图像分割等。该模型引入融合网络来统一处理来自不同视觉专家的输出，并在图像编码器和预训练LLMs之间弥合差距。此外，MouSi还探索了不同的位置编码方案，以有效解决位置编码浪费和长度限制的问题。实验结果表明，具有多个专家的VLMs表现出比孤立的视觉编码器更出色的性能，并随着整合更多专家而获得显著的性能提升。

自由形式文本图像合成与理解的视觉语言大模型

InternLM-XComposer2是一款领先的视觉语言模型，擅长自由形式文本图像合成与理解。该模型不仅能够理解传统的视觉语言，还能熟练地从各种输入中构建交织的文本图像内容，如轮廓、详细的文本规范和参考图像，实现高度可定制的内容创作。InternLM-XComposer2提出了一种部分LoRA（PLoRA）方法，专门将额外的LoRA参数应用于图像标记，以保留预训练语言知识的完整性，实现精确的视觉理解和具有文学才能的文本构成之间的平衡。实验结果表明，基于InternLM2-7B的InternLM-XComposer2在生成高质量长文本多模态内容方面优越，以及在各种基准测试中其出色的视觉语言理解性能，不仅明显优于现有的多模态模型，还在某些评估中与甚至超过GPT-4V和Gemini Pro。这凸显了它在多模态理解领域的卓越能力。InternLM-XComposer2系列模型具有7B参数，可在https://github.com/InternLM/InternLM-XComposer 上公开获取。

AI辅助X光解读

X-ray Interpreter是一款基于人工智能的X光解读平台。它提供精准的X光分析，帮助医学诊断。无论是检测肺部疾病、骨骼异常还是其他身体部位的异常，X-ray Interpreter都能提供准确的结果。定价方面，单张图片解读价格为2.99美元，五张图片套餐价格为9.99美元。X-ray Interpreter没有订阅费用，没有任何附加条件。

AI医疗助手，为临床医生节省时间

Heidi是一款安全合规的AI医疗助手，可为临床医生提供转录、生成笔记、填写文档和口述信件等功能。让医生不再需要手动书写临床笔记，节省时间和提高效率。定价请访问官网了解更多信息。

AI医疗笔记生成

Abridge是一款AI医疗笔记生成工具，能够实时将患者与临床医生的对话转换为结构化的临床笔记草稿，并将其无缝集成到EMR中。更好的笔记，更快速，让您每天节省2-3小时的时间，专注于最重要的事情——与患者共度更多时间。

AI医疗咨询服务

AI2DocReview是一家提供AI医疗咨询服务的平台。我们的训练过的生成式人工智能将在一分钟内回复您的医疗问题，并由医疗专家在一天内验证答案。我们提供合理的定价，让您享受到AI与医生团队的卓越服务。用户无需医疗保险，只需支付相当于搭乘优步到最近医院的费用。AI2DocReview提供不同的付费套餐，包括免费版、月付版和年付版，以及企业定制服务。

人工智能辅助医生快速生成病历笔记

Astrahealth使用人工智能为医生自动生成病历笔记,大大节省医生文书时间,使医生可以更专注于患者照护。我们的解决方案简化医生文书任务,提高准确率和效率。通过自动生成文书,我们增强了医患沟通体验。Astrahealth赋能医生,改善患者照护,培育创新、以患者为中心的医疗保健。加入我们,改变医疗,使其高效、便捷、以患者为中心。

在家分析步态，了解健康状况

Gaitanalyzer是一款能够在家中分析步态，帮助用户了解健康状况的工具。通过上传左右移动的短视频，用户可以进行步态分析，获取详细的步态数据和解释。该产品实现了基于无标记姿势估计模型的自动步态分析算法，可在本地计算机上进行视频分析，提供姿势标注、距离、峰值和最小值的绘制，以及步态数据的展示和下载。此外，步态分析器还利用Llama2大型语言模型以简单的术语向用户解释步态模式。用户可以在https://gaitanalyzer.health上使用步态分析器，视频将存储在服务器上，也可以在本地使用docker运行，视频将存储在用户的计算机上。