医疗领域先进的大型语言模型
HuatuoGPT-o1-70B是由FreedomIntelligence开发的医疗领域大型语言模型(LLM),专为复杂的医疗推理设计。该模型在提供最终响应之前,会生成一个复杂的思考过程,反映并完善其推理。HuatuoGPT-o1-70B能够处理复杂的医疗问题,提供深思熟虑的答案,这对于提高医疗决策的质量和效率至关重要。该模型基于LLaMA-3.1-70B架构,支持英文,并且可以部署在多种工具上,如vllm或Sglang,或者直接进行推理。
多模态大型模型,处理文本、图像和视频数据
Valley-Eagle-7B是由字节跳动开发的多模态大型模型,旨在处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果,并在OpenCompass测试中展现出与同规模模型相比的卓越性能。Valley-Eagle-7B结合了LargeMLP和ConvAdapter构建投影器,并引入了VisionEncoder,以增强模型在极端场景下的性能。
多模态大型模型,处理文本、图像和视频数据
Valley是由字节跳动开发的尖端多模态大型模型,能够处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果,比其他开源模型表现更优。在OpenCompass测试中,与同规模模型相比,平均得分大于等于67.40,在小于10B模型中排名第二。Valley-Eagle版本参考了Eagle,引入了一个可以灵活调整令牌数量并与原始视觉令牌并行的视觉编码器,增强了模型在极端场景下的性能。
首个无需注意力机制的7B大规模模型
Falcon Mamba是由阿布扎比技术创新研究所(TII)发布的首个无需注意力机制的7B大规模模型。该模型在处理大型序列时,不受序列长度增加导致的计算和存储成本增加的限制,同时保持了与现有最先进模型相当的性能。
专为智能手机设计的高效大型语言模型推理框架
PowerInfer-2是一个为智能手机特别优化的推理框架,支持高达47B参数的MoE模型,实现了每秒11.68个token的推理速度,比其他框架快22倍。它通过异构计算和I/O-Compute流水线技术,显著减少了内存使用,并提高了推理速度。该框架适用于需要在移动设备上部署大型模型的场景,以增强数据隐私和性能。
统一大型模型 API调用方式
支持将 openai、claude、azure openai, gemini,kimi, 智谱 AI, 通义千问,讯飞星火 API 等模型服务方的调用转为 openai 方式调用。屏蔽不同大模型 API 的差异,统一用 openai api 标准格式使用大模型。提供多种大型模型支持,包括负载均衡、路由、配置管理等功能。
开发中大规模模型系统的组织
LMSYS Org 是一个组织,旨在使大型模型及其系统基础设施的技术民主化。他们开发了 Vicuna 聊天机器人,其在 7B/13B/33B 规模下可以印象 GPT-4,实现了 90% ChatGPT 质量。同时,还提供 Chatbot Arena 以众包和 Elo 评级系统进行大规模、游戏化评估 LLMs。SGLang 提供了复杂 LLM 程序的高效接口和运行时环境。LMSYS-Chat-1M 是一个大规模真实世界 LLM 对话数据集。FastChat 是一个用于训练、提供服务和评估基于 LLM 的聊天机器人的开放平台。MT-Bench 是一个用于评估聊天机器人的一组具有挑战性、多回合、开放式问题。
© 2025 AIbase 备案号:闽ICP备08105208号-14