WebLLM

简介:

高性能浏览器内语言模型推理引擎

功能:

浏览器内推理:利用WebGPU进行硬件加速,实现浏览器内的语言模型操作。

OpenAI API兼容:无缝集成应用,支持JSON模式、函数调用、流式处理等。

模型支持:原生支持Llama、Phi、Gemma、RedPajama、Mistral、Qwen等模型。

自定义模型集成:支持MLC格式的自定义模型,提高模型部署的灵活性。

即插即用集成:通过NPM、Yarn或CDN轻松集成,提供全面示例和模块化设计。

流式处理和实时交互:支持流式聊天完成,增强聊天机器人和虚拟助手等交互应用。

Web Worker和Service Worker支持:通过将计算任务卸载到单独的工作线程或服务工作线程,优化UI性能和管理模型生命周期。

Chrome扩展支持:使用WebLLM构建基本和高级Chrome扩展,提供构建示例。

需求人群:

"目标受众为开发者、数据科学家和AI爱好者,他们需要在浏览器中快速部署和测试语言模型,或者构建基于AI的聊天服务和个人助理。WebLLM为他们提供了一个无需服务器端支持的解决方案,简化了部署过程,同时保护了用户隐私。"

浏览量:13

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图