需求人群:
"Evidently AI的目标受众是数据科学家、ML工程师和AI产品经理。它适合他们因为提供了从开发到生产的AI质量工具包,帮助他们系统地检查、测试和监控AI产品,确保模型的稳定性和数据的质量。"
使用场景示例:
DeepL的MLOps工程师使用Evidently日常测试数据质量和监控生产数据漂移。
Wise的高级数据科学家和AI负责人使用Evidently监控生产环境中的数据分布,并将模型性能指标直接链接到训练数据。
PlushCare的高级数据工程师使用Evidently持续监控业务关键的ML模型,并在CI/CD和模型监控DAGs中直接标记模型漂移和数据质量问题。
产品特色:
LLM可观测性:评估从RAGs到AI助手的LLM驱动产品。
ML可观测性:监控生产ML模型的数据漂移、数据质量和性能。
开源:拥有超过20万次下载的开源Python库。
自定义仪表板:在部署前后清晰地查看AI产品性能,并与团队轻松共享结果。
持续测试:评估生成的输出,确保准确性、安全性和质量。
深入调试:理解个别错误,将不良完成情况转化为测试用例以持续改进应用。
预测性ML:评估预测任务的输入和输出质量,包括分类、回归、排名和推荐。
使用教程:
1. 访问Evidently AI官网并注册账户或开始免费试用。
2. 根据需要选择评估、测试或监控功能。
3. 利用Evidently的自定义仪表板和持续测试功能,对AI产品进行深入分析和评估。
4. 设计自定义的AI质量系统,使用内置的100+指标或添加自定义指标。
5. 通过Evidently的深入调试功能,理解并改进个别错误。
6. 利用数据漂移和数据质量监控功能,确保模型输入和输出的稳定性。
7. 跟踪模型性能,确保模型在部署、重新训练和更新时符合预期。
浏览量:13
最新流量情况
月访问量
121.55k
平均访问时长
00:01:10
每次访问页数
1.76
跳出率
55.02%
流量来源
直接访问
33.28%
自然搜索
56.61%
邮件
0.09%
外链引荐
7.03%
社交媒体
2.59%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
加拿大
4.39%
德国
4.94%
英国
5.92%
格鲁吉亚
6.06%
印度
12.48%
土耳其
6.41%
美国
15.83%
AI可观测性和机器学习监控平台
Evidently AI是一个开源的Python库,用于监控机器学习模型,支持从RAGs到AI助手的LLM驱动产品的评估。它提供了数据漂移、数据质量和生产ML模型性能的监控,拥有超过2000万的下载量和5000+的GitHub星标,是机器学习领域中一个值得信赖的监控工具。
世界顶尖的开源大型语言模型
Reflection Llama-3.1 70B 是目前世界上顶尖的开源大型语言模型(LLM),采用名为 Reflection-Tuning 的新技术进行训练,使模型能够检测其推理中的错误并进行修正。该模型在合成数据上进行了训练,这些数据由 Glaive 生成。对于正在训练模型的用户来说,Glaive 是一个非常出色的工具。该模型使用标准的 Llama 3.1 聊天格式,通过特殊的标签来区分模型的内部思考和最终答案,从而提升用户体验。
高效开源的大型语言模型
OLMoE-1B-7B 是一个具有1亿活跃参数和7亿总参数的专家混合型大型语言模型(LLM),于2024年9月发布。该模型在成本相似的模型中表现卓越,与更大的模型如Llama2-13B竞争。OLMoE完全开源,支持多种功能,包括文本生成、模型训练和部署等。
RWKV v6 Finch 14B,开源大模型,高效处理长文本。
RWKV v6 Finch 14B是RWKV架构的第六个版本,也是该系列中最大的模型。它通过引入数据依赖性到token shift和time-mixing中,提高了处理长文本时的效率。Finch 14B模型在处理提示时,能够更好地管理其长期记忆,从而提供更广泛的应用范围。该模型是开源的,由Linux Foundation认可,并且接受社区的GPU集群时间捐赠以支持训练。
AI即时推理解决方案,速度领先世界。
Cerebras Inference是Cerebras公司推出的AI推理平台,提供20倍于GPU的速度和1/5的成本。它利用Cerebras的高性能计算技术,为大规模语言模型、高性能计算等提供快速、高效的推理服务。该平台支持多种AI模型,包括医疗、能源、政府和金融服务等行业应用,具有开放源代码的特性,允许用户训练自己的基础模型或微调开源模型。
2D游戏动画生成模型
godmodeanimation是一个开源的2D游戏动画生成模型,它通过训练文本到视频和图像到视频的模型来生成2D游戏动画。开发者使用了公共游戏动画数据和3D mixamo模型渲染动画来训练动画生成模型,并开源了模型、训练数据、训练代码和数据生成代码。
开发者日志监控与调试的开源平台
Helicone AI是一个为开发者设计的开源平台,专注于日志记录、监控和调试。它具备毫秒级延迟影响、100%日志覆盖率和行业领先的查询时间,是为生产级工作负载设计的。平台通过Cloudflare Workers实现低延迟和高可靠性,并支持风险无忧的实验,无需安装SDK,仅需添加头部信息即可访问所有功能。
9天内预训练的紧凑型大型语言模型
1.5-Pints是一个开源的紧凑型大型语言模型(LLM),它在9天内使用高质量数据进行预训练,旨在成为与Apple OpenELM和Microsoft Phi相当的AI助手。该模型的代码库和架构公开,以促进模型的复制、实验和进一步的开源开发。
开源监控工具,提升LLM应用性能。
Langtrace是一个开源的可观测性工具,用于收集和分析追踪和指标,帮助提升大型语言模型(LLM)应用的性能。它支持OpenTelemetry标准追踪,可自我托管,避免供应商锁定。Langtrace提供端到端的可观测性,帮助用户全面了解整个机器学习流程,包括RAG或微调模型。此外,Langtrace还支持建立反馈循环,通过追踪的LLM交互创建黄金数据集,不断测试和增强AI应用。
一个正在训练中的开源语言模型,具备“听力”能力。
llama3-s是一个开放的、正在进行中的研究实验,旨在将基于文本的大型语言模型(LLM)扩展到具有原生“听力”能力。该项目使用Meta的Chameleon论文启发的技术,专注于令牌传递性,将声音令牌扩展到LLM的词汇表中,未来可能扩展到各种输入类型。作为一个开源科学实验,代码库和数据集都是公开的。
300行代码实现基于LLM的语音转录。
WeST是一个开源的语音识别转录模型,以300行代码的简洁形式,基于大型语言模型(LLM)实现语音到文本的转换。它由一个大型语言模型、一个语音编码器和一个投影器组成,其中仅投影器部分可训练。WeST的开发灵感来源于SLAM-ASR和LLaMA 3.1,旨在通过简化的代码实现高效的语音识别功能。
开源AI搜索引擎,提供网络搜索能力。
OpenPerPlex是一个开源AI搜索引擎,利用尖端技术提供网络搜索功能。它结合了语义分块、结果重排、谷歌搜索集成以及Groq作为推理引擎等技术,支持Llama 3 70B模型,以提高搜索的准确性和效率。
开源框架,支持数据驱动的自适应语言代理。
aiwaves-cn/agents 是一个开源框架,专注于数据驱动的自适应语言代理。它提供了一种系统化框架,通过符号学习训练语言代理,灵感来源于用于训练神经网络的连接主义学习过程。该框架实现了反向传播和基于梯度的权重更新,使用基于语言的损失、梯度和权重,支持多代理系统的优化。
高效准确的气候模拟模型
NeuralGCM是由谷歌研究团队开发的气候模型,与传统基于物理的气候模型相比,它结合了机器学习技术,提高了模拟的准确性和效率。NeuralGCM能够生成2至15天的天气预测,其准确性超过了当前的黄金标准物理模型,并且在重现过去40年的温度数据方面比传统大气模型更为准确。尽管NeuralGCM尚未构建为完整的气候模型,但它标志着开发更强大、更易用气候模型的重要一步。
探索大脑智能的AI项目
Thousand Brains Project是由Jeff Hawkins和Numenta公司发起,旨在通过理解大脑新皮层的工作原理来开发新型的人工智能系统。该项目基于Thousand Brains Theory of Intelligence,提出了与传统AI系统根本不同的大脑工作原理。项目的目标是构建一种高效且强大的智能系统,能够实现人类所具备的智能能力。Numenta公司开放了其研究资源,包括会议记录、代码开源,并建立了一个围绕其算法的大型社区。该项目得到了盖茨基金会等的资金支持,并鼓励全球研究人员参与或加入这一激动人心的项目。
提升市场搜索、推荐和原生广告的排名
Promoted是一个专注于市场搜索、推荐和原生广告排名的解决方案,通过先进的机器学习技术和大型语言模型搜索相关性AI技术,显著提升转化率和广告质量。它为市场平台提供了统一的搜索、推荐和广告服务,帮助企业实现更好的匹配和更高的收益。
开源字幕生成工具,实现内容无缝翻译。
subtitle是一个开源的字幕生成工具,利用先进的机器学习技术,为用户提供准确且自然的声音字幕。它支持多种语言,易于集成到现有的工作流程中,并允许用户在自己的服务器上自托管,增强控制权和隐私保护。
开源向量数据库,适用于开发者构建通用AI应用。
Milvus是一个为开发者设计的开源向量数据库,专门用于大规模高维向量的相似性搜索。它支持pip安装,可以与流行的AI开发工具一起使用,并且能够扩展到数十亿个向量。Milvus以其高效的向量相似性搜索能力,帮助开发者构建强大且可扩展的图像检索系统,无论是管理个人照片库还是开发商业图像搜索应用程序,Milvus都提供了一个强大的基础,帮助开发者发掘图像集合中的潜在价值。
先进的AI检索器,用于RAG。
DenserRetriever是一个开源的AI检索模型,专为RAG(Retrieval-Augmented Generation)设计,利用社区协作的力量,采用XGBoost机器学习技术有效结合异构检索器,旨在满足大型企业的需求,并且易于部署,支持docker快速启动。它在MTEB检索基准测试中达到了最先进的准确性,并且Hugging Face排行榜上也有其身影。
专为LLM和RAG应用设计的高效网络爬虫
HyperCrawl是第一个为LLM(大型语言模型)和RAG(检索增强生成模型)应用设计的网络爬虫,旨在开发强大的检索引擎。它通过引入多种先进方法,显著减少了域名的爬取时间,提高了检索过程的效率。HyperCrawl是HyperLLM的一部分,致力于构建未来LLM的基础设施,这些模型需要更少的计算资源,并且性能超越现有的任何模型。
多语言AI模型,支持101种语言。
Aya是由Cohere For AI领导的全球性倡议,涉及119个国家的3000多名独立研究人员。Aya是一个尖端模型和数据集,通过开放科学推进101种语言的多语言AI。Aya模型能够理解并按照101种语言的指令执行任务,是迄今为止最大的开放科学机器学习项目之一,重新定义了研究领域,通过与全球独立研究人员合作,实现了完全开源的数据集和模型。
一个完全开源的大型语言模型,提供先进的自然语言处理能力。
MAP-NEO是一个完全开源的大型语言模型,它包括预训练数据、数据处理管道(Matrix)、预训练脚本和对齐代码。该模型从零开始训练,使用了4.5T的英文和中文token,展现出与LLaMA2 7B相当的性能。MAP-NEO在推理、数学和编码等具有挑战性的任务中表现出色,超越了同等规模的模型。为了研究目的,我们致力于实现LLM训练过程的完全透明度,因此我们全面发布了MAP-NEO,包括最终和中间检查点、自训练的分词器、预训练语料库以及高效稳定的优化预训练代码库。
一个多功能且强大的SDXL-ControlNet模型,适用于各种线条艺术的调节。
MistoLine是一个SDXL-ControlNet模型,能够适应任何类型的线条艺术输入,展示出高精度和出色的稳定性。它基于用户提供的线条艺术生成高质量图像,适用于手绘草图、不同ControlNet线条预处理器和模型生成的轮廓。MistoLine通过采用新颖的线条预处理算法(Anyline)和基于stabilityai/stable-diffusion-xl-base-1.0的Unet模型的重新训练,以及在大型模型训练工程中的创新,展现出在复杂场景下超越现有ControlNet模型的细节恢复、提示对齐和稳定性的优越性能。
开源基础模型,用于代码智能任务,支持116种编程语言。
Granite Code Models 是 IBM 开发的一系列开源基础模型,专为代码生成任务设计,如修复错误、解释代码、文档化代码等。这些模型在多种编程语言上进行了训练,并在不同的代码相关任务上达到了最先进的性能。主要优点包括全面的性能、企业级的信任度以及遵循 IBM 的 AI 伦理原则进行训练。
用于评估其他语言模型的开源工具集
Prometheus-Eval 是一个用于评估大型语言模型(LLM)在生成任务中表现的开源工具集。它提供了一个简单的接口,使用 Prometheus 模型来评估指令和响应对。Prometheus 2 模型支持直接评估(绝对评分)和成对排名(相对评分),能够模拟人类判断和专有的基于语言模型的评估,解决了公平性、可控性和可负担性的问题。
开源框架,用于构建模块化的生产级应用程序。
Cognita 是一个开源框架,用于组织 RAG(Retrieval Augmented Generation)代码库,并提供一个前端界面,以便在不同的 RAG 定制中进行实验。它提供了一种简单的方法来组织代码库,使得在本地测试变得容易,同时也能够部署到生产环境中。Cognita 使用 Langchain/Llamaindex 作为底层技术,并提供了一个组织结构,使得每个 RAG 组件都是模块化的、API 驱动的,并且易于扩展。
一款面向高质量长视频生成的实验性框架,具有扩展序列长度和增强动态特性。
Mira(Mini-Sora)是一个实验性的项目,旨在探索高质量、长时视频生成领域,特别是在模仿Sora风格的视频生成方面。它在现有文本到视频(T2V)生成框架的基础上,通过以下几个关键方面实现突破:扩展序列长度、增强动态特性以及保持3D一致性。目前,Mira项目处于实验阶段,与Sora等更高级的视频生成技术相比,仍有提升空间。
一个开源的AI驱动搜索引擎,提供深入网络的答案。
Perplexica是一个开源的AI驱动搜索引擎,它不仅搜索网络,还理解您的问题。它使用先进的机器学习算法,如相似性搜索和嵌入,来优化结果,并提供引用来源的清晰答案。使用SearxNG保持最新和完全开源,确保您始终获得最新信息,同时不损害您的隐私。
© 2024 AIbase 备案号:闽ICP备08105208号-14