需求人群:
"Evidently AI的目标受众是数据科学家、ML工程师和AI产品经理。它适合他们因为提供了从开发到生产的AI质量工具包,帮助他们系统地检查、测试和监控AI产品,确保模型的稳定性和数据的质量。"
使用场景示例:
DeepL的MLOps工程师使用Evidently日常测试数据质量和监控生产数据漂移。
Wise的高级数据科学家和AI负责人使用Evidently监控生产环境中的数据分布,并将模型性能指标直接链接到训练数据。
PlushCare的高级数据工程师使用Evidently持续监控业务关键的ML模型,并在CI/CD和模型监控DAGs中直接标记模型漂移和数据质量问题。
产品特色:
LLM可观测性:评估从RAGs到AI助手的LLM驱动产品。
ML可观测性:监控生产ML模型的数据漂移、数据质量和性能。
开源:拥有超过20万次下载的开源Python库。
自定义仪表板:在部署前后清晰地查看AI产品性能,并与团队轻松共享结果。
持续测试:评估生成的输出,确保准确性、安全性和质量。
深入调试:理解个别错误,将不良完成情况转化为测试用例以持续改进应用。
预测性ML:评估预测任务的输入和输出质量,包括分类、回归、排名和推荐。
使用教程:
1. 访问Evidently AI官网并注册账户或开始免费试用。
2. 根据需要选择评估、测试或监控功能。
3. 利用Evidently的自定义仪表板和持续测试功能,对AI产品进行深入分析和评估。
4. 设计自定义的AI质量系统,使用内置的100+指标或添加自定义指标。
5. 通过Evidently的深入调试功能,理解并改进个别错误。
6. 利用数据漂移和数据质量监控功能,确保模型输入和输出的稳定性。
7. 跟踪模型性能,确保模型在部署、重新训练和更新时符合预期。
浏览量:42
最新流量情况
月访问量
240.81k
平均访问时长
00:00:46
每次访问页数
2.10
跳出率
47.13%
流量来源
直接访问
34.70%
自然搜索
54.87%
邮件
0.10%
外链引荐
7.00%
社交媒体
2.88%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
法国
3.70%
英国
5.47%
印度
7.87%
俄罗斯
3.04%
美国
29.82%
AI可观测性和机器学习监控平台
Evidently AI是一个开源的Python库,用于监控机器学习模型,支持从RAGs到AI助手的LLM驱动产品的评估。它提供了数据漂移、数据质量和生产ML模型性能的监控,拥有超过2000万的下载量和5000+的GitHub星标,是机器学习领域中一个值得信赖的监控工具。
一个统一的图像编辑模型,支持多种用户指令。
Step1X-Edit 是一种实用的通用图像编辑框架,利用 MLLMs 的图像理解能力解析编辑指令,生成编辑令牌,并通过 DiT 网络解码为图像。其重要性在于能够有效满足真实用户的编辑需求,提升了图像编辑的便捷性和灵活性。
一个简单易用的语音克隆和语音模型训练工具。
EaseVoice Trainer 是一个后端项目,旨在简化和增强语音合成与转换训练过程。该项目基于 GPT-SoVITS 进行改进,注重用户体验和系统的可维护性。其设计理念不同于原始项目,旨在提供更模块化和定制化的解决方案,适用于从小规模实验到大规模生产的多种场景。该工具可以帮助开发者和研究人员更高效地进行语音合成和转换的研究与开发。
昆仑万维开源的高性能数学代码推理模型,性能卓越
Skywork-OR1是由昆仑万维天工团队开发的高性能数学代码推理模型。该模型系列在同等参数规模下实现了业界领先的推理性能,突破了大模型在逻辑理解与复杂任务求解方面的能力瓶颈。Skywork-OR1系列包括Skywork-OR1-Math-7B、Skywork-OR1-7B-Preview和Skywork-OR1-32B-Preview三款模型,分别聚焦数学推理、通用推理和高性能推理任务。此次开源不仅涵盖模型权重,还全面开放了训练数据集和完整训练代码,所有资源均已上传至GitHub和Huggingface平台,为AI社区提供了完全可复现的实践参考。这种全方位的开源策略有助于推动整个AI社区在推理能力研究上的共同进步。
Pusa 是一个新颖的视频扩散模型,支持多种视频生成任务。
Pusa 通过帧级噪声控制引入视频扩散建模的创新方法,能够实现高质量的视频生成,适用于多种视频生成任务(文本到视频、图像到视频等)。该模型以其卓越的运动保真度和高效的训练过程,提供了一个开源的解决方案,方便用户进行视频生成任务。
一个强大的文本生成模型,适用于多种对话应用。
DeepSeek-V3-0324 是一个先进的文本生成模型,具有 685 亿参数,采用 BF16 和 F32 张量类型,能够支持高效的推理和文本生成。该模型的主要优点在于其强大的生成能力和开放源码的特性,使其可以被广泛应用于多种自然语言处理任务。该模型的定位是为开发者和研究人员提供一个强大的工具,帮助他们在文本生成领域取得突破。
一个开源文本转语音系统,致力于实现人类语音的自然化。
Orpheus TTS 是一个基于 Llama-3b 模型的开源文本转语音系统,旨在提供更加自然的人类语音合成。它具备较强的语音克隆能力和情感表达能力,适合各种实时应用场景。该产品是免费的,旨在为开发者和研究者提供便捷的语音合成工具。
为Firefox浏览器翻译功能优化的CPU加速神经机器翻译模型。
Firefox Translations Models 是由Mozilla开发的一组CPU优化的神经机器翻译模型,专为Firefox浏览器的翻译功能设计。该模型通过高效的CPU加速技术,提供快速且准确的翻译服务,支持多种语言对。其主要优点包括高性能、低延迟和对多种语言的支持。该模型是Firefox浏览器翻译功能的核心技术,为用户提供无缝的网页翻译体验。
一个专注于超大规模系统设计和优化的工具,提供高效解决方案。
The Ultra-Scale Playbook 是一个基于 Hugging Face Spaces 提供的模型工具,专注于超大规模系统的优化和设计。它利用先进的技术框架,帮助开发者和企业高效地构建和管理大规模系统。该工具的主要优点包括高度的可扩展性、优化的性能和易于集成的特性。它适用于需要处理复杂数据和大规模计算任务的场景,如人工智能、机器学习和大数据处理。产品目前以开源的形式提供,适合各种规模的企业和开发者使用。
AI语音代理测试与可观测性平台
fixa是一个专注于AI语音代理测试与可观测性的平台,旨在帮助开发者和企业快速发现并修复语音代理中的问题。通过自动化测试、生产监控和错误检测等功能,确保语音代理的稳定性和可靠性。该平台由Y Combinator资助,提供简单透明的定价策略,适合不同规模的企业使用。
一个开源AI模型微调与变现平台,助力AI初创企业、机器学习工程师和研究人员。
Bakery是一个专注于开源AI模型的微调与变现的在线平台,为AI初创企业、机器学习工程师和研究人员提供了一个便捷的工具,使他们能够轻松地对AI模型进行微调,并在市场中进行变现。该平台的主要优点在于其简单易用的界面和强大的功能,用户可以快速创建或上传数据集,微调模型设置,并在市场中进行变现。Bakery的背景信息表明,它旨在推动开源AI技术的发展,并为开发者提供更多的商业机会。虽然具体的定价信息未在页面中明确展示,但其定位是为AI领域的专业人士提供一个高效的工具。
一个用于多模型嵌入的图形库,支持多种模型和数据类型的可视化
vectrix-graphs 是一个强大的图形库,专注于多模型嵌入的可视化。它支持多种机器学习模型和数据类型,能够将复杂的数据结构以直观的图形形式展现出来。该库的主要优点在于其灵活性和扩展性,可以轻松集成到现有的数据科学工作流程中。vectrix-ai 团队开发了这个库,旨在帮助研究人员和开发者更好地理解和分析模型的嵌入结果。作为一个开源项目,它在 GitHub 上提供免费使用,适合各种规模的项目和团队。
高效的文本到音频生成模型
TangoFlux是一个高效的文本到音频(TTA)生成模型,拥有515M参数,能够在单个A40 GPU上仅用3.7秒生成长达30秒的44.1kHz音频。该模型通过提出CLAP-Ranked Preference Optimization (CRPO)框架,解决了TTA模型对齐的挑战,通过迭代生成和优化偏好数据来增强TTA对齐。TangoFlux在客观和主观基准测试中均实现了最先进的性能,并且所有代码和模型均开源,以支持TTA生成的进一步研究。
微软开源的视频分词器家族
VidTok是微软开源的一系列先进的视频分词器,它在连续和离散分词方面表现出色。VidTok在架构效率、量化技术和训练策略上都有显著的创新,提供了高效的视频处理能力,并且在多个视频质量评估指标上超越了以往的模型。VidTok的开发旨在推动视频处理和压缩技术的发展,对于视频内容的高效传输和存储具有重要意义。
开源的RAG应用日志工具
RAG-logger是一个为检索增强生成(Retrieval-Augmented Generation, RAG)应用设计的开源日志工具。它是一个轻量级的、针对RAG特定日志需求的开源替代方案,专注于为RAG应用提供全面的日志记录功能,包括查询跟踪、检索结果记录、LLM交互记录以及逐步性能监控。它采用基于JSON的日志格式,支持每日日志组织、自动文件管理和元数据丰富化。RAG-logger以其开源、轻量级和专注于RAG应用的特性,为开发者提供了一个有效的工具来监控和分析RAG应用的性能。
多模态大型语言模型,提升文本、图像和视频数据处理能力。
Valley是由字节跳动开发的多模态大型模型(MLLM),旨在处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果,远超过其他开源模型,并在OpenCompass多模态模型评估排行榜上展现了出色的性能,平均得分67.40,位列已知开源MLLMs(<10B)中的前两名。
开源图像到视频生成模型
Ruyi-Mini-7B是由CreateAI团队开发的开源图像到视频生成模型,具有约71亿参数,能够从输入图像生成360p到720p分辨率的视频帧,最长5秒。模型支持不同宽高比,并增强了运动和相机控制功能,提供更大的灵活性和创造力。该模型在Apache 2.0许可下发布,意味着用户可以自由使用和修改。
最强大的RWKV模型变体,打破多项英语基准测试。
Q-RWKV-6 32B Instruct Preview是由Recursal AI开发的最新RWKV模型变体,它在多项英语基准测试中超越了之前所有的RWKV、State Space和Liquid AI模型。这个模型通过将Qwen 32B Instruct模型的权重转换到定制的QRWKV6架构中,成功地用RWKV-V6注意力头替换了现有的Transformer注意力头,这一过程是由Recursal AI团队与RWKV和EleutherAI开源社区联合开发的。该模型的主要优点包括在大规模计算成本上的显著降低,以及对环境友好的开源AI技术。
开源多模态大型语言模型系列
InternVL 2.5是基于InternVL 2.0的高级多模态大型语言模型系列,它在保持核心模型架构的同时,在训练和测试策略以及数据质量方面引入了显著的增强。该模型深入探讨了模型扩展与性能之间的关系,系统地探索了视觉编码器、语言模型、数据集大小和测试时配置的性能趋势。通过在包括多学科推理、文档理解、多图像/视频理解、现实世界理解、多模态幻觉检测、视觉定位、多语言能力和纯语言处理在内的广泛基准测试中进行的广泛评估,InternVL 2.5展现出了与GPT-4o和Claude-3.5-Sonnet等领先商业模型相媲美的竞争力。特别是,该模型是第一个在MMMU基准测试中超过70%的开源MLLM,通过链式思考(CoT)推理实现了3.7个百分点的提升,并展示了测试时扩展的强大潜力。
自动解决软件开发问题的无代理方法
Agentless是一种无需代理的自动解决软件开发问题的方法。它通过定位、修复和补丁验证三个阶段来解决每个问题。Agentless利用分层过程定位故障到特定文件、相关类或函数,以及细粒度的编辑位置。然后,Agentless根据编辑位置采样多个候选补丁,并选择回归测试来运行,生成额外的复现测试以复现原始错误,并使用测试结果重新排名所有剩余补丁,以选择一个提交。Agentless是目前在SWE-bench lite上表现最佳的开源方法,具有82个修复(27.3%的解决率),平均每问题成本0.34美元。
高性能英文文本生成模型
OLMo-2-1124-7B-SFT是由艾伦人工智能研究所(AI2)发布的一个英文文本生成模型,它是OLMo 2 7B模型的监督微调版本,专门针对Tülu 3数据集进行了优化。Tülu 3数据集旨在提供多样化任务的顶尖性能,包括聊天、数学问题解答、GSM8K、IFEval等。该模型的主要优点包括强大的文本生成能力、多样性任务处理能力以及开源的代码和训练细节,使其成为研究和教育领域的有力工具。
腾讯开源的大型视频生成模型训练框架
HunyuanVideo是腾讯开源的一个系统性框架,用于训练大型视频生成模型。该框架通过采用数据策划、图像-视频联合模型训练和高效的基础设施等关键技术,成功训练了一个超过130亿参数的视频生成模型,是所有开源模型中最大的。HunyuanVideo在视觉质量、运动多样性、文本-视频对齐和生成稳定性方面表现出色,超越了包括Runway Gen-3、Luma 1.6在内的多个行业领先模型。通过开源代码和模型权重,HunyuanVideo旨在缩小闭源和开源视频生成模型之间的差距,推动视频生成生态系统的活跃发展。
先进的文本生成模型,支持多样化任务
Llama-3.1-Tulu-3-8B-DPO是Tülu3模型家族中的一员,专注于指令遵循,提供完全开源的数据、代码和配方,旨在作为现代后训练技术的全面指南。该模型专为聊天以外的多样化任务设计,如MATH、GSM8K和IFEval,以达到最先进的性能。模型主要优点包括开源数据和代码、支持多种任务、以及优秀的性能。产品背景信息显示,该模型由Allen AI研究所开发,遵循Llama 3.1社区许可协议,适用于研究和教育用途。
开源的GenAI应用网关,快速构建个性化的AI应用
Arch是一个开源的网关,专为处理提示(prompts)而设计,它利用快速的大型语言模型(LLMs)来处理提示,并与后端系统无缝集成。Arch基于Envoy构建,支持任何应用程序语言,并提供快速部署和透明升级。它提供了包括流量管理、前端/边缘网关、监控和端到端追踪在内的多种功能,帮助开发者构建快速、健壮和个性化的GenAI应用。
AI模型部署和推理优化的专家
Neural Magic是一家专注于AI模型优化和部署的公司,提供领先的企业级推理解决方案,以最大化性能和提高硬件效率。公司的产品支持在GPU和CPU基础设施上运行领先的开源大型语言模型(LLMs),帮助企业在云、私有数据中心或边缘环境中安全、高效地部署AI模型。Neural Magic的产品背景信息强调了其在机器学习模型优化方面的专业知识,以及与科研机构合作开发的创新LLM压缩技术,如GPTQ和SparseGPT。产品价格和定位方面,Neural Magic提供了免费试用和付费服务,旨在帮助企业降低成本、提高效率,并保持数据隐私和安全。
开源视频生成模型
genmoai/models 是一个开源的视频生成模型,代表了视频生成技术的最新进展。该模型名为 Mochi 1,是一个基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构的10亿参数扩散模型,从零开始训练,是迄今为止公开发布的最大的视频生成模型。它具有高保真运动和强提示遵循性,显著缩小了封闭和开放视频生成系统之间的差距。该模型在 Apache 2.0 许可下发布,用户可以在 Genmo 的 playground 上免费试用此模型。
轻量级推理模型,用于生成高质量图像
Stable Diffusion 3.5是一个用于简单推理的轻量级模型,它包含了文本编码器、VAE解码器和核心MM-DiT技术。该模型旨在帮助合作伙伴组织实现SD3.5,并且可以用于生成高质量的图像。它的重要性在于其高效的推理能力和对资源的低要求,使得广泛的用户群体能够使用和享受生成图像的乐趣。该模型遵循Stability AI Community License Agreement,并且可以免费使用。
开源的去蒸馏FLUX模型
LibreFLUX是一个基于Apache 2.0许可的开源版本,提供了完整的T5上下文长度,使用注意力掩码,恢复了分类器自由引导,并去除了大部分FLUX美学微调/DPO。这意味着它比基础FLUX更不美观,但有潜力更容易地微调到任何新的分布。LibreFLUX的开发秉承开源软件的核心原则,即使用困难,比专有解决方案更慢、更笨拙,并且审美停留在21世纪初。
© 2025 AIbase 备案号:闽ICP备08105208号-14