产品库

快速生成问答数据，评估语言模型。

FiddleCube是一个专注于数据科学领域的产品，它能够快速地从用户的数据中生成问答对，帮助用户评估大型语言模型（LLMs）。它提供了准确的黄金数据集，支持多种问题类型，并能够通过度量标准来评估数据的准确性。此外，FiddleCube还提供了诊断工具，帮助用户找出并改进性能不佳的查询。

科学文献综合评估平台

ScholarQABench是一个用于测试大型语言模型（LLMs）在协助研究人员进行科学文献综合方面能力的综合评估平台。它来源于OpenScholar项目，提供了一个全面的评估框架，包括多个数据集和评估脚本，以衡量模型在不同科学领域的表现。该平台的重要性在于它能够帮助研究人员和开发者理解并提升语言模型在科学文献研究中的实用性和准确性。

专家评估界面和数据评估脚本

OpenScholar_ExpertEval是一个用于专家评估和数据评估的界面和脚本集合，旨在支持OpenScholar项目。该项目通过检索增强型语言模型合成科学文献，对模型生成的文本进行细致的人工评估。产品背景基于AllenAI的研究项目，具有重要的学术和技术价值，能够帮助研究人员和开发者更好地理解和改进语言模型。

Stability AI 生成模型是一个开源的生成模型库。

Stability AI 生成模型是一个开源的生成模型库，提供了各种生成模型的训练、推理和应用功能。该库支持各种生成模型的训练，包括基于 PyTorch Lightning 的训练，提供了丰富的配置选项和模块化的设计。用户可以使用该库进行生成模型的训练，并通过提供的模型进行推理和应用。该库还提供了示例训练配置和数据处理的功能，方便用户进行快速上手和定制。

ChatGPT 数据与分析是一个全面的资源、材料和指南目录，旨在帮助您掌握人工智能的艺术。

ChatGPT 数据与分析是一个包含资源、材料和指南的综合目录，涵盖了与 ChatGPT 相关的内容。该目录旨在帮助您提高 AI 技能。本书提供了 ChatGPT 的提示，可帮助您释放创造力，提高工作效率。提示清晰简明。本目录中的所有材料都经过精心策划，确保来源可靠和权威，为您提供高质量的信息和指导。

数据科学准备

Daetama 是领先的数据科学和面试准备平台，旨在为学生提供优质的 SQL 和数据科学相关学习资料。我们的数据科学材料由 Meta 和 Google 数据科学家精心策划，他们用相同的材料成功获得了心仪的工作。现在我们想通过提供这些高质量内容以可负担的月度订阅价格来为您提供同样的帮助。

开源数据科学公司

Posit是一家致力于为个人、团队和企业创建令人难以置信的开源工具的公司。它提供开源云和企业产品，包括RStudio IDE、Shiny、Posit Cloud等。Posit的产品能够加速数据分析和数据科学的过程，适用于不同规模的用户。Posit的产品定价灵活，适合个人用户、学术界、小型企业和大型企业。

图像数据问答工具

PlotCh.at是一款图像数据问答工具，用户可以上传包含图表、图形和可视化数据的图片，并提出问题。PlotCh.at会根据您的问题从图片生成数据表，并提供数据的额外解释。其功能强大，可帮助用户快速理解和分析图像中的数据。

长文本问答增强型检索生成模型

LongRAG是一个基于大型语言模型（LLM）的双视角、鲁棒的检索增强型生成系统范式，旨在增强对复杂长文本知识的理解和检索能力。该模型特别适用于长文本问答（LCQA），能够处理全局信息和事实细节。产品背景信息显示，LongRAG通过结合检索和生成技术，提升了对长文本问答任务的性能，特别是在需要多跳推理的场景中。该模型是开源的，可以免费使用，主要面向研究者和开发者。

数据科学和分析自动化平台

Alteryx Analytics Automation Platform是一款提供端到端分析、机器学习和数据科学流程自动化的平台，加速数字化转型。

灵活、可共享、可重复使用的生成式AI数据准备和评估工具

Unitxt是一款创新的库，专为生成式语言模型量身定制，用于定制文本数据准备和评估。Unitxt与HuggingFace和LM-eval-harness等常用库进行原生集成，并将处理流程拆分为模块化组件，实现了易定制和共享。这些组件包括模型特定格式、任务提示等全面的数据集处理定义。Unitxt-Catalog集中了这些组件，促进了现代文本数据工作流中的协作和探索。除了是一款工具，Unitxt还是一个社区驱动的平台，赋予用户协作构建、分享和推进他们的数据流水线的能力。

加速模型评估和微调的智能评估工具

SFR-Judge 是 Salesforce AI Research 推出的一系列评估模型，旨在通过人工智能技术加速大型语言模型（LLMs）的评估和微调过程。这些模型能够执行多种评估任务，包括成对比较、单项评分和二元分类，同时提供解释，避免黑箱问题。SFR-Judge 在多个基准测试中表现优异，证明了其在评估模型输出和指导微调方面的有效性。

大型视频-语言模型，提供视觉问答和视频字幕生成。

VideoLLaMA2-7B是由DAMO-NLP-SG团队开发的多模态大型语言模型，专注于视频内容的理解和生成。该模型在视觉问答和视频字幕生成方面具有显著的性能，能够处理复杂的视频内容，并生成准确、自然的语言描述。它在空间-时间建模和音频理解方面进行了优化，为视频内容的智能分析和处理提供了强大的支持。

ImagenHub:标准化条件图像生成模型的推理和评估

ImagenHub是一个一站式库,用于标准化所有条件图像生成模型的推理和评估。该项目首先定义了七个突出的任务并创建了高质量的评估数据集。其次,我们构建了一个统一的推理管道来确保公平比较。第三,我们设计了两个人工评估指标,即语义一致性和感知质量,并制定了全面的指南来评估生成的图像。我们训练专家评审员根据提出的指标来评估模型输出。该人工评估在76%的模型上实现了高的评估者间一致性。我们全面地评估了约30个模型,并观察到三个关键发现:(1)现有模型的性能普遍不令人满意,除了文本引导的图像生成和主题驱动的图像生成外,74%的模型整体得分低于0.5。(2)我们检查了已发表论文中的声明,发现83%的声明是正确的。(3)除了主题驱动的图像生成外,现有的自动评估指标都没有高于0.2的斯皮尔曼相关系数。未来,我们将继续努力评估新发布的模型,并更新排行榜以跟踪条件图像生成领域的进展。

多语言模型问答助手

Snack AI是一款多语言模型问答助手，可以同时向多个语言模型提问并获取答案。它能够帮助用户快速获取准确的信息，并提供丰富的功能和使用场景。Snack AI的定价灵活多样，适合个人用户和企业用户的不同需求。

出色的数据科学工具

MLJAR提供出色的数据科学工具和学习材料，帮助用户理解和利用他们的数据。产品功能包括自动化机器学习、将笔记本转换为交互式网络应用、使用LLMs生成Python图表、构建自己的SaaS以及服务器和网站监控。MLJAR的优势在于提供XAI能力、公平的机器学习、模型解释、公平度指标、以及快速检测异常并及时通知。定价方面，MLJAR提供了多种产品比较和决策树、随机森林、Xgboost、LightGBM、CatBoost等算法的比较。定位于数据科学工具领域。

一个AI驱动的数据科学团队，帮助用户更快地完成常见数据科学任务。

该产品是一个AI驱动的数据科学团队模型，旨在帮助用户以更快的速度完成数据科学任务。它通过一系列专业的数据科学代理（Agents），如数据清洗、特征工程、建模等，来自动化和加速数据科学工作流程。该产品的主要优点是能够显著提高数据科学工作的效率，减少人工干预，适用于需要快速处理和分析大量数据的企业和研究机构。产品目前处于Beta阶段，正在积极开发中，可能会有突破性变化。它采用MIT许可证，用户可以在GitHub上免费使用和贡献代码。

数据科学与机器学习云平台

Saturn Cloud是一个解决数据科学和机器学习所需复杂基础设施管理和扩展的云平台。它提供了使用R和Python进行数据科学的环境，支持GPU、Dask集群等功能。Saturn Cloud可以帮助数据科学家、数据科学领导者和软件工程师简化开发、部署和数据处理的流程。该产品提供不同的功能和定价计划以满足各种需求。

Ploomber Cloud是一个面向数据科学的协作平台

Ploomber Cloud是一个面向数据科学家和机器学习工程师的在线协作平台。它通过版本控制和环境管理来实现数据科学项目的可重现性,让用户能够轻松地与团队成员分享代码、数据和运行环境。主要功能包括:追踪项目迭代历史;支持Jupyter和集成开发环境,平滑数据科学工作流程;利用Docker和Kubernetes实现环境一致性;支持Notebook和脚本的运行和调度。该产品采用按量计费的订阅模式,面向需要协同工作的企业数据科学团队。

大型语言和视觉助手，实现多模态聊天和科学问答

LLaVA是一种新型的端到端训练的大型多模态模型，将视觉编码器和Vicuna相结合，实现了令人印象深刻的聊天能力，模仿多模态GPT-4的精神，并在科学问答方面取得了新的最高准确率。LLaVA的使用场景包括日常用户应用的多模态聊天和科学领域的多模态推理。LLaVA的数据、代码和检查点仅限于研究用途，并遵循CLIP、LLaMA、Vicuna和GPT-4的许可协议。

用于评估文本、对话和RAG设置的通用评估模型

Patronus GLIDER是一个经过微调的phi-3.5-mini-instruct模型，可以作为通用评估模型，根据用户定义的标准和评分规则来评判文本、对话和RAG设置。该模型使用合成数据和领域适应数据进行训练，覆盖了183个指标和685个领域，包括金融、医学等。模型支持的最大序列长度为8192个token，但经过测试可以支持更长的文本（高达12000个token）。

AI 智能问答平台

思默问答是一款多功能的人工智能在线问答系统，能够提供 AI 绘画、职场助手、企业职能、社媒写作、编程、学术教育、点评助手、效率工具、短视频等多种功能。无论您是需要生成高质量的工作报告、合同模板，还是进行英语翻译或修改，思默 AI 工具都能满足您的各种需求。

一个开源的企业级数据科学平台

Domino Data Lab是一个统一、协作、管控的端到端企业级AI平台。该平台可以在任何环境下构建、部署和管理AI模型,访问任何环境下的数据、工具、计算和项目。Domino Data Lab通过建立最佳实践、跟踪生产中的模型以及加强治理,帮助企业加速AI应用、扩大AI规模,同时确保治理并降低成本。

AI模型测试评估工具

Openlayer是一个评估工具，适用于您的开发和生产流程，帮助您自信地发布高质量的模型。它提供强大的测试、评估和可观察性，无需猜测您的提示是否足够好。支持LLMs、文本分类、表格分类、表格回归等功能。通过实时通知让您在AI模型失败时获得通知，让您自信地发布。

在线学习数据科学和 AI

DataCamp 是一个在线学习平台，提供数据科学、AI 及相关领域的课程。它提供动手实践的学习体验，包括交互式练习和短视频，涵盖了广泛的话题，包括 Python、R、SQL、ChatGPT、Power BI 等。DataCamp 还提供数据科学职业发展的认证和资源。

数据定制化服务，助力模型精准微调

Bespoke Labs专注于提供高质量的定制化数据集服务，以支持工程师进行精确的模型微调。公司由Google DeepMind的前员工Mahesh和UT Austin的Alex共同创立，旨在改善高质量数据的获取，这对于推动领域发展至关重要。Bespoke Labs提供的工具和平台，如Minicheck、Evalchemy和Curator，都是围绕数据集的创建和管理设计的，以提高数据的质量和模型的性能。

AI、机器学习和数据科学工作的最佳选择

Best AI Jobs是＃1人工智能工作板，拥有2000多个工作职位，包括人工智能软件工程师、AI开发人员、机器学习工程师等。在AI领域找到一份工作，加入未来！

Generative AI 模型评估工具

Deepmark AI 是一款用于评估大型语言模型（LLM）的基准工具，可在自己的数据上对各种任务特定指标进行评估。它与 GPT-4、Anthropic、GPT-3.5 Turbo、Cohere、AI21 等领先的生成式 AI API 进行预集成。

AI模型性能评估平台

Scale Leaderboard是一个专注于AI模型性能评估的平台，提供专家驱动的私有评估数据集，确保评估结果的公正性和无污染。该平台定期更新排行榜，包括新的数据集和模型，营造动态竞争环境。评估由经过严格审查的专家使用特定领域的方法进行，保证评估的高质量和可信度。