产品库

视频理解的先进模型

Goldfish 是一种为理解任意长度视频而设计的方法论。它通过高效的检索机制，首先收集与指令相关的前k个视频片段，然后提供所需的响应。这种设计使得Goldfish能够有效处理任意长的视频序列，适用于电影或电视剧等场景。为了促进检索过程，开发了MiniGPT4-Video，该模型为视频片段生成详细的描述。Goldfish在长视频基准测试中取得了41.78%的准确率，超过了之前的方法14.94%。此外，MiniGPT4-Video在短视频理解中也表现出色，分别在MSVD、MSRVTT、TGIF和TVQA短视频基准测试中超过了现有最佳方法3.23%、2.03%、16.5%和23.59%。这些结果表明，Goldfish模型在长视频和短视频理解方面都有显著改进。

长视频语言理解的时空自适应压缩模型

LongVU是一种创新的长视频语言理解模型，通过时空自适应压缩机制减少视频标记的数量，同时保留长视频中的视觉细节。这一技术的重要性在于它能够处理大量视频帧，且在有限的上下文长度内仅损失少量视觉信息，显著提升了长视频内容理解和分析的能力。LongVU在多种视频理解基准测试中均超越了现有方法，尤其是在理解长达一小时的视频任务上。此外，LongVU还能够有效地扩展到更小的模型尺寸，同时保持最先进的视频理解性能。

提升视频理解和生成的AI模型。

ShareGPT4Video系列旨在通过密集且精确的字幕来促进大型视频-语言模型(LVLMs)的视频理解以及文本到视频模型(T2VMs)的视频生成。该系列包括：1) ShareGPT4Video，40K GPT4V注释的密集视频字幕，通过精心设计的数据过滤和注释策略开发而成。2) ShareCaptioner-Video，一个高效且功能强大的任意视频字幕模型，由其注释的4.8M高质量美学视频。3) ShareGPT4Video-8B，一个简单但卓越的LVLM，其在三个先进的视频基准测试中达到了最佳性能。

超轻量级数字人模型，移动端实时运行

Ultralight-Digital-Human是一个超轻量级的数字人模型，可以在移动端实时运行。这个模型是开源的，据开发者所知，它是第一个如此轻量级的开源数字人模型。该模型的主要优点包括轻量级设计，适合移动端部署，以及实时运行的能力。它的背后是深度学习技术，特别是在人脸合成和声音模拟方面的应用，这使得数字人模型能够以较低的资源消耗实现高质量的表现。产品目前是免费的，主要面向技术爱好者和开发者。

计算机使用代理资源集合

Awesome Computer Use 是一个专注于计算机使用代理的资源集合，包括论文和博客。这个资源库正在建设中，并将不断更新。它涵盖了与计算机使用代理相关的多个方面，如模型框架、基础、代理数据和评估等。这个项目对于研究人员和开发者来说是宝贵的资源，因为它提供了最新的研究成果和技术动态。

多语言大型语言模型，支持23种语言

Aya Expanse 32B是由Cohere For AI开发的多语言大型语言模型，拥有32亿参数，专注于提供高性能的多语言支持。它结合了先进的数据仲裁、多语言偏好训练、安全调整和模型合并技术，以支持23种语言，包括阿拉伯语、中文（简体和繁体）、捷克语、荷兰语、英语、法语、德语、希腊语、希伯来语、印地语、印尼语、意大利语、日语、韩语、波斯语、波兰语、葡萄牙语、罗马尼亚语、俄语、西班牙语、土耳其语、乌克兰语和越南语。该模型的发布旨在使社区基础的研究工作更加易于获取，通过发布高性能的多语言模型权重，供全球研究人员使用。

LLMs运行代码完成计算机任务的新方式

The Open Interpreter Project 是一个创新的编程工具，它允许大型语言模型（LLMs）在用户的计算机上运行代码以完成任务。这个项目的核心优势在于能够将自然语言指令转换为实际的代码执行，从而简化编程过程并提高效率。它背后的技术是利用人工智能来理解和执行复杂的编程任务，这对于非专业程序员来说尤其有用，因为它降低了编程的门槛。目前，该项目提供免费试用，并在GitHub上拥有较高的星标数，显示了其在开发者社区中的受欢迎程度。

智能播客生成平台，一键生成音频内容

PodCastLM是一个创新的智能播客生成平台，它利用先进的人工智能技术，让用户能够快速生成个性化的音频内容。用户只需上传PDF文件，选择问题、语气、时长和语言等参数，即可生成一段高质量的音频播客。该产品背景信息强调了在快节奏的生活中，人们对于快速获取信息和娱乐内容的需求，PodCastLM通过简化音频内容的制作过程，让用户能够轻松创建和分享自己的播客。目前，PodCastLM提供免费试用，用户可以体验其强大的功能和便捷的操作。

基于纯视觉的图形用户界面代理解析器

OmniParser 是微软研究团队开发的一种用于解析用户界面截图的方法，它通过识别可交互图标和理解屏幕截图中各种元素的语义，显著提升了基于视觉的语言模型（如GPT-4V）生成准确界面操作的能力。该技术通过精细调整的检测模型和描述模型，能够解析屏幕截图中的可交互区域和提取功能语义，从而在多个基准测试中超越了基线模型。OmniParser 作为一个插件，可以与其他视觉语言模型结合使用，提升它们的性能。

全栈开源机器人

智元灵犀X1是一款开源人形机器人，具有29个关节和2个夹爪，支持扩展头部3自由度。它提供了详细的开发指南和开源代码，使开发者能够快速搭建并进行二次开发。该产品代表了智能机器人领域的先进技术，具有高度的灵活性和可扩展性，适用于教育、研究和商业开发等多种场景。

新一代的FydeOS，带来更智能的AI助手和游戏体验。

FydeOS v19 'Desolate Frontier' 是一个面向未来的操作系统，它通过集成的FydeOS AI智能助手、支持Steam的游戏体验、以及优化的Android游戏控制面板等特性，旨在提升用户的工作效率和游戏体验。此版本还引入了更快的分屏功能和改进的'Material You'设计，为用户提供了更加流畅和个性化的用户体验。FydeOS v19 致力于成为一个能够满足所有数字任务需求的突出平台，它的发展标志着FydeOS在操作系统领域的创新和进步。

共同育儿沟通的和平使者

BestInterest是一款旨在通过人工智能调解技术，帮助共同育儿的父母进行高效沟通的应用。它不需要共同育儿协议即可使用，无需法庭命令，可以即时审查所有消息以确保清晰度和以孩子为中心。BestInterest还提供了共同育儿教练，帮助父母应对共同育儿中的起伏。这款应用不仅改变了共同育儿的动态，还提供了一个平台，让父母可以远离法庭，通过和平的方式解决育儿中的冲突。

批量为图片文件生成描述性标题的工具

joy-caption-batch是一个利用Joytag Caption工具批量为图片文件生成描述性标题的编程模型。该工具目前处于Alpha阶段，它通过分析图片内容，使用人工智能技术生成相应的文字描述，帮助用户快速理解图片内容。该工具的主要优点包括批量处理能力、支持自定义图片目录以及对低显存模式的支持，使其能够在显存较低的设备上运行。此外，该工具还提供了详细的安装和使用说明，方便用户快速上手。

开源视频生成模型

genmoai/models 是一个开源的视频生成模型，代表了视频生成技术的最新进展。该模型名为 Mochi 1，是一个基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构的10亿参数扩散模型，从零开始训练，是迄今为止公开发布的最大的视频生成模型。它具有高保真运动和强提示遵循性，显著缩小了封闭和开放视频生成系统之间的差距。该模型在 Apache 2.0 许可下发布，用户可以在 Genmo 的 playground 上免费试用此模型。

智能面试问题生成器

Hiring Studio by Metaview 是一个基于大型语言模型（LLM）的智能工具，旨在帮助招聘者生成面试问题。它通过分析职位描述来定制问题，从而提高面试的效率和质量。该产品背景信息显示，它由 Metaview 公司开发，该公司专注于利用人工智能技术优化招聘流程。Hiring Studio 的主要优点包括节省时间、提高面试问题的针对性和质量，以及为用户提供一个简洁易用的界面。目前，该产品提供免费试用，但具体的定价信息未在页面中提供。

会思考的知识库，开启搜读写新体验。

ima.copilot是由腾讯混元大模型提供技术支持的智能工作台产品，它通过构建个人知识库，提供全网信源问答，帮助用户轻松获取知识，定制化回答工作学习问题，激发灵感。产品背景依托于腾讯强大的技术支持，结合人工智能技术，旨在提升用户在搜索、阅读、写作等方面的效率和体验。目前产品提供免费下载的Mac客户端，未来将推出更多版本。

一键浏览任何网页和 YouTube 的要点

MyLensAI 是一款 Chrome 浏览器扩展程序，它利用人工智能技术将网页和 YouTube 视频转换成快速、直观的摘要。用户只需一键点击，即可获取以思维导图、时间线、表格等形式呈现的关键信息点，从而节省时间、提高学习效率并专注于最重要的内容。这款插件特别适合需要快速获取信息、整理资料和进行学习的用户，无论是学生、教育工作者还是专业人士，都能从中受益。

利用简单视频输入生成富有表现力的角色表演

Act-One 是 Runway Research 推出的一款创新工具，它通过简单的视频输入生成富有表现力的角色表演。这款工具代表了使用生成模型进行表情丰富的真人动作和动画内容的重大进步。Act-One 的技术突破在于，它能够将演员的表演转化为适合动画流水线的3D模型，同时保留情感和细节。与传统的面部动画流程相比，Act-One 使用的流程完全由演员的表演驱动，无需额外设备。Act-One 的出现为创造性角色设计和动画开辟了新的可能性，它能够准确翻译表演到与原始源视频比例不同的角色上，并且能够在不同的摄像机角度下保持高保真度的面部动画。此外，Act-One 还承诺负责任的开发和部署，包括内容审核和安全预防措施。

自动生成图片的alt文本，提升SEO和网站可访问性。

Altnado 是一个利用人工智能技术为网站图片自动生成alt文本的服务。它通过简化的代码集成，帮助网站提高搜索引擎优化（SEO）效果和可访问性。Altnado 支持多种网站平台，如WordPress、Shopify等，并且提供了不同级别的定价方案，以满足不同规模网站的需求。

利用人工智能整合多模态患者数据，简化临床医生的工作流程。

CareIntellect for Oncology 是 GE HealthCare 推出的一款基于云的应用程序，它使用生成式人工智能技术汇总来自不同系统的多模态患者数据，并提供单一视图。该应用程序能够快速呈现患者的病史、疾病进展，并帮助医生确定下一步的治疗方向和主动干预措施。它通过整合结构化和非结构化数据（如医学影像、病历、笔记和设备读数），简化了复杂医疗历史的总结，支持治疗反应评估，帮助评估临床试验的资格，并跟踪治疗协议的遵守情况。该产品旨在通过减少医疗提供者在产品逐个集成上的高昂成本和耗时，提高新应用程序的采用速度。

用于双手操作的扩散基础模型

RDT-1B是一个参数量达到1B（目前最大）的模仿学习扩散变换器，预训练在超过1M（目前最大）的多机器人情节上。给定语言指令和多达三个视图的RGB图像，RDT可以预测接下来的64个机器人动作。RDT与几乎所有现代移动操作器兼容，包括单臂到双臂、关节到末端执行器、位置到速度，甚至包括轮式运动。该模型在6K+（最大的之一）自收集的双手情节上进行了微调，并部署在ALOHA双臂机器人上。它在灵巧性、零样本泛化能力和少样本学习方面达到了最先进的性能。

使用AI技术加速招聘流程的智能跟踪软件

Applicant AI是一款利用人工智能技术来加速招聘流程的申请者跟踪系统（ATS）。它通过AI筛选成千上万的申请者，帮助雇主在几秒钟内找到合适的候选人。Applicant AI不仅提高了招聘效率，还通过预筛选功能确保只有最优秀的候选人进入公司的ATS系统。此外，它完全符合欧盟关于人工智能的法规，确保了在使用过程中的合规性。Applicant AI的价格定位清晰，提供免费版本以及不同级别的付费版本，以满足不同规模企业的需求。

自动化视频内容翻译与配音

Microsoft Azure Video Translation API 是一项基于云的视频翻译服务，它利用人工智能技术自动翻译视频内容并生成配音。这项服务支持多种语言，可以帮助企业轻松本地化视频内容，以满足全球不同受众的需求。它通过提供自动化的解决方案来克服语言障碍，提高内容的全球可访问性。视频翻译API支持批量处理，允许用户上传视频文件，自动提取对话音频，进行翻译，并生成同步的字幕和配音。此外，它还提供了内容编辑功能，允许用户在最终确定配音视频之前审查和编辑翻译内容，确保准确度和文化适当性。

提升工作效率300%的人工智能员工

AiAlly AI Employee是一款革命性的人工智能员工平台，它通过模拟真实员工的思考、学习和进化能力，帮助企业实现真正的协作和生产力的大幅提升。该产品通过自主解决问题、无缝的AI团队合作、可定制的AI个性以及企业级安全措施，为企业提供了一种全新的工作方式。AiAlly AI Employee能够独立完成复杂任务，提高决策能力，并且能够与人类团队无缝协作，同时保护企业和用户数据的安全。

未来感机器人，轻松上手，玩得尽兴。

BabyAlpha Chat 是一款具有未来感的机器人模型，全身搭载12个高性能执行器，配合蔚蓝自研五层运动控制算法，使得其运动性能极其出众。最大前进速度可达每小时3.2公里，最大旋转速度可达每秒180度。BabyAlpha Chat 不仅是一个高科技玩具，也是教育和娱乐的完美结合，适合各个年龄段的用户。其价格亲民，起售价为4999元，并有特惠活动直降2000元，截止日期为11月16日。

多模态语言模型，融合文本和语音

Spirit LM是一个基础多模态语言模型，能够自由混合文本和语音。该模型基于一个7B预训练的文本语言模型，通过持续在文本和语音单元上训练来扩展到语音模式。语音和文本序列被串联为单个令牌流，并使用一个小的自动策划的语音-文本平行语料库，采用词级交错方法进行训练。Spirit LM有两个版本：基础版使用语音音素单元（HuBERT），而表达版除了音素单元外，还使用音高和风格单元来模拟表达性。对于两个版本，文本都使用子词BPE令牌进行编码。该模型不仅展现了文本模型的语义能力，还展现了语音模型的表达能力。此外，我们展示了Spirit LM能够在少量样本的情况下跨模态学习新任务（例如ASR、TTS、语音分类）。

视频生成评估基准测试

Movie Gen Bench是由Facebook Research发布的视频生成评估基准测试，旨在为未来在视频生成领域的研究提供公平且易于比较的标准。该基准测试包括Movie Gen Video Bench和Movie Gen Audio Bench两个部分，分别针对视频内容生成和音频生成进行评估。Movie Gen Bench的发布，对于推动视频生成技术的发展和评估具有重要意义，它能够帮助研究人员和开发者更好地理解和改进视频生成模型的性能。

ChatGPT的早期版本，专为Plus、团队、企业和教育用户设计。

ChatGPT是由OpenAI开发的人工智能聊天机器人，它通过使用最新的模型改进，包括访问OpenAI o1-preview，即最新和最智能的模型，为用户提供即时答案、文件和照片的聊天、多文档的总结和分析、专业建议以及创意灵感等功能。这个早期版本目前只对ChatGPT Plus、团队、企业和教育用户开放，预计今年晚些时候将向所有用户推出完整体验。

利用人工智能解决各种数学问题的先进工具

AI数学求解器是一款利用人工智能解决各种数学问题的先进工具。它由Math GPT模型（如GPT-4o）驱动，提供全面的数学问题解决方案。该产品通过在线平台提供服务，用户可以上传文本或图片形式的数学问题，快速获得准确的分步解决方案。它特别适合需要帮助解决复杂数学问题的学生，帮助他们提高解题能力和理解力。

统一产品开发流程，从策略到交付。

Airtable ProductCentral是一个产品管理平台，它通过整合端到端的工作流程来帮助团队构建更好的产品。它利用人工智能和实时数据可视化，帮助团队对齐战略优先事项，发现深度客户洞察，并全面掌控执行情况。这个平台支持无代码自定义商业应用的构建，并通过集成各种工具和数据源，如Slack、Google Drive、Salesforce等，来提高团队的工作效率和协同能力。