产品库

基于Transformer的实时开放世界AI模型

Oasis是由Decart AI开发的首个可玩、实时、开放世界的AI模型，它是一个互动视频游戏，由Transformer端到端生成，基于逐帧生成。Oasis能够接收用户键盘和鼠标输入，实时生成游戏玩法，内部模拟物理、游戏规则和图形。该模型通过直接观察游戏玩法学习，允许用户移动、跳跃、拾取物品、破坏方块等。Oasis被视为研究更复杂交互世界的基础模型的第一步，未来可能取代传统的游戏引擎。Oasis的实现需要模型架构的改进和模型推理技术的突破，以实现用户与模型的实时交互。Decart AI采用了最新的扩散训练和Transformer模型方法，并结合了大型语言模型（LLMs）来训练一个自回归模型，该模型可以根据用户即时动作生成视频。此外，Decart AI还开发了专有的推理框架，以提供NVIDIA H100 Tensor Core GPU的峰值利用率，并支持Etched即将推出的Sohu芯片。

深入理解Transformer模型的可视化工具

Transformer Explainer是一个致力于帮助用户深入理解Transformer模型的在线可视化工具。它通过图形化的方式展示了Transformer模型的各个组件，包括自注意力机制、前馈网络等，让用户能够直观地看到数据在模型中的流动和处理过程。该工具对于教育和研究领域具有重要意义，可以帮助学生和研究人员更好地理解自然语言处理领域的先进技术。

基于 Transformer 的图像识别模型

Google Vision Transformer 是一款基于 Transformer 编码器的图像识别模型，使用大规模图像数据进行预训练，可用于图像分类等任务。该模型在 ImageNet-21k 数据集上进行了预训练，并在 ImageNet 数据集上进行了微调，具备良好的图像特征提取能力。该模型通过将图像切分为固定大小的图像块，并线性嵌入这些图像块来处理图像数据。同时，模型在输入序列前添加了位置编码，以便在 Transformer 编码器中处理序列数据。用户可以通过在预训练的编码器之上添加线性层进行图像分类等任务。Google Vision Transformer 的优势在于其强大的图像特征学习能力和广泛的适用性。该模型免费提供使用。

在线创建AI虚拟形象视频，实时互动。

HeyGen Interactive Avatar是一个在线AI视频生成器，专注于创建和优化虚拟形象视频，支持实时互动。它允许用户创建一个为连续流媒体优化的虚拟形象，同时提醒用户保持头部和手部的最小动作。HeyGen的背景信息包括与Baron David和Ryan Hoover等知名人士的合作，产品目前处于Beta测试阶段，提供免费试用。

从单一视频创建实时互动游戏环境

Video2Game是一项技术，可以将单一视频转换成具有实时、互动、真实感和浏览器兼容性的高质量虚拟环境。它通过构建大规模的NeRF模型来实现高质量的表面几何形状，然后将该模型转换为带有对应刚体动力学的网格表示，以支持交互。使用UV映射的神经纹理，既能表达丰富，又与游戏引擎兼容。最终得到的是一个虚拟环境，虚拟角色可以与之互动，响应用户控制，并能从新的相机视角实时提供高分辨率渲染。

构建可实时互动的AI角色

Character SDK是一个能够创建AI角色的平台，这些角色可以实时听、说、看，甚至采取行动。它通过实时语音和视觉识别、高级OCR处理、多语言交流、自适应推理和基于意图的任务自动化等技术，帮助企业提高效率，减少成本，并提供个性化的用户体验。

手机APP，与AI互动玩乐

AI玩物是一款手机APP，让用户可以与AI进行互动和玩乐。通过AI技术，用户可以在手机上体验各种有趣的功能和游戏。AI玩物提供多种功能，包括图像处理、语音识别、自然语言处理等，让用户可以与AI进行对话、玩游戏、合成照片等。AI玩物的优势在于其智能化的AI算法和丰富多样的互动方式。该产品定价合理且灵活，用户可以根据自己的需求选择适合的功能和使用方式。AI玩物定位为一款趣味性强的移动应用，旨在为用户带来愉快的AI互动体验。

与Tyler1一起在《英雄联盟》中获得专业级实时指导

Backseat AI是由Tyler1联合创立的应用程序，它通过先进的AI技术为《英雄联盟》玩家提供实时的指导、洞察和评论。它旨在通过专业级的游戏分析帮助玩家提高游戏表现，同时保持电脑性能不受影响。Backseat AI是免费的，玩家可以选择升级到高级订阅以获得无广告体验和额外功能。

实时AI字幕

Akkadu是一款可在视频、网络研讨会、视频会议等中提供实时AI字幕的桌面客户端。支持90+种语言翻译，适用于任何视频或音频格式，并兼容YouTube Live、Facebook Live、Zoom、Teams、Netflix等平台。

解释视频Transformer决策过程的概念发现

这篇论文研究了视频Transformer表示的概念解释问题。具体而言，我们试图解释基于高级时空概念的视频Transformer的决策过程，这些概念是自动发现的。以往关于基于概念的可解释性的研究仅集中在图像级任务上。相比之下，视频模型处理了额外的时间维度，增加了复杂性，并在识别随时间变化的动态概念方面提出了挑战。在这项工作中，我们通过引入第一个视频Transformer概念发现（VTCD）算法系统地解决了这些挑战。为此，我们提出了一种有效的无监督视频Transformer表示单元（概念）识别方法，并对它们在模型输出中的重要性进行排名。所得的概念具有很高的可解释性，揭示了非结构化视频模型中的时空推理机制和以对象为中心的表示。通过在多样的监督和自监督表示上联合进行这种分析，我们发现其中一些机制在视频Transformer中是普遍的。最后，我们证明VTCD可以用于改善精细任务的模型性能。

大规模训练 Transformer 模型的持续研究

Megatron-LM 是由 NVIDIA 应用深度学习研究团队开发的一种强大的大规模 Transformer 模型。该产品用于大规模训练 Transformer 语言模型的持续研究。我们使用混合精度，高效的模型并行和数据并行，以及多节点的 Transformer 模型（如 GPT、BERT 和 T5）的预训练。

您的贴身翻译助手，实现高速高精度翻译。

Felo实时翻译是一款应用最新AI技术，提供实时语音翻译服务的应用程序。它通过GPT技术实现高速和高精度的翻译，支持实时转录语音并识别语种，将语音转录为文字并翻译成多种语言，满足国际交流的需求。产品具有朗读支持、语音转录、本地保存和多语言支持等功能，为用户提供了便捷高效的翻译体验。

实现增强物体跟踪的Transformer模型

CoTracker是一个基于Transformer的模型,可以在视频序列中联合跟踪稠密点。它与大多数现有的状态最先进的方法不同,后者独立跟踪点,而忽略了它们之间的相关性。我们展示了联合跟踪可以显著提高跟踪精度和鲁棒性。我们还提供了若干技术创新,包括虚拟轨迹的概念,这使CoTracker可以联合跟踪7万个点。此外,CoTracker因果地操作在短时间窗口上(因此适合在线任务),但通过在更长的视频序列上展开窗口进行训练,这使并显著改进了长期跟踪。我们展示了定性印象深刻的跟踪结果,其中点甚至在遮挡或离开视野时也可以跟踪很长时间。从定量上看,CoTracker在标准基准测试上优于所有最近的跟踪器,通常优势显著。

实时AI创意设计工具

AI Real Time Design是世界上第一个可控实时设计工具，确保您对布局的一致和精准控制。无论您进行怎样的调整和转换，您的想法都会立刻变为现实。通过我们的快速生成功能，获得即时的设计迭代，加速您的创意和团队协作过程。

基于Transformer实现的ViTPose模型集合

ViTPose是一系列基于Transformer架构的人体姿态估计模型。它利用Transformer的强大特征提取能力，为人体姿态估计任务提供了简单而有效的基线。ViTPose模型在多个数据集上表现出色，具有较高的准确性和效率。该模型由悉尼大学社区维护和更新，提供了多种不同规模的版本，以满足不同应用场景的需求。在Hugging Face平台上，ViTPose模型以开源的形式供用户使用，用户可以方便地下载和部署这些模型，进行人体姿态估计相关的研究和应用开发。

基于Transformer的通用领域文本到图像生成

CogView是一个用于通用领域文本到图像生成的预训练Transformer模型。该模型包含410亿参数,能够生成高质量、多样化的图像。模型的训练思路采用抽象到具体的方式,先 pretrain 获得通用知识,然后 finetune 在特定域生成图像,能显著提升生成质量。值得一提的是,论文还提出了两种帮助大模型稳定训练的技巧:PB-relax 和 Sandwich-LN。

个性化全球AI互动平台

eSelf AI是一个提供个性化全球AI互动的平台，它通过实时AI参与来增强品牌影响力，支持多语言交流，并创造独特的、逼真的体验。该产品的主要优点包括轻松扩展、多语言连接和个性化全球覆盖。eSelf AI的背景信息显示，它旨在通过AI技术帮助企业实现更高效的客户互动和市场扩张。关于价格和定位，页面上没有提供具体信息，可能需要进一步联系销售团队获取。

Transformer Debugger是由OpenAI的Superalignment团队开发的用于调查小型语言模型特定行为的工具

Transformer Debugger结合了自动化可解释性和稀疏自编码器技术，支持在编写代码之前进行快速探索，并能够在前向传递中进行干预，以观察其如何影响特定行为。它通过识别对行为有贡献的特定组件（神经元、注意力头、自编码器潜在表示），展示自动生成的解释来说明这些组件为何强烈激活，并追踪组件间的连接以帮助发现电路。

基于Transformer的文本到音乐生成模型

MusiConGen是一个基于Transformer的文本到音乐生成模型，它通过时间条件增强对节奏和和弦的控制。该模型从预训练的MusicGen-melody框架中微调而来。它使用符号表示的和弦和节奏控制，并结合五种不同风格的文本描述来生成样本。生成样本的和弦通过BTC和弦识别模型进行估计，如论文中所述。

神经模型驱动的实时游戏引擎

GameNGen是一个完全由神经模型驱动的游戏引擎，能够实现与复杂环境的实时互动，并在长时间轨迹上保持高质量。它能够以每秒超过20帧的速度交互式模拟经典游戏《DOOM》，并且其下一帧预测的PSNR达到29.4，与有损JPEG压缩相当。人类评估者在区分游戏片段和模拟片段方面仅略优于随机机会。GameNGen通过两个阶段的训练：(1)一个RL-agent学习玩游戏并记录训练会话的动作和观察结果，成为生成模型的训练数据；(2)一个扩散模型被训练来预测下一帧，条件是过去的动作和观察序列。条件增强允许在长时间轨迹上稳定自回归生成。

增强播客互动，洞察收益机会

Botcast AI是一款强大的播客-to-聊天机器人AI软件，可以增强听众参与度，洞察听众兴趣，并解锁新的变现机会。它与主流托管服务和目录兼容，提供与听众的互动问答，自动生成节目摘要和引用，以及提供广告个性化定制和分析功能。

ChatGPT与Youtube的互动AI对话

Chat With Youtube是一个能够与YouTube视频进行互动AI对话的平台。用户只需粘贴YouTube视频链接即可开始与AI驱动的对话。该产品具有以下功能：1.与任何YouTube视频进行对话；2.智能分析视频内容；3.保存聊天记录；4.多种产品使用示例。Chat With Youtube适用于各种使用场景，包括学习、娱乐等。产品定价和定位请参考官方网站。

体验智能 AI 聊天互动乐趣

筑梦岛是一款功能强大的 AI 聊天机器人和智能对话工具，具有有趣的开放剧情和逼真的 AI 聊天功能。无论是日常闲聊或语音聊天，都能满足用户的需求。用户可以自由互动、参与群聊、体验修罗场、建造梦屋等多种功能，还可以创建专属梦中人并与之互动。产品定位于提供沉浸式虚拟互动体验。

儿童友好AI应用 - 安全、互动、教育

Twixie是一款儿童友好的AI应用，提供安全、有趣、教育性的体验。通过简单的游戏和互动聊天，孩子们可以轻松理解人工智能的概念。Twixie还可以帮助孩子们发挥想象力，与独特的AI创造物进行互动，培养创造力、好奇心和未来所需的技能。

实时AI代理，将音频视频直接集成至视频会议。

Recall.ai Output Media是一个创新的AI技术，它允许用户将任何基于Web的AI应用实时集成到视频会议中。这项技术通过渲染超低延迟的音频和视频，并通过机器人将其流式传输到视频会议中，极大地扩展了AI在会议场景中的应用。Recall.ai的这项技术不仅提高了会议的互动性，还为各种行业提供了构建实时、互动AI代理的可能性，如销售代理、教练、招聘人员、项目经理等。

一键生成互动测验的Quizizz AI Chrome插件

通过Quizizz AI Chrome插件，从任何网站一键生成互动测验和问题。无论是浏览新闻、探索维基百科还是观看YouTube视频，该插件让您轻松从任何内容中生成互动测验。您可以从任何公开可访问的网站、链接、新闻文章、教育内容或YouTube视频中生成内容。使用该插件，您可以轻松地创建形式评估、复习、练习、入口和出口凭证以及其他重要的学习活动，省去繁琐的测验创建步骤。

为 Diffusion Transformer 提供高效灵活的控制框架。

EasyControl 是一个为 Diffusion Transformer（扩散变换器）提供高效灵活控制的框架，旨在解决当前 DiT 生态系统中存在的效率瓶颈和模型适应性不足等问题。其主要优点包括：支持多种条件组合、提高生成灵活性和推理效率。该产品是基于最新研究成果开发的，适合在图像生成、风格转换等领域使用。

实时对话智能软件

Colibri.ai是一款实时对话智能软件，帮助您改进每个销售电话，以可行的对话智能、AI触发的实时提示卡和数据驱动的指导，赢得更多交易。它提供自动会议摘要、强大的通话分析、实时AI指导和辅导，提高销售效率，更快地赢得交易。

将手机变成一次性相机，实现与朋友实时共享照片。

Clik 是一款专为活动照片分享设计的应用程序，它将手机转变为数字一次性相机，允许用户在无需下载完整应用的情况下，与朋友实时共享照片。该应用通过AI技术，帮助用户快速找到自己参与的照片，并通过应用内链接和定制QR码简化了现实生活中的分享过程。Clik 适合各种社交场合，如聚会、婚礼等，帮助用户捕捉和保存美好记忆。

AI生成互动故事，培养孩子阅读兴趣

Whimsy是一款使用GPT-4等AI模型生成互动故事的应用，旨在培养孩子的阅读兴趣。用户可以根据孩子的兴趣和阅读水平，获取个性化的故事，让孩子在阅读中获得乐趣。Whimsy免费提供服务，未来还会推出更多功能并提供付费服务。