需求人群:
"SEED-Story的目标受众主要是人工智能研究人员、数据科学家、创意产业专业人士以及对人工智能创作感兴趣的开发者。该模型能够帮助他们探索和实现创意写作和视觉艺术的新形式,提供一种全新的内容生成方式。"
使用场景示例:
使用SEED-Story生成基于特定历史事件的多模态故事。
结合用户上传的图片,生成个性化的儿童故事书。
为电影或游戏创作提供初始的故事概念和视觉设计。
产品特色:
生成多模态长篇故事:结合文本和图片生成连贯的故事。
基于用户输入的图片和文本:作为故事的起点。
支持最多25个多模态序列的故事生成:尽管训练时最多使用10个序列。
图像风格和角色一致性:确保生成的图片在风格和角色上与故事文本一致。
大规模数据集StoryStream:为训练和基准测试多模态故事生成而设计。
模型权重和训练代码的发布:提供预训练的Tokenizer、De-Tokenizer和基础模型SEED-X。
支持指令调整:通过指令调整进一步优化模型性能。
使用教程:
1. 克隆SEED-Story仓库到本地环境。
2. 安装依赖包,根据requirements.txt配置Python环境。
3. 下载并准备StoryStream数据集,用于训练和测试。
4. 使用提供的脚本进行数据集的分块处理,以提高训练效率。
5. 下载并保存预训练的模型权重到指定文件夹。
6. 运行inference脚本进行多模态故事生成。
7. 利用可视化脚本展示生成的故事和多模态注意力。
8. 通过GPT4 API进行生成结果的评估。
浏览量:37
最新流量情况
月访问量
4.89m
平均访问时长
00:06:37
每次访问页数
5.70
跳出率
37.28%
流量来源
直接访问
52.59%
自然搜索
32.74%
邮件
0.05%
外链引荐
12.33%
社交媒体
2.17%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
12.61%
德国
3.57%
印度
9.68%
俄罗斯
4.81%
美国
18.94%
多模态长篇故事生成模型
SEED-Story是一个基于大型语言模型(MLLM)的多模态长篇故事生成模型,能够根据用户提供的图片和文本生成丰富、连贯的叙事文本和风格一致的图片。它代表了人工智能在创意写作和视觉艺术领域的前沿技术,具有生成高质量、多模态故事内容的能力,为创意产业提供了新的可能性。
统一文本、音乐和动作生成模型
UniMuMo是一个多模态模型,能够将任意文本、音乐和动作数据作为输入条件,生成跨所有三种模态的输出。该模型通过将音乐、动作和文本转换为基于令牌的表示,通过统一的编码器-解码器转换器架构桥接这些模态。它通过微调现有的单模态预训练模型,显著降低了计算需求。UniMuMo在音乐、动作和文本模态的所有单向生成基准测试中都取得了有竞争力的结果。
情商智商俱佳的多模态大模型
西湖大模型是心辰智能云推出的一款具有高情商和智商的多模态大模型,它能够处理包括文本、图像、声音等多种数据类型,为用户提供智能对话、写作、绘画、语音等AI服务。该模型通过先进的人工智能算法,能够理解和生成自然语言,适用于多种场景,如心理咨询、内容创作、客户服务等,具有高度的定制性和灵活性。西湖大模型的推出,标志着心辰智能云在AI领域的技术实力和创新能力,为用户提供了更加丰富和高效的智能服务体验。
实时更新的多模态模型性能排行榜
OpenCompass多模态排行榜是一个实时更新的平台,用于评估和排名不同的多模态模型(VLMs)。它通过8个多模态基准测试来计算模型的平均得分,并提供详细的性能数据。该平台仅包含开源的VLMs或公开可用的APIs,旨在帮助研究人员和开发者了解当前多模态模型的最新进展和性能表现。
多语言大型语言模型,支持23种语言
Aya Expanse 32B是由Cohere For AI开发的多语言大型语言模型,拥有32亿参数,专注于提供高性能的多语言支持。它结合了先进的数据仲裁、多语言偏好训练、安全调整和模型合并技术,以支持23种语言,包括阿拉伯语、中文(简体和繁体)、捷克语、荷兰语、英语、法语、德语、希腊语、希伯来语、印地语、印尼语、意大利语、日语、韩语、波斯语、波兰语、葡萄牙语、罗马尼亚语、俄语、西班牙语、土耳其语、乌克兰语和越南语。该模型的发布旨在使社区基础的研究工作更加易于获取,通过发布高性能的多语言模型权重,供全球研究人员使用。
长视频语言理解的时空自适应压缩模型
LongVU是一种创新的长视频语言理解模型,通过时空自适应压缩机制减少视频标记的数量,同时保留长视频中的视觉细节。这一技术的重要性在于它能够处理大量视频帧,且在有限的上下文长度内仅损失少量视觉信息,显著提升了长视频内容理解和分析的能力。LongVU在多种视频理解基准测试中均超越了现有方法,尤其是在理解长达一小时的视频任务上。此外,LongVU还能够有效地扩展到更小的模型尺寸,同时保持最先进的视频理解性能。
开源视频生成模型
genmoai/models 是一个开源的视频生成模型,代表了视频生成技术的最新进展。该模型名为 Mochi 1,是一个基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构的10亿参数扩散模型,从零开始训练,是迄今为止公开发布的最大的视频生成模型。它具有高保真运动和强提示遵循性,显著缩小了封闭和开放视频生成系统之间的差距。该模型在 Apache 2.0 许可下发布,用户可以在 Genmo 的 playground 上免费试用此模型。
利用简单视频输入生成富有表现力的角色表演
Act-One 是 Runway Research 推出的一款创新工具,它通过简单的视频输入生成富有表现力的角色表演。这款工具代表了使用生成模型进行表情丰富的真人动作和动画内容的重大进步。Act-One 的技术突破在于,它能够将演员的表演转化为适合动画流水线的3D模型,同时保留情感和细节。与传统的面部动画流程相比,Act-One 使用的流程完全由演员的表演驱动,无需额外设备。Act-One 的出现为创造性角色设计和动画开辟了新的可能性,它能够准确翻译表演到与原始源视频比例不同的角色上,并且能够在不同的摄像机角度下保持高保真度的面部动画。此外,Act-One 还承诺负责任的开发和部署,包括内容审核和安全预防措施。
用于双手操作的扩散基础模型
RDT-1B是一个参数量达到1B(目前最大)的模仿学习扩散变换器,预训练在超过1M(目前最大)的多机器人情节上。给定语言指令和多达三个视图的RGB图像,RDT可以预测接下来的64个机器人动作。RDT与几乎所有现代移动操作器兼容,包括单臂到双臂、关节到末端执行器、位置到速度,甚至包括轮式运动。该模型在6K+(最大的之一)自收集的双手情节上进行了微调,并部署在ALOHA双臂机器人上。它在灵巧性、零样本泛化能力和少样本学习方面达到了最先进的性能。
多模态语言模型,融合文本和语音
Spirit LM是一个基础多模态语言模型,能够自由混合文本和语音。该模型基于一个7B预训练的文本语言模型,通过持续在文本和语音单元上训练来扩展到语音模式。语音和文本序列被串联为单个令牌流,并使用一个小的自动策划的语音-文本平行语料库,采用词级交错方法进行训练。Spirit LM有两个版本:基础版使用语音音素单元(HuBERT),而表达版除了音素单元外,还使用音高和风格单元来模拟表达性。对于两个版本,文本都使用子词BPE令牌进行编码。该模型不仅展现了文本模型的语义能力,还展现了语音模型的表达能力。此外,我们展示了Spirit LM能够在少量样本的情况下跨模态学习新任务(例如ASR、TTS、语音分类)。
视频生成评估基准测试
Movie Gen Bench是由Facebook Research发布的视频生成评估基准测试,旨在为未来在视频生成领域的研究提供公平且易于比较的标准。该基准测试包括Movie Gen Video Bench和Movie Gen Audio Bench两个部分,分别针对视频内容生成和音频生成进行评估。Movie Gen Bench的发布,对于推动视频生成技术的发展和评估具有重要意义,它能够帮助研究人员和开发者更好地理解和改进视频生成模型的性能。
AI进阶学习路径的个人学习笔记库
ml-retreat 是一个关于人工智能进阶学习的个人学习笔记库。它包含了对机器学习基础的深入理解,以及对于更细微主题的必读/必看资源。这个项目的目标是学习Ilya Sutskever推荐的30篇必读研究论文、Distilled AI的博客、多个AI/ML的视频播放列表,以及深入理解/实现Transformers、LLMs和相关主题。
先进的通用机器人代理
GR-2是一个先进的通用机器人代理,专为多样化和可泛化的机器人操作而设计。它首先在大量互联网视频上进行预训练,以捕捉世界的动态。这种大规模预训练涉及3800万视频剪辑和超过500亿个标记,使GR-2能够在随后的策略学习中跨广泛范围的机器人任务和环境进行泛化。随后,GR-2针对视频生成和动作预测进行了微调,使用机器人轨迹。它展示了令人印象深刻的多任务学习能力,在100多个任务中平均成功率达到97.7%。此外,GR-2在新的、以前未见过的场景中表现出色,包括新的背景、环境、对象和任务。值得注意的是,GR-2随着模型大小的增加而高效扩展,突显了其持续增长和应用的潜力。
即买即用的人工智能对话服务
2233.ai是一个提供即买即用人工智能对话服务的网站。用户无需注册账号即可购买并使用服务,享受原生的ChatGPT Plus或Claude Pro体验。该平台强调个人隐私保护,每位用户的对话记录独立存储,确保私密安全。此外,2233.ai承诺无网络限制或封号问题,用户可以随时随地接入服务。价格方面,2233.ai提供的服务价格不到ChatGPT Plus订阅的一半,让更多人能够以更优惠的价格享受到先进的人工智能技术。
最先进的图像生成模型
FLUX1.1 [pro] 是 Black Forest Labs 发布的最新图像生成模型,它在速度和图像质量上都有显著提升。该模型提供六倍于前代的速度,同时改善了图像质量、提示遵循度和多样性。FLUX1.1 [pro] 还提供了更高级的定制化选项,以及更优的性价比,适合需要高效、高质量图像生成的开发者和企业。
国产化大模型,支持多模态,快速低成本智能化转型。
岩芯数智是一家专注于人工智能领域的公司,提供多种智能模型服务,包括Yan模型和Dolphin模型。Yan模型是国产化的大模型,支持多模态,承诺为用户提供训练周期短、数据集需求小、性价比更高的服务,帮助各产业链快速、低成本向智能化转型。Dolphin模型则提供智能对话、文章生成、文案摘要等功能,支持私域模型微调,以满足不同行业的需求。
提供AI和机器学习课程
Udacity人工智能学院提供包括深度学习、计算机视觉、自然语言处理和AI产品管理在内的AI培训和机器学习课程。这些课程旨在帮助学生掌握人工智能领域的最新技术,为未来的职业生涯打下坚实的基础。
先进的多模态AI模型家族
Molmo是一个开放的、最先进的多模态AI模型家族,旨在通过学习指向其感知的内容,实现与物理和虚拟世界的丰富互动,为下一代应用程序提供行动和交互的能力。Molmo通过学习指向其感知的内容,实现了与物理和虚拟世界的丰富互动,为下一代应用程序提供行动和交互的能力。
多语言大型语言模型
Llama 3.2是由Meta公司推出的多语言大型语言模型(LLMs),包含1B和3B两种规模的预训练和指令调优生成模型。这些模型在多种语言对话用例中进行了优化,包括代理检索和总结任务。Llama 3.2在许多行业基准测试中的表现优于许多现有的开源和封闭聊天模型。
开源AI模型,可微调、蒸馏、部署。
Llama 3.2是一系列大型语言模型(LLMs),预训练和微调在1B和3B大小的多语言文本模型,以及11B和90B大小的文本和图像输入输出文本的模型。这些模型可以用于开发高性能和高效率的应用。Llama 3.2的模型可以在移动设备和边缘设备上运行,支持多种编程语言,并且可以通过Llama Stack构建代理应用程序。
高性能AI加速器,专为AI工作负载设计。
Intel® Gaudi® 3 AI Accelerator是英特尔推出的一款高性能人工智能加速器,它基于高效的英特尔® Gaudi® 平台构建,具备出色的MLPerf基准性能,旨在处理要求苛刻的训练和推理任务。该加速器支持数据中心或云中的大型语言模型、多模态模型和企业RAG等人工智能应用程序,能够在您可能已经拥有的以太网基础设施上运行。无论您需要单个加速器还是数千个加速器,英特尔Gaudi 3都可以在您的AI成功中发挥关键作用。
创造无限可能的人工智能助手
YunHu Ai 是一个基于人工智能技术的聊天助手,旨在通过自然语言处理和机器学习技术,为用户提供高效、智能的对话体验。它能够理解用户的需求,提供准确的信息和建议,帮助用户解决问题。YunHu Ai 以其强大的语言理解能力、快速响应和用户友好的界面而受到用户的喜爱。
探索无限智能,构建更完美的聚合之路。
智语1号是一个以智能系统为基础的聊天平台,提供用户与AI进行互动交流的体验。它利用大模型技术,通过自然语言处理和机器学习,使得AI能够理解和回应用户的各种问题和需求。智语1号的背景是随着人工智能技术的发展,人们对于智能助手的需求日益增长,它旨在为用户提供一个高效、智能的交流环境。产品目前是免费试用,主要面向对智能聊天感兴趣的用户群体。
高效能、低资源消耗的混合专家模型
GRIN-MoE是由微软开发的混合专家(Mixture of Experts, MoE)模型,专注于提高模型在资源受限环境下的性能。该模型通过使用SparseMixer-v2来估计专家路由的梯度,与传统的MoE训练方法相比,GRIN-MoE在不依赖专家并行处理和令牌丢弃的情况下,实现了模型训练的扩展。它在编码和数学任务上表现尤为出色,适用于需要强推理能力的场景。
利用AI优化订阅收入,减少客户流失。
FlyCode是一款基于机器学习和人工智能技术的应用,旨在通过智能支付重试和优化支付流程来最大化订阅收入并减少客户流失。它为不同规模的品牌提供企业级的收入恢复服务,利用成千上万的数据点来确保尽可能高的恢复率。此外,FlyCode通过与客户电子邮件同步的智能逻辑来改善客户体验,确保在最佳时间和日期发送恢复电子邮件,提高打开率。这些电子邮件是事务性的且可定制的。
统一的图像生成框架,简化多任务图像生成。
OmniGen是一个创新的扩散框架,它将多种图像生成任务统一到单一模型中,无需特定任务的网络或微调。这一技术简化了图像生成流程,提高了效率,降低了开发和维护成本。
高效能的指令式微调AI模型
Mistral-Small-Instruct-2409是由Mistral AI Team开发的一个具有22B参数的指令式微调AI模型,支持多种语言,并能够支持高达128k的序列长度。该模型特别适用于需要长文本处理和复杂指令理解的场景,如自然语言处理、机器学习等领域。
加速人类科学发现的人工智能
xAI是一家专注于构建人工智能以加速人类科学发现的公司。我们由埃隆·马斯克领导,他是特斯拉和SpaceX的CEO。我们的团队贡献了一些该领域最广泛使用的方法,包括Adam优化器、批量归一化、层归一化和对抗性示例的发现。我们进一步引入了Transformer-XL、Autoformalization、记忆变换器、批量大小缩放、μTransfer和SimCLR等创新技术和分析。我们参与并领导了AlphaStar、AlphaCode、Inception、Minerva、GPT-3.5和GPT-4等该领域一些最大的突破性发展。我们的团队由AI安全中心主任Dan Hendrycks提供咨询。我们与X公司紧密合作,将我们的技术带给超过5亿X应用用户。
© 2024 AIbase 备案号:闽ICP备08105208号-14