构建下一代创意,轻松实现快速推理
fal 是一个生成媒体平台,为开发者提供最先进的生成式媒体模型,通过 fal 的推理专家优化,实现闪电般快速的推理。支持实时 WebSocket 推理基础设施,提供私有部署选项,以最经济的方式根据使用量付费。
基于开发者构建的生产 AI 平台
Fireworks 与世界领先的生成式 AI 研究人员合作,以最快的速度提供最佳模型。拥有经 Fireworks 精心筛选和优化的模型,以及企业级吞吐量和专业的技术支持。定位为最快速且最可靠的 AI 平台。
Grok-1.5带有改进的推理能力和128,000个标记的上下文长度。
Grok-1.5是一种先进的大型语言模型,具有出色的长文本理解和推理能力。它可以处理高达128,000个标记的长上下文,远超以前模型的能力。在数学和编码等任务中,Grok-1.5表现出色,在多个公认的基准测试中获得了极高的分数。该模型建立在强大的分布式训练框架之上,确保高效和可靠的训练过程。Grok-1.5旨在为用户提供强大的语言理解和生成能力,助力各种复杂的语言任务。
OpenDiT:一款简单、快速、高效的DiT训练和推理系统
OpenDiT是一个开源项目,提供了一个基于Colossal-AI的Diffusion Transformer(DiT)的高性能实现,专为增强DiT应用(包括文本到视频生成和文本到图像生成)的训练和推理效率而设计。OpenDiT通过以下技术提升性能:在GPU上高达80%的加速和50%的内存减少;包括FlashAttention、Fused AdaLN和Fused layernorm核心优化;包括ZeRO、Gemini和DDP的混合并行方法,还有对ema模型进行分片进一步降低内存成本;FastSeq:一种新颖的序列并行方法,特别适用于DiT等工作负载,其中激活大小较大但参数大小较小;单节点序列并行可以节省高达48%的通信成本;突破单个GPU的内存限制,减少整体训练和推理时间;通过少量代码修改获得巨大性能改进;用户无需了解分布式训练的实现细节;完整的文本到图像和文本到视频生成流程;研究人员和工程师可以轻松使用和调整我们的流程到实际应用中,无需修改并行部分;在ImageNet上进行文本到图像训练并发布检查点。
人类启发式阅读代理,具有非常长上下文的要点记忆
ReadAgent是一个简单的提示系统,它利用大型语言模型(LLM)的先进语言能力来决定将哪些内容存储在记忆集中,将这些记忆集压缩成称为要点记忆的短篇回忆,并在ReadAgent需要提醒自己相关细节以完成任务时,采取行动查阅原始文本。ReadAgent可以通过使用要点记忆来捕获全局上下文,并关注局部细节,从而有效地推理非常长的上下文,在需要一次处理的信息量方面具有高效性,这对理解也很重要。
增强LLM推理能力的ReFT
ReFT是一种增强大型语言模型(LLMs)推理能力的简单而有效的方法。它首先通过监督微调(SFT)对模型进行预热,然后使用在线强化学习,具体来说是本文中的PPO算法,进一步微调模型。ReFT通过自动对给定问题进行大量推理路径的采样,并从真实答案中自然地得出奖励,从而显著优于SFT。ReFT的性能可能通过结合推理时策略(如多数投票和重新排名)进一步提升。需要注意的是,ReFT通过学习与SFT相同的训练问题而获得改进,而无需依赖额外或增强的训练问题。这表明ReFT具有更强的泛化能力。
AlphaGeometry: AI解决几何问题的突破
AlphaGeometry是一个超越了现有技术水平的几何问题AI系统,它通过结合神经语言模型的预测能力和规则驱动的推理引擎,能够解决复杂的几何问题。该系统采用神经符号学方法,由神经语言模型和符号推理引擎组成,共同寻找复杂几何定理的证明。通过生成10亿个随机几何对象图形,并从中推导出所有的关系,最终得到了1亿个独特的训练样本,其中900万个包含了额外的构造。AlphaGeometry的语言模型能够在面对国际数学奥林匹克竞赛的几何问题时做出良好的建议。该系统已经成为世界上第一个能够达到国际数学奥林匹克竞赛铜牌水平的AI模型。
高效的 Intel GPU 上的 LLM 推理解决方案
这是一种在 Intel GPU 上实现的高效的 LLM 推理解决方案。通过简化 LLM 解码器层、使用分段 KV 缓存策略和自定义的 Scaled-Dot-Product-Attention 内核,该解决方案在 Intel GPU 上相比标准的 HuggingFace 实现可实现高达 7 倍的令牌延迟降低和 27 倍的吞吐量提升。详细功能、优势、定价和定位等信息请参考官方网站。
基于多模态的 AI 模型,无缝进行图像、视频、音频和代码的推理
Google Gemini 是一款基于多模态的 AI 模型,能够无缝进行图像、视频、音频和代码的推理。Gemini 是 DeepMind 推出的最先进的 AI 模型,能够在 MMLU(大规模多任务语言理解)等各项测试中超越人类专家。Gemini 具有出色的推理能力,在各种多模态任务中取得了最先进的性能。
小型语言模型用于推理和理解任务
Orca 2 是一个用于研究目的的助手,通过提供单轮响应来帮助推理和理解任务,如数据推理、阅读理解、数学问题解决和文本摘要。该模型特别擅长推理。我们公开发布 Orca 2,以促进在开发、评估和对齐更小的语言模型方面的进一步研究。
Flash-Decoding for long-context inference
Flash-Decoding是一种针对长上下文推理的技术,可以显著加速推理中的注意力机制,从而使生成速度提高8倍。该技术通过并行加载键和值,然后分别重新缩放和组合结果来维护正确的注意力输出,从而实现了更快的推理速度。Flash-Decoding适用于大型语言模型,可以处理长文档、长对话或整个代码库等长上下文。Flash-Decoding已经在FlashAttention包和xFormers中提供,可以自动选择Flash-Decoding或FlashAttention方法,也可以使用高效的Triton内核。
© 2024 AIbase 备案号:闽ICP备2023012347号-1