深度学习算法与大模型面试指南,持续更新的面试题目集合。
DeepLearing-Interview-Awesome-2024 是一个开源的面试题目集合项目,专注于深度学习算法和大模型领域的面试准备。该项目由社区成员共同维护,旨在提供最新的面试题目和答案解析,帮助求职者和研究人员深入理解深度学习领域的前沿技术和应用。它包含了丰富的面试题目,覆盖了大语言模型、视觉模型、通用问题等多个方面,是准备深度学习相关职位的宝贵资源。
通过对比对齐进行 Pure 和 Lightning ID 定制
PuLID 是一个专注于人脸身份定制的深度学习模型,通过对比对齐技术实现高保真度的人脸身份编辑。该模型能够减少对原始模型行为的干扰,同时提供多种应用,如风格变化、IP融合、配饰修改等。
轻量级但功能强大的多模态模型家族。
Bunny 是一系列轻量级但功能强大的多模态模型,提供多种即插即用的视图编码器和语言主干网络。通过从更广泛的数据源进行精选选择,构建更丰富的训练数据,以补偿模型尺寸的减小。Bunny-v1.0-3B 模型在性能上超越了同类大小甚至更大的 MLLMs(7B)模型,并与 13B 模型性能相当。
一款由XTuner优化的LLaVA模型,结合了图像和文本处理能力。
llava-llama-3-8b-v1_1是一个由XTuner优化的LLaVA模型,它基于meta-llama/Meta-Llama-3-8B-Instruct和CLIP-ViT-Large-patch14-336,并通过ShareGPT4V-PT和InternVL-SFT进行了微调。该模型专为图像和文本的结合处理而设计,具有强大的多模态学习能力,适用于各种下游部署和评估工具包。
高效灵活的大规模模型微调工具包
XTuner是一个为大型模型(如InternLM, Llama, Baichuan, Qwen, ChatGLM)设计的高效、灵活且功能齐全的微调工具包。它支持在几乎所有GPU上进行LLM和VLM的预训练和微调,能够自动调度高性能操作,如FlashAttention和Triton内核,以提高训练吞吐量。XTuner与DeepSpeed兼容,支持多种ZeRO优化技术。它还支持各种LLMs和VLM(如LLaVA),并设计了良好的数据管道,能够适应任何格式的数据集。此外,XTuner支持多种训练算法,包括QLoRA、LoRA和全参数微调,使用户能够选择最适合其需求的解决方案。
AI学习平台
Generative AI Courses是一家提供AI学习课程的在线平台。通过课程学习,用户可以掌握GenAI、AI、机器学习、深度学习、chatGPT、DALLE、图像生成、视频生成、文本生成等技术,并了解2024年AI领域的最新发展。
实时生成逼真语音驱动人脸
VASA-1是由微软研究院开发的一个模型,专注于实时生成与音频相匹配的逼真人脸动画。该技术通过深度学习算法,能够根据输入的语音内容,自动生成相应的口型和面部表情,为用户提供一种全新的交互体验。VASA-1的主要优势在于其高度逼真的生成效果和实时响应能力,使得虚拟角色能够更加自然地与用户进行互动。目前,VASA-1主要应用于虚拟助手、在线教育、娱乐等领域,其定价策略尚未公布,但预计将提供免费试用版本供用户体验。
提升文本到图像生成的可控性
ControlNet++是一种新型的文本到图像扩散模型,通过显式优化生成图像与条件控制之间的像素级循环一致性,显著提高了在各种条件控制下的可控性。它通过使用预训练的判别性奖励模型来提取生成图像的对应条件,并优化输入条件控制与提取条件之间的一致性损失。此外,ControlNet++引入了一种高效的奖励策略,通过向输入图像中添加噪声来扰动图像,然后使用单步去噪图像进行奖励微调,避免了与图像采样相关的大量时间和内存成本。
人工智能入门教程网站,提供全面的机器学习与深度学习知识。
该网站由作者从 2015 年开始学习机器学习和深度学习,整理并编写的一系列实战教程。涵盖监督学习、无监督学习、深度学习等多个领域,既有理论推导,又有代码实现,旨在帮助初学者全面掌握人工智能的基础知识和实践技能。网站拥有独立域名,内容持续更新,欢迎大家关注和学习。
EasyContext演示了如何利用现有技术组合,来训练700K和1M上下文的语言模型。
EasyContext是一个开源项目,旨在通过结合多种技术手段,实现使用普通硬件训练语言模型的上下文长度达到100万词元。主要采用的技术包括序列并行、Deepspeed zero3离载、Flash注意力以及激活checkpoint等。该项目不提出新的创新点,而是展示如何组合现有的技术手段来实现这一目标。已成功训练出Llama-2-7B和Llama-2-13B两个模型,分别在8块A100和16块A100上实现了700K和1M词元的上下文长度。
从单张 RGB 图像生成多个逼真的 3D 人体重建
DiffHuman 是一种概率性的光度逼真的 3D 人体重建方法。它可以从单张 RGB 图像预测一个 3D 人体重建的概率分布,并通过迭代降噪采样多个细节丰富、色彩鲜明的 3D 人体模型。与现有的确定性方法相比,DiffHuman 在未知或不确定区域能生成更加细节丰富的重建结果。同时,我们还引入了一个加速渲染的生成网络,大幅提高了推理速度。
斯坦福大学的CS25课程,专注于深度学习模型Transformers
CS25是斯坦福大学提供的一门课程,主要探讨深度学习模型Transformers,该模型在全球范围内产生了巨大影响。课程邀请了Transformers研究领域的前沿人物,讨论从GPT和Gemini等LLM架构到创造性应用(如DALL-E和Sora)在内的最新突破。CS25已经成为斯坦福最热门和最令人兴奋的研讨会课程之一。
实时一步潜在扩散模型,可用图像条件控制生成
SDXS是一种新的扩散模型,通过模型微型化和减少采样步骤,大幅降低了模型延迟。它利用知识蒸馏来简化U-Net和图像解码器架构,并引入了一种创新的单步DM训练技术,使用特征匹配和分数蒸馆。SDXS-512和SDXS-1024模型可在单个GPU上分别实现约100 FPS和30 FPS的推理速度,比之前模型快30至60倍。此外,该训练方法在图像条件控制方面也有潜在应用,可实现高效的图像到图像翻译。
SceneScript:通过Reality Labs研究实现3D场景重建
SceneScript是Reality Labs研究团队开发的一种新型3D场景重建技术。该技术利用AI来理解和重建复杂的3D场景,能够从单张图片中创建详细的3D模型。SceneScript通过结合多种先进的深度学习技术,如半监督学习、自监督学习和多模态学习,显著提高了3D重建的准确性和效率。
智能软件开发工具,提升编程效率。
aiXcoder 是一款智能软件开发工具,基于深度学习技术,实现代码自动生成、自动补全、智能搜索等功能,提升开发效率。其方法级代码生成、智能代码补全等功能可帮助程序员提高工作效率。aiXcoder 支持多种主流编程语言和 IDE,提供本地和云端两种模式,适用于企业和个人开发者。产品定位于提供智能化编程辅助,助力开发者提升编程体验。
HyperGAI推出的创新多模态LLM框架,旨在理解和处理文本、图像、视频等多种输入模态
HPT(Hyper-Pretrained Transformers)是HyperGAI研究团队推出的新型多模态大型语言模型框架,它能够高效且可扩展地训练大型多模态基础模型,理解包括文本、图像、视频等多种输入模态。HPT框架可以从头开始训练,也可以通过现有的预训练视觉编码器和/或大型语言模型进行高效适配。
CVPR 2024会议论文项目,用于零样本视频翻译的空间-时间对应方法
FRESCO是一个用于零样本视频翻译的框架,它通过引入帧内和帧间对应关系来建立更强大的空间-时间约束,从而确保跨帧的语义相似内容的一致性转换。该方法显著提高了翻译视频的视觉连贯性,并在产生高质量、连贯视频方面取得了显著效果。
© 2024 AIbase 备案号:闽ICP备2023012347号-1