卷模型技术，更要卷工程实现！_AI&chatGPT_长臂猿

长臂猿 >> AI&自媒体 >> AI&chatGPT >> 卷模型技术，更要卷工程实现！

卷模型技术，更要卷工程实现！

GPT、Llama 等大模型技术的屡屡突破，引爆了全球 AI 产业的新一轮震动，国内百模涌现，所有最顶尖的科研人才，都聚焦如何提升模型参数量与模型效果上。

人工智能领域专家贾扬清曾提及模型的保鲜期（Shelf life）概念，他认为从2012年 AlexNet 发布至今，在每个性能强劲的大模型发布后，只要六个月到一年左右时间，就会出现效果接近的模型。

随着更多优质的通用大模型逐渐开源，模型间的技术壁垒有望进一步消除，如何降低 AI 基础设施和模型实施的成本将成为企业、团队和个人开发者关切的话题。

这要求企业对人工智能技术有全面的认识，并对自身的基础设施和研发流程做出调整、优化，甚至重构。AI 基础设施的构建中，需要关注算力集群、数据存储、模型训练、推理部署等整条链路。在 AI 基础设施的链路中，既可以选择利用现有的云服务，也可以选择开源性质的基础设施产品进行私有化改造。

在高性能算力严重稀缺的市场环境下，一个稳健、高效的 AI 研发底座，可以充分提升团队作战效率。除了 AI 科研能力外，让研发团队具备卓越的工程能力，成了 AI 时代里打赢胜仗、弯道超车的关键。

2023年8月12日（本周六）下午，将在北京朝阳区皇家格兰云天大酒店举行程序员大会『NPCon：AI 模型技术与应用峰会——全链路搭建AI研发底座』，将于大家共同探讨：不同规模阶段的企业，如何选择适合自身的AI基础设施建设方案、高效完善AI的全链路研发流程。

完整议程

分享嘉宾与内容简介

主题演讲

《大模型涌现，如何部署训练架构与算力芯片》

国际计算机学会（ACM）、中国计算机学会（CCF）专业会员，中美发明专利约70+项，著有《GPT-4大模型硬核解读》《GPT-4核心技术分析报告》《GPGPU芯片设计》

演讲内容：

随着GPT等大模型技：术的高速成长与普及，LLM/MLM的开源资源、部署训练架构、算力成本成为大模型应用落地和企业盈亏ROI的关键分水岭，重要性不低于模型精度。本主题将分享GPT等大模型的开源Foundation Model与Finetune、开源应用平台、部署与训练架构、以及GPU和DSA芯片对部署综合成本的重要影响，场景涵盖云计算和端侧私有化部署，对互联网与MaaS企业的产品业务设计与大模型部署有关键参考意义。

主题演讲

LLM 应用技术栈与Agent全景解析

超过 11 年的互联网从业经验，对产品设计、敏捷项目管理、DevOps、学习型组织文化与 Web 应用开发有深刻理解。近年在企业服务、工具软件领域的 SaaS 的产品、运营和技术管理上有丰富经验。

演讲内容：

将概括目前大模型应用技术栈全景，梳理应用技术栈已实现的能力与要解决的问题、以及 Dify 等AI应用工具平台在大模型生态中的位置及能力构建，并对当下的大模型技术发展及应用发展的趋势进行展望。

主题演讲

美团视觉GPU推理服务部署架构优化实践

美团视觉智能部，担任软件开发工程师职位，主要负责服务平台开发、视觉模型部署方案设计和GPU服务性能优化等方面的工作。同时，也非常关注人工智能领域的前沿进展和应用，积极拥抱新技术带来的变化。在工作之余，热爱骑行，非常欢迎和大家一起交流学习、探索自然享受骑行乐趣。

演讲内容：

美团视觉致力于将视觉AI技术应用于本地生活服务的各个场景。但随着在线推理服务使用的GPU资源不断增加，GPU利用率低的问题也日益凸显，导致大量计算资源浪费。经过实验分析，我们发现GPU利用率低下的推理服务存在一个共性问题：模型结构中CPU算子和GPU算子相互耦合，严重影响运行效率。为此，我们提出了一种通用高效的部署架构，通过模型结构拆分和微服务化，解决这种常见的性能瓶颈问题。目前，该解决方案已在美团视觉核心服务上成功应用，优化后服务GPU利用率接近100%，服务性能成倍提升。

主题演讲

AI大模型算力系统分析

Dr.Zhu 就职于浪潮信息人工智能与高性能应用软件部，负责大模型、AIGC等前沿AI算法研发和AI应用落地工作。