• 长臂猿-企业应用及系统软件平台
MENU
长臂猿 >> AI&自媒体 >> AI&chatGPT >> "多模态模型可能是大模型的终局" | 涛滔不绝

"多模态模型可能是大模型的终局" | 涛滔不绝

【CSDN 编者按】这一年，大模型热潮迭起，1000天以后，5000天以后我们将面对什么，大模型会将人类带向何处？


对话嘉宾：

蒋涛，CSDN 创始人&董事长，中国开源软件推进联盟副主席。曾领导开发了巨人手写电脑、金山词霸和超级解霸。1999 年创办 CSDN。CSDN 是中国专业开发者社区平台，全球开发者社区网站排名第二，目前注册会员超过 4700 万，覆盖全球 95 %中文开发者群体。在开源开放的新时代，CSDN 致力于打造开发者工具生产力入口，共建中国十万亿技术大生态。

颜水成，现任昆仑万维天工智能联席 CEO 和 2050 全球研究院院长，是一位在计算机视觉和机器学习领域享有国际声誉的专家，曾任 360 集团人工智能研究院院长、首席科学家，依图科技首席技术官，并曾在 Sea 集团担任首席科学家；他是新加坡工程院院士、AAAI Fellow、ACM Fellow、IEEE Fellow、IAPR Fellow 等多个国际学术组织的成员。颜水成的研究领域包括计算机视觉、机器学习、深度学习等，在顶级国际学术期刊和会议上发表的论文引用量超过 90,000 次， H-index 超过 140，八次被评为年度全球“高被引科学家”。


作者 | 何苗       
出品 | CSDN（ID：CSDNnews）
计算机视觉、机器学习领域国际顶级专家颜水成在学术界钻研 8 年、工业界实践 8 年，今年 9 月正式宣布加入昆仑万维，出任天工智能联席 CEO，并兼任昆仑万维 2050 全球研究院院长。 
长期以来，业界的目光聚集于他，为什么是昆仑万维？对人工智能领域而言意味着什么？在大模型火热发展的当下，他试图以 Foundation Models（基座大模型）为基准点，探寻通往通用人工智能领域的道路。 
自昆仑万维的天工大模型在今年 4 月正式发布并启动邀请测试以来，一直以较快的节奏发布更新，也始终在百模大战中保持着一定的竞争力。11 月，「天工」大模型通过《生成式人工智能服务管理暂行办法》备案，面向全社会开放服务。紧接着，昆仑万维正式开源了「天工 Skywork-13B 系列」。13B，在颜水成看来是最适合商用的尺寸，未来将迸发出多大能量？他一直追求学术界和工业界的 Double Satisfactions，产学研的有机结合能否在 Foundation Models 领域结出硕果？令人期待~ 
本期《涛滔不绝》，CSDN 创始人&董事长、中国开源软件推进联盟副主席蒋涛与天工智能联席 CEO、兼任昆仑万维 2050 全球研究院院长颜水成，从 AGI 的本质谈到基座大模型的重要性，从基座大模型到“更高一层”的 Agent 智能体，带领我们探寻 AI 发展更高维度的世界。 

AGI 未来会是所有数字系统的底座 
蒋涛：当前国内外有各种开源大模型扎堆涌现，中国也面临着百模大战，昆仑万维在今年 11 月正式开源「天工 Skywork-13B 系列」，为什么那么多企业要做基座大模型？ 
颜水成：业界探索基座大模型的核心可能认为它是未来 AGI 的核心。未来 AI 的能力都会由基座大模型产生。
AGI 是人工智能领域的一个最重要的方向，它的目标是实现通用的人工智能。而基座大模型正是这个目标的关键所在。通过构建一个通用的知识平台，我们可以将人工智能的能力扩展到更多的领域，实现更广泛的应用。当然你也可以围绕大模型去做周边应用，或者垂直的场景，但如果真的打算拥抱 AGI，就必须真正触及基座大模型。另一方面，无论是大、小公司，也都希望在 AGI 最核心的部分展现自己的实力。 
蒋涛：AGI 未来会是所有数字系统的底座，或者是新一代操作系统吗？ 
颜水成：可以这样理解。AGI 很有可能成为新一代的操作系统，但这个过程需要时间。AGI 的目标是实现通用的人工智能，它需要整合各种技术和资源，包括计算机视觉、自然语言处理、语音识别等领域。只有当 AGI 能够实现这些技术的无缝集成和协同工作时，它才能成为新一代的操作系统。 
在深度学习那一代通常涉及一个垂直领域，我们可以利用垂直领域的数据进行分析。现在趋势不同了，我们可能首先要构建一个基座大模型。在文本领域和其他领域，基础模型已经包含了通用知识。这样在前往另一个领域时，不再仅依赖该领域的知识，而是将基座模型的能力迁移到垂直领域即可。 
蒋涛：想要加入 AGI 领域的年轻人需要具备哪些能力？ 
颜水成：首先要具备扎实的计算机科学和数学基础。此外，他们还需要具备创新思维和敏锐的洞察力，以便在 AGI 领域的研究和应用中取得突破。同时，他们还需要具备勇于探索和挑战的精神，积极面对新技术和新领域带来的挑战和机遇。 

“我们仍未到达基座大模型的临界点” 
蒋涛：能详细谈谈什么是基座大模型吗？为什么它在中国如此重要？ 
颜水成：基座大模型是构建在通用知识上的大型语言模型。它的核心理念是利用人类的通识知识，通过不断地学习和训练，实现更广泛的应用。在中国百模大战的局面下，建立基座大模型的重要性就显而易见了。 
蒋涛：你认为我们需要多少个基座大模型？ 
颜水成：早期，大家可能认为一个基座大模型就可以应用于不同场景，但实际上仍存在一些问题。你会发现，如果将所有场景和知识都用一个基座大模型来操作，推理成本会非常高，用户需要支付的费用也会很高。在当前场景下，相对现实的情况是，让基座大模型体量偏向中型或小型。在一个垂直领域里，利用数据进行 fine tuning，然后获取垂域里的数据，训练得到一个相对较小的模型。可以在保证模型效果不错的情况下，大幅降低推理成本，商业应用也做得更好。4B、5B 属于中型，70B 和 100B 算是中大型了，在 13B 的模型很多场景下，推理成本会更容易接受。 
蒋涛：不同参数量的模型能力存在差距，千亿参数的模型明显出现了质变，涌现能力出现了。国内外都在努力拼数据量，参数不断提升的同时，能力一定随之提升吗？ 
颜水成：在中国，我们还没有达到数据和模型大小的稳态，在数据不断增加、算力和资源不断提升以及模型大小不断提升的情况下，模型最终展现的综合能力仍在不断提升，也就是说中国还没有达到临界点。到达临界点以后意味着，即便再增加资源进去，模型的能力也不会再增加。也许一两年内我们都无法达到这个临界点。 
蒋涛：大模型下一步的发展方向是？ 
颜水成：从大模型向多模态模型迁移是一大趋势。在迁移时，通常会将图像或声音 Token 化，之后将其串联起来形成一个长序列，它代表了原始图像或声音的数字化表示。业界期待大部分问题未来可以通过 Token generation 的形式解决，文本是一个起点，多模态模型可能是大模型的最终结局。 

国内企业与 OpenAI 的差距，不止是 500 块 GPU 
蒋涛：你有很多跨国经历，可以谈谈当前国内大模型与 LLaMA 2 等开源模型相比，差距在哪里吗？ 
颜水成：在几个月前，你可能会感觉到还有较大差距。但近几个月，你会发现国内陆续发布的模型在能力维度上已经有所提升，展现出可以与之抗衡的实力。我认为到年底，可能会有好几个公司推出新的模型，其性能将与之持平。 
OpenAI 的首席科学家曾表示，大模型的性能都是由各种小的 trick 逐步堆积起来的，数据量、数据质量和数据配比是非常重要的。另一个方面是训练系统，效率非常重要，包括硬件和软件两个维度。硬件可能有性能天花板，而软件如果配置和操作优化都比较好，是能够发挥出硬件的极限能力的。还有很多各具特色的优化器可以结合起来，提升性能。 
蒋涛：所以对国内来说，追平只是时间和迭代的问题吗？ 
颜水成：当前业界的共识，要追赶到 GPT-3.5 水平，中国还是有很大可能性的，剩下的只是时间问题，需要不断趟坑、做实验，逐渐了解通往 GPT-3.5 的路线。但要实现这个目标的周期可能会比 OpenAI 用时更长。毕竟在中国，无论是哪家公司，在人才密度上与 OpenAI 相比差距都非常大。同时，OpenAI 的算力资源也要高出一个量级，据说平均每个人有 500 块 GPU 资源可以进行各种实验。在中国，当前大部分公司可能几个人共有 500 块 GPU 资源。 
蒋涛：这里的人才密度是指 AI 研究工程师还是 infrastructure 工程师？如果人才数量固定，那么配套的资源和方向更为关键吗？ 
颜水成：要想把人“练出来”必须要投入。就像训练飞行员一样，需要投入足量资源。一方面，由于资金和设备有限，我们训练出真正强的人才数量非常少。另一方面，我们现在面临的是外部竞争，团队过多且分散。如果卡能集中，说不定效果会更好一点。
蒋涛：国内有可能在多模态阶段与美国同步吗？
颜水成：我个人认为在多模态的方法论上，亚洲不算落后，但从单模态向多模态发展时，最大的问题还在数据方面。要想获取多模态数据，中国目前在质量上会落后不少。另外，当单模态向多模态转变，处理视频时实际所需的算力资源会成倍增加。本来我们在算力资源方面还存在距离。
中文语料的质量与英文预料还是有差距。一方面是因为在互联网上发布文本或信息的特点，中国与美国有所不同，我们需要对这些数据进行清洗。另一方面，在视频领域，优质的视频生产量、用户和交互量都与美国有差距。这也导致我们面临较大挑战。 

关于昆仑万维：迈过人工智能的奇点 
蒋涛：昆仑万维从 2020 年开始布局 AIGC 和大模型领域，其创始人周亚辉是如何看待大模型问题？你为何在今年选择加入其中？
颜水成：在学术界钻研 8 年，工业界实践了 8 年后，我选择来到昆仑万维展开通用人工智能的研究，同时建立 2050 全球研究院，在新加坡、英国剑桥以及硅谷建立相应分院。原因有几个方面。
我认为昆仑万维创始人的前瞻性非常好。昆仑万维在最初探索大模型时，大约在 2020 年，即 GPT-3 刚出炉时，其惊人的效果让几位创始人感受到 AI 新时代即将到来，应该向此前进。这也导致昆仑万维一大优势在许多重要方向刚刚萌芽时，创始人已经提前布局。 
它的另一个特点是现有业务中 80%多的收入来自海外，包括 Opera、游戏以及一些娱乐类产品，在全球范围内，如东南亚、非洲地区也发展得非常好。
我决定加入还有一个重要原因，在中国香港、美国和新加坡等地方都待过的我，很喜欢具有全球化背景的企业，带来很多新机会的同时，也能让 AGI 技术在不同国家发挥其优势。 
蒋涛：创立 2050 全球研究院的目的是什么？ 
颜水成：昆仑万维创始人周亚辉曾提到，有一本书中预测，人工智能的奇点可能是 2049 年。我们将研究院命名为 2050，意味着期待团队走在通往通用人工智能的正确道路上，并且能够迈过那个奇点。我们要跨过通用人工智能到来的那一天。 
蒋涛：今年被称为 AGI 元年，你怎么看？昆仑万维是如何布局的？ 
颜水成：在我看来，AGI 的真正表现形式是 Agent, 是一个智能体。智能体可以利用大模型、真实的人、其他智能体以及从虚拟世界中获取的各种工具，完成人类下达的任何一个任务。现在的大模型实际上是大脑知识库的压缩，而 Agent 相当于一个与人对等的实体。在我看来，Agent 比基座大模型要更高一层。非常重要的一点是：Agent 需要具备自我演化能力，这意味着，Agent 可以借助与所处环境的交互进一步提升自己的智能。 
2050 研究院的创始人希望公司坚持长期主义。在新加坡、英国伦敦以及美国硅谷三个不同的地方设立了研究院，伦敦实行完全的长期主义，主要做前沿研究，对当前业务没有直接作用，但有助于投资和未来布局。在新加坡和硅谷，更偏向于 AGI 研究。关注两个维度，一个维度是基座大模型 2.0，另一个维度是 Agent。 
基座大模型 2.0 也分为三个方向：下一代的基座大模型的结构及其应用；推理和训练效率提升；大模型理论问题，针对可解释性等相关方向进行研究。 
而 Agent 我们将其分为两个部分：一个是虚拟世界的 Agent，即将业务或场景数字化后，在数字世界中的存在的 Agent。另一个是物理世界的 Agent，它需要与移动设备打通，利用移动设备上的多模态信息如视觉、听觉和触觉等，然后根据指令调用特定模型，决定下一步应该做什么事情。
这两条线会同时向前推进。我们希望研究、研发和产品三者能够实现一致性。 
蒋涛：昆仑万维有哪些地方应用了 AIGC？ 
颜水成：我们的 AI 业务线分为六条线，天工大模型、AI 搜索、AI 游戏、AI 音乐、AI 动漫、AI 社交。这六条线都是以新的产品向前推进，大部分产品都处于可以内测的状态。 
我非常兴奋的一点是，昆仑万维不仅专注于做模型，还推出新产品来牵引研发和研究向前发展，现在的问题是产研是否能打通。 

追求学术界与工业界的双重满足 
蒋涛：在 AI 领域，尤其需要学者的共同努力。在学术研究与实际工程化之间，如何实现有机结合？ 
颜水成：我一直追求在学术界和工业界的双重满足，尽管客观上较难，但在我的学生中，确实有很多人做得非常好。 
我认为学者与工程师还是有一些分工比较好，让学者集中于“从 0 到 1”的工作，而工程师专注于“1 到 100”的工作。因为学者倾向于长期探索，创造一种可能性，工程师则更希望短期内能快速落地，需要将工匠精神发挥到极致。一个团队里这两种人都不可或缺，聚集在一起才能确保研究进度和完备性。 
蒋涛：在大模型团队里怎样的配比更好？ 
颜水成：在大模型团队里，工程能力可能更重要，学者与工程师的配比至少是 1：3。业界认为大模型已经逐渐成为一种工程问题，想实现 GPT-3.5，我也认为工程问题非常关键。

技术的发展正在超越想象力的边界 
蒋涛：在多模态取得突破后，Agent 是否会有较大进展？ 
颜水成：进展会非常大，在接下来的三年里，Virtual Agent 可能会占主流，主要原因是需要的多模态数据是有基础的。如果是研究 physical Agent，就需要与物理世界相互作用，但是出于安全性顾虑，获取大量数据的可能性会相对小很多。尽管 Simulation to Real 可以解决将模拟环境中的算法迁移到真实世界中的问题，但这需要更长的时间。距离 Physical Agent 真正大规模到来应该还需 10 年，才能初见端倪。 
Agent 在技术路线上并非遥不可及。我经常举个例子，大约在 7 年前，有个学生告诉我，他想做一个项目：输入文本直接产生图像。当时我训了他一顿，认为这是 impossible mission。但现在，文生图的问题基本上已经解决了。从未来的 7 年来看，我们有足够长的时间来产生一代技术的变革。
颜水成：如果全面考虑生活的各个维度，未来你最想要让 AGI 为你提供哪些功能？ 
蒋涛：我需要一个机器人扩展自己的能力边界。可以通过 Agent 办很多事，所有事情变得越来越智能。从前看科幻小说，经常会想象有个小精灵在旁边随时帮助我，那是我最想要的。 
蒋涛：未来的 1000 天会如何？以及 5000 天后会如何？
颜水成：如果是 1000 天，可能 Virtual Agent 已经开始大行其道，而 5000 天，可能是 Physical Agent 已经开始步入我们的视野了。
未来，在电脑和手机上，它们能帮你非常智能地完成各种任务。带上苹果公司的 vision PRO，迅速完成各种事情，在 1000 天的时间尺度上，我认为值得期待。如果是 5000 天， Physical Agent 可能已经到了一个相对可用的时代，即已经有一些可以服务人的成熟产品。

推荐阅读：