GPT-5的消息越来越藏不住了

在达沃斯经济论坛，奥特曼一共参加了4-5场活动，透露的关键信息包括：

如果GPT-4目前解决了人类任务的10%，GPT-5应该是15%或者20%。GPT-2非常糟糕，3相当糟糕，4也糟糕，5应该能算okay。如果对比初代iPhone和最新iPhone15，会感觉是截然不同的设备，AI也是如此。GPT-5会往让人感到不舒服的方向发展。

更早时候，他在YC Winter 2024启动会上还建议创业者们：

不建议去解决目前GPT-4的局限性，其中大多数将在GPT-5中得到修复。

带着GPT-5和AGI将“相对较快”实现的思维构建产品，

此外他还在与比尔盖茨的对话节目中透露：

应用户强烈要求正考虑给ChatGPT添加视频能力，不过目前团队的主要关注点还是推理。

目前的GPT-4的水平，只是到了“解决某一项任务”的水平，还不能“替代某一项工作”。因为任何一项人类工作都是非常多“任务项”组成的，一项任务的解决无法撑起一个工种。但正如上图所示，人类工作种类是分层的，随着AI能力一步步爬升，是对一项项任务、最终是一个个工作类别的持续替代。AI进步慢，替代就慢，AI进步快出现跃升（如到了AGI），替代会猛然加速。这可能就是未来5年的叙事。短期看不到商业价值也不代表一直是0和1，人类任务越过及格线的科目从量变到质变，直到AGI那一天捅破象限...

因此比尔盖茨说的很清楚，18个月后（2025年6月）会看到AI对各领域实质性的广泛渗透。UBS和Morgan Stanley都对北美500强企业的CIO（首席信息官或技术官）做了调研，结果也显示AI对企业流程的改造都在POC验证阶段，24年H2会看到更多原型验证跑通、进入实际生产流程，25年才可能大规模进入实际生产。为什么都是25年？因为在等两件事情，1）GPT-5（或者不知道叫什么）的发布，模型能力上一个台阶，解决幻觉问题、鲁棒性一致性问题、复杂推理能力问题；2）算力成本降低到之前的1/10，目前算力成本按照每12-18个月除以10的速度降低，18个月后很多被成本制约的应用场景才可以落地。

这里引申出关键的问题还是，1）下一代模型的能力会如何；2）再之后AI会否遇到瓶颈“撞墙”。

1）GPT-5（或者其他名字）的能力提升幅度其实大概已经确定，首先肯定距离AGI还很远，这一点sam altman在圣诞节明确表示了，且看完上面你就知道AGI意味着什么分量，你就会更加敬畏，甚至希望这玩意最好是个科幻，晚点来。其次，GPT-5的能力下限，应该至少会比Gemini ultra强，如果只是看纸面结果，大概能推断：多模态且增加视频生成能力（3D未知）、Long sequence更长的输入窗口进而显著提高通用性、复杂推理能力相比GPT-4明显提升、可能开始具备较强的planning能力。再量化一点，就是刚刚sam在达沃斯上的比喻“假如GPT4完成了人类工作10%，那GPT5应该是15%或20%”。此外按照常理，解决相同问题的算力成本，可能会比GPT-4降低一个数量级。

2）GPT-5之后会不会撞墙。GPT-4用了MoE因此引发了对OpenAI单模型能力撞墙的质疑，但MoE的更大价值在于降低推理成本，更像是“优化”而不是“登月”。模型的瓶颈 1 是transformer架构的争论，的确有微创新的可能，ilya在“事变”之前的采访中，提到了现有注意力机制算力消耗过大问题，但他也提到有了解决方向。但你说新架构如RWKV、Mamba替代transformer？引用一个哥们的观点，领军企业用脚投票了，这是个生态、资源、人才自我加强的过程，新的架构崛起有点难，至少按照ilya、Anthropic Dario等领军人物的看法，transformer潜力还有很大挖掘空间。此外，从LSTM到transformer出现是20多年，架构的创新节奏即便加速也是以10年为单位；

模型的瓶颈2：对世界知识高质量压缩的数据是不是穷尽了。按照scaling law那条曲线，达到一个“能写论文独立做科研水平的”的AI需要的数据是目前的5个数量级，去哪儿找...视频等多模态数据的价值更多在于文本数据提供的知识对现实世界的grounding，但视频图片等本身对世界知识的压缩率远低于文本，正如一本几百KB的书包含的知识转化为视频可能是几个T。怎么办？

按照sam达沃斯上的说法，未来不需要那么多数据，质量更重要，数据训练效率也在提高（更少数据提取更多认知），以及可以设更多epoch反复“咀嚼”。且之前关于Q-star的猜测和Jim Fan、Musk等人的评论表明，OpenAI很可能已经实现了合成数据的有效利用。甚至Anthropic的Dario在播客中也提过“数据很可能不是制约因素，出于多种原因我不应该细说，但世界上有很多数据来源，也有很多方法可以生成数据”。这种合成数据引导法可以类比人类进化，我们灵长类祖先在掌握语言之前，是无法总结、提炼、应用、累积认知和经验的，但一旦人类发展出语言，就会出现基因/文化的共同进化，这与 LLM 的合成数据/self-play循环非常相似。此外，做个轻松点的比喻，我们读了万卷书，行了万里路，看了万千世界，就好比电影《这个男人来自地球》，一个人活了百万年，几乎是个行走的世界知识库。此时的他再学习一门新知识，是否需要那么多输入？我们说“悟性”高的人是一点即通，为什么？因为过去的高质量训练让他建立了世界运行原理的底层“相关性”。这可能也就是目前模型训练正在做的事（难怪OpenAI内部说他们在building god）

推荐关注

1.应用：（1）办公软件：金山办公、福昕软件、彩讯股份

（2）多模态：万兴科技、美图公司、虹软科技、光云科技

（3）TOB：用友网络、金蝶国际、致远互联、泛微网络、鼎捷软件、汉得信息

（4）金融、教育、医疗：科大讯飞、佳发教育、视源股份、润达医疗、恒生电子、新致软件

2.基础设施：华为+海光算力产业链、云天励飞、星环科技、寒武纪、景嘉微

近期热点发掘文章：

AI再迎利好，1.6T光模块可持续关注

苹果MR首发，30分钟售罄

2024年光伏景气度展望