格隆汇6月18日|据经参,TPU获得的关注度肉眼可见地在攀升。过去一个月,围绕谷歌TPU的消息接连不断。4月底,谷歌发布了第八代TPU,首次将训练和推理拆分为两款独立的芯片;紧接着,市场上相继传出谷歌向英特尔下达大规模采购订单、谷歌拟与三星开发新一代TPU的消息。不过,谷歌方面对此均未作出公开回应。
但可以预见的一个趋势是,随着谷歌TPU的大幅入局,过去几年作为AI算力代名词的GPU,不再是唯一的选择。当算力需求从训练转向推理时代,TPU的优势开始凸显,从过去的“配角”愈加有站上主舞台之势。一位前谷歌TPU工程师在一档视频节目中介绍,GPU单机内部依靠NVLink、板载NVSwitch实现多卡互联,跨机架大规模集群还需额外采购交换机、光模块搭建高速网络,配套硬件是一笔大额基建开支;而TPU机柜内芯片可直接互通,仅在跨机柜扩展时使用自研光电路交换机,无需大批量采购商用高速交换设备,在同等集群通信性能下,整体部署硬件成本更低。