Meta开源创新大模型架构AU-Nets

格隆汇7月23日｜据AIGC开放社区，Meta的研究人员开源了创新架构AU-Net，过引入一种自回归的 U-Net 架构，彻底改变了传统语言模型的分词和处理模式。AU-Net 能够直接从原始字节开始学习，动态地将字节组合成单词、词对，甚至多达四个单词的组合，形成一种多尺度的序列表示。