Anthropic警告：AI可能很快进入自我加速阶段，等人类察觉或为时已晚

格隆汇11月3日｜Anthropic在11月2日更新的IPO招股书中警告，AI可能很快跨过“递归自我改进”(RSI)相关的关键门槛，让AI研发速度大幅加快。过去也出现过未能及时察觉研发进步显著加速，直到加速发生后才发现的情况。目前，Claude已经参与编写代码、运行实验和处理训练数据，帮助开发更强的下一代模型。新模型又能反过来加快后续研发，形成不断提速的循环。

按照Anthropic的安全政策，触及这道关键门槛有两种情况：

1、AI能以相近成本完成整个AI研究团队的工作；

2、或者让AI技术进步速度至少翻倍，把原本需要两年取得的进步压缩到一年。

随着AI越来越深入自身研发，模型能力可能增长得比安全评测、对齐研究和防护措施的更新还快。Anthropic目前尚未认定任何现有模型达到这一水平，此次预警主要基于内部估算和对未来模型的预测。目前正考虑修改安全政策，确保关键研发过程仍由人类监督和控制。