导读 谷歌在推出影响AI行业长达8年的Transformer架构后，发布了全新的Titans架构。Titans旨在解决Transformer在记忆长上下文方面的局限，通过引...
谷歌在推出影响AI行业长达8年的Transformer架构后，发布了全新的Titans架构。Titans旨在解决Transformer在记忆长上下文方面的局限，通过引入长期神经记忆模块，在测试时实现更好的记忆功能。该架构能够将上下文窗口扩展到200万tokens，在语言建模、常识推理、基因组学和时序预测任务上表现优异。
Titans架构包含三种变体：记忆作为上下文（MAC）、记忆作为门（MAG）和记忆作为层（MAL），分别通过不同的方式将神经记忆融合到系统中。实验结果表明，Titans架构比Transformer和近年来的现代线性循环模型更有效，且在处理非常长的序列时表现更佳。此外，谷歌还详细介绍了长期神经记忆模块的训练和检索方法，以及如何并行化训练过程。