PermuFormer 用 28 亿 token 的多任务预训练学习代数组合学中的 permutation representation

PermuFormer 是面向代数组合学 permutation tasks 的专用 autoregressive transformer。作者构建 2.8 billion-token 的 multi-task、multi-encoding corpus 进行预训练，并报告它在预训练未见的基础任务和更复杂的 research-level downstream tasks 上，常常优于从头训练的同架构模型、MLP baselines 和相近规模的通用语言模型。论文同时分析了模型内部表征，显示部分任务可直接从 prompt representation 线性解码，而另一些需要经过多轮生成后答案信息才显现。