多任务贝叶斯上下文学习(Multi-Task Bayesian In-Context Learning)
一篇新论文提出"多任务贝叶斯上下文学习"方法,让仅解码器Transformer模型通过阅读示例数据集来学习任务的初始假设,无需改变权重即可调整预测。该方法将多个相关数据集置于目标示例之前,作为先验信念,模型学习任务间共享的隐藏结构并用于预测目标任务。在回归测试、重尾分布、复杂先验和气候数据上,该方法常能匹配贝叶斯参考预测,且运行速度比基于采样的推理快数个数量级。不过,在严重季节性偏移场景下仍暴露了重要局限。论文标题为"Multi-Task Bayesian In-Context Learning",发布于arXiv。