Attention mechanism目前有什么缺点和改进空间？

这个问题很好啊，万年潜水员也忍不住交流一下。

Attention不容易监督的问题几个答主说的很好了。我是做图像的，想结合CV上的问题，说点其他的。Attention作为一种思想，它的理想标签就是“快准狠”：

快：尽量做到light weight，否则就没意义了，毕竟attention的出发点就是来自人类视觉机制的Biased Competition Theory，正因为资源有限才要有竞争嘛；

准：过滤掉任务无关的信息；

狠：enhance任务相关的信息。

现在的attention model都能做到这几点，但代价是结果不够精确。所以这里有个很重要的问题，题主也说了，就是一旦一开始搞错了就尴尬了。

所以，第一个可能改进的方向就是attention model的error feedback机制。绝大多数的architecture都还是纯粹的forward结构，过去了就是过去了。而我们人类的attention更像是一个回溯搜索的过程，发现定位错了，是能够去关注其他地方的。这方面的工作，早期在ICCV 2015上有两篇，一个是look and think twice（严格意义上这是一篇通过task prior将general attention修正为task-specific attention的工作，不是真正意义上的error feedback），一个是Human pose estimation with iterative error feedback。后续工作肯定也有，只是我的小领域不是这个，就不太关注了。但是我依然相信，这个方向仍然有很多问题没有解决。首先，error feedback与现在大多数recurrent attention的一个不同，是在于如何估算当前attention的错误，从而回溯改变前一步预测的结果，而不是简单的coarse-to-fine或sequential inference。从learning的角度，这里也有一些东西和active/reinforcement learning的某些principle是比较类似的。如何定义当前结果的期望quality，采取什么样的action修正之前的attention？这里有很多值得做的问题。

第二个改进的方向是attention的collaborative机制。如果做error feedback这种iterative的操作，时间开销会很大。但是，不同于人脑的相对单线程，计算机比人的牛逼之处就在于可以一起上。比如在大街上找人，如果我们有三个分身，一个只关注脸；一个注意行为姿态，一个注意穿着。一个可能犯错，但一起来，大家互相竞争也互相合作，总能更快更准确的找到。所以，如何学习关注点都与task相关，但互相之间diverse并且compete的multi-agent attention model，也是我认为非常有意思的问题。

最后，CV领域很多open的方向对attention是有新的需求的。事实上越是复杂的task对attention的依赖程度就越高，因为这些问题的搜索空间往往都很庞大，例如因果推理。比如我们要识别一段长时间的足球赛事中，一段精彩的战术配合是在哪个时间段发生的，由哪些球员共同完成的？这个事件可能包含很长的、可变的时空范围，通过传统的attention机制是很难定义这个问题的。但是，如果我们结合局部区域的attention（例如球员区域），做一些attention-driven heuristic search则可行性会大很多。我们可以简单想象成基于优先队列的深搜过程，优先级是由对不同子区域的attention给出的。这里，也会有error feedback的问题，以在形势不对的情况下及时回溯。DL与传统search算法的结合已经成为可能，例如Combinatorial Optimization with Graph Convolutional Networks and Guided Tree Search这一篇。因此相信不久之后，类似的工作就会看到。再比如，Graph NN中是否能把现在的attention机制都做一遍？最近这方面的工作突然挺多的，估计就几次会议的窗口。多关注一些open的问题，也会为attention的下一步提供新的思路。

因为我并不搞attention的小领域，因此相关的前沿工作接触不多，相信上面的想法已经有很多工作涉及，也可能有一些错误。权作交流，希望能看到更多大佬对这个问题的理解。