
Attention Mechanism可以對模型的輸入的每個部分(區域),賦予不同的權重,以抽取出局部關鍵的資訊,使模型做出更精準確的判斷。Attention in deep learning localizes information in making predictions.
Attention Mechanism與人類對外界事物的觀察機制很類似,當人類觀察外界事物的時候,一般不會把事物當成一個整體去看,往往傾向於根據需要選擇性的去獲取被觀察事物的某些重要部分,比如我們看到一個人時,往往先Attention到這個人的臉,然後再把不同區域的資訊組合起來,形成一個對被觀察事物的整體印象。
Attention Mechanism用於提升RNN(LSTM或GRU)的Encoder + Decoder模型的效果的的機制(Mechanism)。Attention Mechanism廣泛應用於機器翻譯、語音識別、影象標註(Image Caption)等很多領域。
Attention的成功,是在於賦予了模型區分辨別的能力。