Attention（注意機構）とは、文章の中のある単語を処理するときに、他のどの単語を強く参考にすべきかを、AIが自動的に判断して重みづけする仕組みです。人が長い文章を読むとき、重要な単語に自然と注意を向けるのと似ています。
図でみるAttention
- 01文中の各トークン
- 02関連度に応じた重み付き情報
Attentionは、ある単語を処理する際に、文中の他のどの単語をどれだけ重視すべきかを計算します。
具体例 Attentionの身近な例
「太郎は公園に行き、そこでボールを拾った」という文で、「そこ」が「公園」を指すと正しく理解できるのは、Attentionが「そこ」と「公園」の関連度を高く計算しているためです。
重要な点
- 文中のどの単語を重視すべきかを自動的に重みづけする計算方法
- Multi-Head Attentionにより、文法的・意味的な関係を複数の視点で捉えられる
- 離れた位置にある単語同士の関係も捉えられるため、長文の一貫性に直結する
技術的背景
[object Object]
よくある誤解
- Attentionは「注目度が高い単語だけを読む」機能ではなく、すべての単語同士の関係を重み付きで計算する仕組みです。
学習の前後関係
Attention
先に理解しておきたい用語
次に学ぶとよい用語
よくある質問
Attentionは何のために必要ですか？
長い文章の中でも、離れた位置にある関連語同士のつながりを捉えられるようにするためです。これにより文脈理解の精度が上がります。
