Self-Attentionとは？

詳しい解説

Self-Attention は Transformer の中核機構で、入力シーケンス内の各トークンが他の全トークンに対して「どの程度関連するか」のスコアを計算し、その重みで他トークンの情報を取り込む仕組みです。

具体的には、各トークンを Query / Key / Value の 3 つのベクトルに射影し、Query と全 Key の内積で関連度スコア (Attention Weights) を計算、それを Value に重み付き加算して新しい表現を得ます。

これにより「主語と動詞の対応」「代名詞の指す先」「文脈的に重要な単語」などを自動的に統合でき、長文の理解力・文脈追従性が大幅に向上しました。 LLM が「長い前提を覚えて整合的に答える」能力の源泉です。

実務での使いどころ

実務で直接設定する項目ではありませんが、「なぜ長い文章ほど処理コストが上がるのか」を理解する鍵になります。入力が長くなると計算量が急増するため、トークン数の設計に影響します。

混同しやすい用語との違い

アテンションは「どの単語に注目するか」を決める仕組み全般を指し、自己注意機構はその中でも同じ文章内の単語同士の関係を見るものです。翻訳のように別々の文章の間で注目し合う仕組みとは区別されます。