Self-Attentionとは？
読み: セルフアテンション英語: Self-Attention
入力シーケンス内の各トークンが他の全トークンとの関連度を計算する Transformer の中核機構。
詳しい解説
Self-Attention は Transformer の中核機構で、入力シーケンス内の各トークンが他の全トークンに対して「どの程度関連するか」のスコアを計算し、その重みで他トークンの情報を取り込む仕組みです。
具体的には、各トークンを Query / Key / Value の 3 つのベクトルに射影し、Query と全 Key の内積で関連度スコア (Attention Weights) を計算、それを Value に重み付き加算して新しい表現を得ます。
これにより「主語と動詞の対応」「代名詞の指す先」「文脈的に重要な単語」などを自動的に統合でき、長文の理解力・文脈追従性が大幅に向上しました。 LLM が「長い前提を覚えて整合的に答える」能力の源泉です。
この分野を学べる生成AIスクール
Self-Attentionを含む生成AIのスキルを体系的に身につけたい方は、AI HACK のスクールランキングをご活用ください。