Transformerとは？

詳しい解説

Transformer は 2017 年に Google の論文 "Attention is All You Need" で提案されたニューラルネットワーク アーキテクチャで、現代の LLM (GPT/Claude/Gemini/Llama) の基盤となっています。

最大の特徴は Self-Attention 機構で、入力シーケンス内の各トークンが他の全トークンとの関連度を計算し、文脈情報を効率よく統合できます。 RNN/LSTM のような逐次処理を不要とし、並列計算が可能なため、大規模データ・大規模モデルでの学習が現実的になりました。

エンコーダ・デコーダ構造、Multi-Head Attention、Position Encoding などの構成要素を持ち、その後 BERT・GPT・T5・LLaMA・Mixtral など多くの派生モデルが提案されています。