LoRA (Low-Rank Adaptation)とは？
読み: ローラ英語: Low-Rank Adaptation
LLM や画像生成モデルを少量データで軽量ファインチューニングする手法。学習コスト・保存サイズを大幅削減。
詳しい解説
LoRA (Low-Rank Adaptation) は、大規模なモデルの全パラメータを更新する代わりに、低ランクな差分行列だけを学習することで、メモリ・計算コストを大幅に削減してファインチューニングを行う手法です。 2021 年に Microsoft が提案しました。
元モデルの重みは固定し、各 Attention 層に小さな (rank=4〜32 程度の) 行列ペアを追加してそれらだけを学習することで、数 MB〜数十 MB の小さな「アダプター」だけで効果的な専門化が可能になります。
画像生成では Stable Diffusion で特定キャラクター・画風を覚えさせる用途で広く使われ、LLM ではコスト効率の良いファインチューニング手法として QLoRA とともに普及しています。
この分野を学べる生成AIスクール
LoRA (Low-Rank Adaptation)を含む生成AIのスキルを体系的に身につけたい方は、AI HACK のスクールランキングをご活用ください。