LoRA (Low-Rank Adaptation)とは？
読み: ローラ英語: Low-Rank Adaptation
LLM や画像生成モデルを少量データで軽量ファインチューニングする手法。学習コスト・保存サイズを大幅削減。
詳しい解説
LoRA (Low-Rank Adaptation) は、大規模なモデルの全パラメータを更新する代わりに、低ランクな差分行列だけを学習することで、メモリ・計算コストを大幅に削減してファインチューニングを行う手法です。 2021 年に Microsoft が提案しました。
元モデルの重みは固定し、各 Attention 層に小さな (rank=4〜32 程度の) 行列ペアを追加してそれらだけを学習することで、数 MB〜数十 MB の小さな「アダプター」だけで効果的な専門化が可能になります。
画像生成では Stable Diffusion で特定キャラクター・画風を覚えさせる用途で広く使われ、LLM ではコスト効率の良いファインチューニング手法として QLoRA とともに普及しています。
実務での使いどころ
特定のキャラクター、商品、絵柄を繰り返し生成したい場合に作ります。同じ見た目を保った画像を量産できるため、シリーズもののイラストや、商品カタログの制作で使われます。
クラウドソーシングでもLoRA作成は有償の作業として募集があり、画像生成の中では技術で差別化しやすい領域です。
混同しやすい用語との違い
ファインチューニングがモデル全体を作り替えるのに対し、LoRAは少量の追加部分だけを学習させる軽量な手法です。学習も配布もはるかに手軽で、1つのベースモデルに複数のLoRAを付け替えて使えます。
この分野を学べる生成AIスクール
LoRA (Low-Rank Adaptation)を含む生成AIのスキルを体系的に身につけたい方は、AI HACK のスクールランキングをご活用ください。