画像/動画/音声生成

LoRA (Low-Rank Adaptation)とは？

読み: ローラ英語: Low-Rank Adaptation

LLM や画像生成モデルを少量データで軽量ファインチューニングする手法。学習コスト・保存サイズを大幅削減。

詳しい解説

LoRA (Low-Rank Adaptation) は、大規模なモデルの全パラメータを更新する代わりに、低ランクな差分行列だけを学習することで、メモリ・計算コストを大幅に削減してファインチューニングを行う手法です。 2021 年に Microsoft が提案しました。

元モデルの重みは固定し、各 Attention 層に小さな (rank=4〜32 程度の) 行列ペアを追加してそれらだけを学習することで、数 MB〜数十 MB の小さな「アダプター」だけで効果的な専門化が可能になります。

画像生成では Stable Diffusion で特定キャラクター・画風を覚えさせる用途で広く使われ、LLM ではコスト効率の良いファインチューニング手法として QLoRA とともに普及しています。

特定のキャラクター、商品、絵柄を繰り返し生成したい場合に作ります。同じ見た目を保った画像を量産できるため、シリーズもののイラストや、商品カタログの制作で使われます。

クラウドソーシングでもLoRA作成は有償の作業として募集があり、画像生成の中では技術で差別化しやすい領域です。

ファインチューニングがモデル全体を作り替えるのに対し、LoRAは少量の追加部分だけを学習させる軽量な手法です。学習も配布もはるかに手軽で、1つのベースモデルに複数のLoRAを付け替えて使えます。

LoRA (Low-Rank Adaptation)を含む生成AIのスキルを体系的に身につけたい方は、AI HACK のスクールランキングをご活用ください。