stable diffusion

Stable Diffusionを使って自分だけのLoRAモデルを作成する際、トレーニング過程で表示されるLoss値（損失値）について「あまり気にしなくていい」という情報を目にすることがあります。一般的な機械学習では、Loss値の...

NVIDIAの公式ドキュメント「Matrix Multiplication Background User's Guide」1には、GPU上での行列演算最適化に関する核心的な記述が存在します。LoRAのNetwork Dimを2の...

Stable DiffusionのLoRA（Low-Rank Adaptation）トレーニングでネットワーク次元（network dim, rank）を4や8、16、32など「2の冪」に設定するのが一般的なのは、計算効率や実装上...

要約 バッチサイズの増加がLossの安定性に与える影響について、理論的根拠と実証的研究を統合的に分析した結果、以下の主要な知見が得られた。大規模バッチサイズは勾配推定のノイズ低減を通じてLoss曲線の平滑化を促進し、特に分散...

はじめに 課題の概要 Stable Diffusionをはじめとする画像生成AIフレームワークにおいて、Low-Rank Adaptation（LoRA）モデルを複雑なシーン、ポーズ、あるいは詳細な被写体についてトレー...

I. Stable DiffusionにおけるLoRAの導入 A. LoRA（Low-Rank Adaptation）の定義 LoRA（Low-Rank Adaptation）は、大規模な事前学習済みモデルを効率的にフ...

概要 本レポートは、近年の大規模画像生成モデルのファインチューニングにおいて広く採用されているLoRA（Low-Rank Adaptation）技術、特にその重要なハイパーパラメータである「Network Dimension...

Stable Diffusionの登場により、高品質な画像生成が個人レベルでも可能になりました。より特定のスタイルやキャラクターを生成するためには、モデルの微調整（fine-tuning）技術が重要な役割を果たします。本記事では、...

バッチサイズはLoRAトレーニングの重要なハイパーパラメータの一つであり、学習効率、品質、メモリ使用量に直接影響します。適切な設定は効果的なLoRAモデルの作成に不可欠です。 バッチサイズの基本概念 バッチサイズとは、...

これは「Navigating Text-To-Image Customization: From LyCORIS Fine-Tuning to Model Evaluation」の要約日本語版です。 この論文は、テキスト→画...

LoRAのネットワーク次元数（Dim）とは何か LoRA（Low-Rank Adaptation）では、事前学習済みモデルに対し小さな学習可能パラメータ群（低ランク行列）を追加してモデルを微調整します。ネットワーク次元数（N...

はじめに Low-Rank Adaptation（LoRA）は、大規模な事前学習済み拡散モデルを効率的にファインチューニングするための技術として登場しました。LoRAは、少数の追加の重み行列を導入することで、比較的小さなデー...

LyCORISとは、sd-scriptsで利用可能な追加プログラムを提供するプロジェクトです。Loraの仕様を拡張した様々な学習用のアルゴリズムの集まりで、KohakuBlueleaf氏（琥珀青葉氏）によって開発されました。 ...

network dimとnetwork alphaは、Stable DiffusionのLoraモデルのトレーニング中に使用される設定パラメータですが、モデルに対して少し異なる影響を与えます。 network rank（di...

Loraメタデータを削除したい Loraには、モデルデータの他に、トレーニング設定データやプロンプト情報などのメタデータ情報などが記録されています。Civitaiやtensor.artなどにLoraをアップロードする場合、ダ...