
画像生成(Stable Diffusion / ComfyUI)において、構図やキャラクター、画質を制御するための主要ツールまとめ。
| ツール名 | カテゴリ | 主な目的 | 参照画像 |
| ControlNet | 構造制御 | ポーズ・構図の固定 | あり |
|---|---|---|---|
| IP-Adapter | 特徴制御 | キャラ・雰囲気のコピー | あり |
| InstantID | 顔制御 | 顔の完全一致(本人化) | あり |
| Regional Prompter | 範囲制御 | 場所ごとに描き分け | なし |
| SAM | 選択制御 | 特定部位の自動マスク | 生成画像 |
| FreeU / SAG | 画質制御 | ディテールと質感の向上 | なし |
| ツール名 | 導入に必要なカスタムノード名 (GitHub等) | 備考 |
| ControlNet | 標準搭載(または ControlNet Integrated) | モデルファイルを指定フォルダに入れるだけ。 |
|---|---|---|
| IP-Adapter | ComfyUI_IPAdapter_plus | デ・ファクト標準の拡張。非常に高機能。 |
| InstantID | ComfyUI-InstantID | FaceIDよりもさらに強力な顔固定。 |
| Regional Prompter | ComfyUI-Impact-Pack (Regional Prompt) | 画面分割だけでなく、マスクを使った指定も可能。 |
| SAM | ComfyUI-Segment-Anything | GroundingDinoとセットで使うと文字で部位指定できる。 |
| FreeU / SAG | 標準ノードに含まれる(Model patches内) | FreeU や SelfAttentionGuidance ノードを探せば即使用可。 |
読みたい箇所に飛べる目次
1. ポーズ・キャラ固定系
ControlNet (CN)
- 役割: 構図の「設計図」。
- 特徴: 棒人間(OpenPose)や輪郭線(Canny)などを使って、ポーズや背景の形を強制的に指定する。
- 用途: 特定のポーズを取らせたい、背景の形を維持したい時。
IP-Adapter (IPA)
- 役割: 「即席LoRA」・スタイルの参照。
- 特徴: 参照画像を1枚入れるだけで、そのキャラの顔や服、絵の雰囲気を真似させる。
- 注意: 参照画像のポーズや角度(顎を上げている等)も引き継ぎやすい。
IP=ImagePrompt、つまり参照画像がプロンプトの代わりになるということです。
InstantID
- 役割: 顔のアイデンティティ(個体識別)の完全固定。
- 特徴: IP-Adapterよりも「顔の造形」の維持に特化しており、「顔のパーツ配置」を物理的に固定するため、参照画像と全く違うポーズをとらせても、顔が別人になりにくい。
- 用途: 1枚の写真から、本人そっくりのキャラを別のポーズで出したい時。
アニメモデルの絵柄を保ったまま、特定の人物(実写や別キャラ)の顔立ちを再現できます。
InstantIDは非常に強力ですが、専用のControlNetモデルとInsightFaceというライブラリが必要になります。
特にInsightFaceのインストールが鬼門になることが多い。
2. 構図・範囲制御系
Regional Prompter
- 役割: エリア別のプロンプト出し分け。
- 特徴: 画面を分割し、「右側はキャラ、左側は背景」のように指定する。
- 用途: プロンプトが混ざる(色移り)のを防ぎたい、複雑な配置を作りたい時。
SAM (Segment Anything Model)
- 役割: AIによる「自動切り抜き」。
- 特徴: 画像内の「服」「髪」「顔」などを自動で判別してマスクを作成する。
- 用途: FaceDetailerのように、特定の部位だけを後からピンポイントで修正したい時。
FaceDetailer (Impact Pack) とSAM と組み合わせることで「顔だけでなく、服だけを抽出して描き直す」といった応用が効くようになります。
3. 画質・クオリティ向上系
FreeU / SAG (Self-Attention Guidance)
- 役割: 計算の工夫による画質底上げ。
- 特徴: 参照画像などは不要。生成プロセスそのものを調整して、コントラストやディテールをクッキリさせる。
- 用途: 追加学習なしで「なんか絵がボヤける」のを解消したい時。