ComfyUI 画像生成:主要コントロールツール備忘録

画像生成(Stable Diffusion / ComfyUI)において、構図やキャラクター、画質を制御するための主要ツールまとめ。

ツール名カテゴリ主な目的参照画像
ControlNet構造制御ポーズ・構図の固定あり
IP-Adapter特徴制御キャラ・雰囲気のコピーあり
InstantID顔制御顔の完全一致(本人化)あり
Regional Prompter範囲制御場所ごとに描き分けなし
SAM選択制御特定部位の自動マスク生成画像
FreeU / SAG画質制御ディテールと質感の向上なし
ツール名導入に必要なカスタムノード名 (GitHub等)備考
ControlNet標準搭載(または ControlNet Integratedモデルファイルを指定フォルダに入れるだけ。
IP-AdapterComfyUI_IPAdapter_plusデ・ファクト標準の拡張。非常に高機能。
InstantIDComfyUI-InstantIDFaceIDよりもさらに強力な顔固定。
Regional PrompterComfyUI-Impact-Pack (Regional Prompt)画面分割だけでなく、マスクを使った指定も可能。
SAMComfyUI-Segment-AnythingGroundingDinoとセットで使うと文字で部位指定できる。
FreeU / SAG標準ノードに含まれる(Model patches内)FreeUSelfAttentionGuidance ノードを探せば即使用可。
読みたい箇所に飛べる目次

1. ポーズ・キャラ固定系

ControlNet (CN)

  • 役割: 構図の「設計図」。
  • 特徴: 棒人間(OpenPose)や輪郭線(Canny)などを使って、ポーズや背景の形を強制的に指定する。
  • 用途: 特定のポーズを取らせたい、背景の形を維持したい時。

IP-Adapter (IPA)

  • 役割: 「即席LoRA」・スタイルの参照。
  • 特徴: 参照画像を1枚入れるだけで、そのキャラの顔や服、絵の雰囲気を真似させる。
  • 注意: 参照画像のポーズや角度(顎を上げている等)も引き継ぎやすい。

IP=ImagePrompt、つまり参照画像がプロンプトの代わりになるということです。

InstantID

  • 役割: 顔のアイデンティティ(個体識別)の完全固定。
  • 特徴: IP-Adapterよりも「顔の造形」の維持に特化しており、「顔のパーツ配置」を物理的に固定するため、参照画像と全く違うポーズをとらせても、顔が別人になりにくい。
  • 用途: 1枚の写真から、本人そっくりのキャラを別のポーズで出したい時。

アニメモデルの絵柄を保ったまま、特定の人物(実写や別キャラ)の顔立ちを再現できます。
InstantIDは非常に強力ですが、専用のControlNetモデルInsightFaceというライブラリが必要になります。
特にInsightFaceのインストールが鬼門になることが多い。

2. 構図・範囲制御系

Regional Prompter

  • 役割: エリア別のプロンプト出し分け。
  • 特徴: 画面を分割し、「右側はキャラ、左側は背景」のように指定する。
  • 用途: プロンプトが混ざる(色移り)のを防ぎたい、複雑な配置を作りたい時。

SAM (Segment Anything Model)

  • 役割: AIによる「自動切り抜き」。
  • 特徴: 画像内の「服」「髪」「顔」などを自動で判別してマスクを作成する。
  • 用途: FaceDetailerのように、特定の部位だけを後からピンポイントで修正したい時。

FaceDetailer (Impact Pack)SAM と組み合わせることで「顔だけでなく、服だけを抽出して描き直す」といった応用が効くようになります。

3. 画質・クオリティ向上系

FreeU / SAG (Self-Attention Guidance)

  • 役割: 計算の工夫による画質底上げ。
  • 特徴: 参照画像などは不要。生成プロセスそのものを調整して、コントラストやディテールをクッキリさせる。
  • 用途: 追加学習なしで「なんか絵がボヤける」のを解消したい時。

この記事を書いた人

趣味の備忘録。

読みたい箇所に飛べる目次