Stable Diffusionで横長の絵を描きたい

PCの壁紙は横長
結論
904 x 512、ControlNet無
904 x 512、ControlNet有
1024 x 512、ControlNet無
1024 x 512、ControlNet有
1280 x 720、ControlNet無
1280 x 720、ControlNet有
1440 x 720、ControlNet無
1440 x 720、ControlNet有
1. 関連

PCの壁紙は横長

なぜ横長の絵を描きたいかというと、PCの画面のアスペクト比が16:9だから、というだけのことですw

さて。メモリ64GBのMac StudioでStable Diffusionしていると、搭載しているメモリの限界なのかStable Diffusionのソフトウェアとしての限界なのか、出力できる画像のサイズには限度がある。単純にピクセル数だけで見ると、メモリ64GBのMac Studioだと1024 x 1024 = 1,048,576ピクセルまでは出力できるようで、これを超えない代表的なアスペクト比は以下の通り。

3:2、1248 x 832
4:3、1176 x 882
16:9、1360 x 765
11:8、1199 x 872
2:1、1440 x 720

これらのピクセル数であれば、例えば画像の下の方だけグチャグチャになるといったことは起きない。ただ、ことはそう単純ではなく、Stable Diffusionは512 x 512という正方形で学習しているため、どんなアスペクト比でもプロンプト通りに出力できるわけでない。おおむね人物を描写している画像ではポートレート、つまり縦長の画像が多く、風景を描写している場合はランドスケープ・横長の画像が多いので、アスペクト比によってSDが出力する画像にも「傾向」がある。

またControlNetもこのアスペクト比によって得手・不得手があるようで、どうすれば横長の絵を意図した通りに出力できるのか検証してみた。

結論

先に結論を書いておく。

	ControlNet無	ControlNet有
904 x 512(16:9)	プロンプトに従おうとするが画像が乱れる	プロンプトに従おうとするがグチャグチャ
1024 x 512(2:1)	概ねプロンプトに従う。	ほぼ意図通りに出力
1280 x 720(16:9)	プロンプトは無視	ほぼ意図通りに出力
1440 x 720(2:1)	プロンプトは無視、グチャグチャ	ほぼ意図通りに出力

プロンプト、ControlNetについては共通の設定とし、全てRestore facesはon。

a detailed photo of full body of 1girl, solo, (masterpiece:1.0), (best quality:1.4), (ultra highres:1.2), (photorealistic:1.4), 8k resolution, Canon EOS R5, 50mm, absurdres, ultra detailed, professional lighting

EasyNegative, NSFW, bad anatomy, skindentation, bad hands, extra fingers, (bad_prompt_version2:0.8), paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), (sepia), (deformed iris, deformed pupils, semi-realistic, 3d, render, cg, painting, drawing, cartoon, anime, comic:0.6), watermark, bad_quality