数日前に sdxl を簡単に体験しましたが、効果は非常に驚くべきものでした。sd の原生モデルはそれほどでもありませんが、xl のアプローチは AI による絵画に新しい時代を開くものでした。
最適化 refine#
sdxl は他の一般的なモデルとは異なり、今回のモデルは 2 つのバージョンが公開されました。一つは基本モデルで、出力に一般的に使用されるモデルですが、もう一つは refiner モデルで、このモデルは出力には参加せず、画像の最終段階での最適化修復に介入します。つまり、sdxl は実際には 1 枚の画像に対して 2 つのモデルを走らせる必要があり、基本モデルが基本的な出力を完了した後、refiner に最適化を任せます。このようにすることで、出力が直接的に改善される効果があり、sd では描き崩れやすい部分が解決されました。
実際には lora と cn を組み合わせることで、非常に良い画像を出力することが基本的に可能です。
欠点#
欠点も明らかで、今回の sdxl モデルは非常に大きく、2 つのモデルを合わせると 14g を超えます（おそらくスタイルの多さが原因でしょうか？）。さらに、今回の sdxl はコンピュータの構成に対する要求が再び高まり、webui 版では 8g の VRAM が必要で、低スペックのマシンでは comfyui を選択して体験することをお勧めします。
出力方法#
出力方法についてですが、1.6.0 以前のバージョンを使用している場合は、まず基本モデルで出力し、その後画像生成で refiner モデルを走らせることで基本的に同じ効果が得られます。もしあなたの sdwebui が 1.6.0 以降であれば、webui にはすでに refiner プラグインが搭載されており、モデルを選択し、切り替えのタイミングを調整するだけで直接出力できます。
多様なスタイル#
今回の sdxl モデルのもう一つの特徴は多様なスタイルです。つまり、どんなスタイルでも描けるということです（描かれるものは一般的ですが、リアルな人間の表現はまあまあで、二次元は一般的です）。sdxl_stylesというプラグインをインストールすることをお勧めします。これによりスタイルの切り替えが便利になります。さもなければ、大量のタグを覚える必要があります。
まとめ#
sdxl は原生モデルが依然としてあまり良くありませんが、微調整や二次開発のモデルが必要です。しかし、この新しい出力のアプローチは AI による絵画に革命をもたらすものであり、より良い画像を期待しています！
この記事は Mix Space によって xLog に同期更新されました。原始リンクは https://blog.xiaohan-kaka.me/posts/ai/sdxl