StableDiffusion(스테이블 디퓨전) 사용기 - 05
멀티 컨트롤넷을 사용해봅시다.
OpenPose 와 Depth를 사용해보겠습니다.
OpenPose로 원하는 자세를 취한 인물을
Depth 깊이맵 배경에 넣어보겠습니다.
[멀티 컨트롤넷 설정]
멀티 컨트롤넷을 사용하려면 설정해줘야 할게 있습니다.
요 UI가 보이지 않아서 당황했는데 검색해도 잘 나오지 않더라구요.
요 ControlNet Unit 을 여러개 사용하는 탭이 보이지 않는 경우 세팅해줘야 할게 있습니다.
스테이블 디퓨전 웹UI에서 Settings 탭으로 가신 뒤 좌측 메뉴에서 ControlNet으로 들어가줍니다.
그리고 MultiControlNet: Max models amount 라는 항목을 보시면 기존적으로 3개로 세팅되어있습니다.
그런데 뭔가 기본적으로 적용되어있지는 않더라구요...
그냥 요 상태에서 상단에 ApplySettings 를 눌러준 뒤, 재시작하거나 Reload UI 해주면 ControlNet Unit 설정하는 탭이 보이실겁니다!
[멀티 컨트롤넷 사용]
일단 Unit 0 에는 저번 포스팅에서 사용한 이미지로 OpenPose 모델을 사용해봤습니다.
StableDiffusion(스테이블 디퓨전) 사용기 - 04 원하는 포즈로 이미지 생성하기 / ControlNet 설치 (컨트롤
StableDiffusion(스테이블 디퓨전) 사용기 - 04 오늘은 원하는 포즈로 이미지를 생성해보려고 합니다. [컨트롤넷 설치] 일단 컨트롤 넷이라는 확장 기능을 먼저 설치하겠습니다. StableDiffusion 웹 UI에서
une-develop.tistory.com
좌측에 원본 이미지를 넣고 폭발하는듯한(?) 아이콘 클릭을 해주시면 생성됩니다.
그 다음 Unit 1로 넘어가서 Depth 모델 사용해보겠습니다.
Preprocessor, Model을 설정해준 뒤, 폭발 아이콘 눌러줍니다.
원본 이미지는 요거 사용했습니다.
이미지는 Pexels 에서 다운받았습니다.
무료이미지, 저작권 없는 이미지, 무료 이미지 사이트 | Pexels
그리고 원하는 키워드를 입력해줍니다.
boy, city, night를 넣어줬습니다.
그리고 Generate를 했더니?
...
처음에는 실패를 했습니다.
배경은 잘 나왔고...
뭔가 그림자? 실루엣? 같은 것이 보이기는 하는데 제가 원하던 이미지가 아니네요.
그래서 인물 모델 사진과 배경 사진의 크기나 옵션 설정이 문제인가 싶어서 약간 수정을 했습니다.
일단 이미지 크기를 길쭉하게 조절했습니다.
Width 512 / Height 760
Unit 0 (open pose)에서는
Resize Model을 'Resize and Fill' 로 변경했습니다.
Unit 1 (depth)에서는
Control Weight을 1에서 0.8로 변경했습니다.
그리고 다시 Generate 해봤더니....
원하는 이미지가 생성되었습니다.
다만 뒤를 돌아보는것으로 변경되었는데, 상황상 더 자연스러운것 같네요.
그리고 얼굴 상태가 좋지 못하군요...ㅎㅎ
한번 inpaint 기능으로 얼굴만 다시 그려봤습니다.
결과물을 Send to img2img로 보내신 뒤에
inpaint sketch 클릭하고, 얼굴만 색칠해주고 Generate 해봅니다.
뭐... 변화하긴 했으나 그닥 나아지진 않았네요. ㅎㅎ ㅠㅠ
 |
 |
읽어주셔서 감사합니다.