StableDiffusion(스테이블 디퓨전) 사용기 - 04 원하는 포즈로 이미지 생성하기 / ControlNet 설치 (컨트롤넷 설치), Open Pose(오픈 포즈)

StableDiffusion(스테이블 디퓨전) 사용기 - 04

 

오늘은 원하는 포즈로 이미지를 생성해보려고 합니다.

 

[컨트롤넷 설치]

일단 컨트롤 넷이라는 확장 기능을 먼저 설치하겠습니다.

StableDiffusion 웹 UI에서 Extension 탭으로 들어가주세요.

그리고 Install from URL 탭에서

아래 URL을 입력해주고 Install 버튼 클릭하여 설치해줍니다.

https://github.com/Mikubill/sd-webui-controlnet

 

 

설치가 완료되었다면 Installed 탭으로 가셔서

sd-webui-controlnet을 확인해주신후 Apply and restart UI 버튼을 클릭해줍니다.

 

 

그리고 txt2img로 가보신 뒤 ControlNet 드롭다운 메뉴가 보인다면 성공입니다.

 

 

[오픈포즈 모델 설치]

이제 컨트롤넷 오픈포즈를 사용하기 위한 별도의 모델을 설치하겠습니다.

lllyasviel/ControlNet-v1-1 at main (huggingface.co)

 

위 링크에서 openpose.pth를 다운받아줍니다.

 

다운 받은 파일을 아래 경로로 옮겨주세요.

안에 이미 여러 파일들이 있을텐데 그냥 넣어줍니다.

 

C:\Une\AI\stable-diffusion-webui\extensions\sd-webui-controlnet\models

 

그리고 StableDiffusion을 다시 시작해줍니다.

아까 txt2img 탭에서 확인했던 ControlNet 드롭다운 메뉴를 클릭하신 뒤

Model 탭에서 openpose 관련 항목이 확인되시면 성공입니다.

 

 

 

[오픈포즈 사용]

일단 원하는 포즈가 담긴 이미지를 가져옵니다.

원본 이미지

저는 요 이미지를 사용해보겠습니다.

저작권 없는 이미지 사이트인 Pexels에서 가져와봤습니다.

무료이미지, 저작권 없는 이미지, 무료 이미지 사이트 | Pexels

 

 

원본 이미지를 왼쪽에 올려주시고, 노란색 표시한 것들을 모두 체크해줍니다.

- Enable

• 컨트롤넷 기능을 활성화 할지 정해줍니다.

- Low VRAM

• VRAM이 8GB 이하일 때 켜주면 된다고 합니다. 저는 이건 빼고 해도 될것 같아서 빼주었습니다. 

- Pixel Perfact

• 이미지 비율을 알아서 조절해준다고 합니다.

- Allow Preview

• 원본이미지 오른쪽에 미리보기 창이 생깁니다.

- openpose_full

 

 

그리고 원하는 키워드를 입력해주고, Generate 해줍니다.

 

결과물	openpose 결과

원본 이미지와 같이 바지에 손 넣은것까지 표현되었군요 ㅎㅎ

 

 

위 이미지 생성하는데 사용된 키워드는 아래와 같습니다.

 

긍정

• masterpiece, best quality, girl, wearing jeans, wearing sunglass, gun

부정

• lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name, freckle

 

 

 

 

다음 포스팅에서는 다중 컨트롤넷을 사용하여 이미지 생성을 해보겠습니다.