그림 그리는 AI, 내 이미지로 학습시키는 방법, Stable Diffusion DreamBooth(train) Tutorial

1. Dreambooth extention 설치 후 모델 생성

최신 모델 중에 orangemix3 를 이용한다. 

 

 

 

2. Training 셋팅

 

lora를 사용하도록 설정하고 대부분 그대로 유지

 

 

내 그래픽카드는 3060으로 메모리가 작기때문에 아래와 같이 셋팅해 준다. 

xformers가 설치 되지 않았을 경우에 

web-ui.bat 파일을 열어서 아래 내용을 추가해 준다.

set COMMANDLINE_ARGS= --xformers

3. Concept 셋팅

모델 학습의 파라미터도 중요하지만

이 모델의 방향성도 중요하다. 

prompts 에 들어갈 내용들은 실제 이 모델을 활용할 때도 사용 되는 정보들이다. 

모델 학습 전에 base model (orange mix3)로 txt2img 창에서 다양하게 입력해보고 내가 원하는 최적의 조합을 사용한다. 

이 prompt로 학습 데이터도 생성하기 때문에 실제 학습 후에 사용될 이미지를 고려해서 잘 준비해야 한다. 

 

4. Saving 에 모델 네임 넣고 학습 시작!

sample을 생성 하는데 원하는 이미지가 잘 나오는지 확인하고 계속 진행 한다. 

 

 

 

[참고자료] 

https://youtu.be/mfaqqL5yOO4