[AI] Checkpoint & LoRA을 활용한 AI 이미지 화풍 정하기

📌 개요

 

 

생각해보니 가장 중요한 사실을 잊고 있었습니다. 그것은 바로 Checkpoint 모델과 LoRA 모델의 존재였습니다. 이는 AI 이미지의 화풍을 결정짓는데 매우 중요한 역할을 수행합니다. 오늘은 checkpoint와 LoRA가 무엇인지, 그리고 어떻게 프롬프트를 작성해야 하는지 알아보도록 하겠습니다.

 

 

 

 

이전 포스터에서 픽셀 사과를 제작해봤었죠. 메인 프롬프트를 살펴보시면 <lora:~~ :0.9> 라는 태그가 보일겁니다. 이 태그는 픽셀 화풍을 나타내는 가중치입니다. 만약 LoRA를 정의하지 않는다면 어떻게 될까요?

 

 

 

 

바로 픽셀 화풍이 사라지죠. 이처럼 어떤 모델을 사용하는지, 또는 메인 프롬프트와 네거티브 프롬프트를 어떻게 입력하냐에 따라 결과물이 크게 달라질 수 있습니다. 그래서 오늘은 어떻게 하면 원하는 AI 이미지의 화풍을 결정지을 수 있는지 살펴보겠습니다.

 

 

 

 

 

---

1. Checkpoint & LoRA란?

 

Checkpoint : 수백만 장의 이미지를 학습하여 모델 전체의 가중치(Weights)를 저장한 파일입니다.

 

실사, 애니메이션, 반실사 등 큰 틀에서의 아트 스타일을 결정합니다. 보통 2GB - 6GB 정도로 매우 큰 학습 데이터입니다.

 

 

 

LoRA : 베이스 모델(Checkpoint)의 전체 가중치를 건드리지 않고, 특정 화풍이나 캐릭터의 특징만을 효율적으로 학습시킨 소규모 가중치 파일입니다. 

 

특정 캐릭터의 외형, 특정 작가의 화풍, 특정 의상 등을 미세 조정(Fine-tuning) 합니다.

 

 

 

 

 

 

---

2. Checkpoint & LoRA 사용법

 

https://civitai.com/

Civitai: The Home of Open-Source Generative AI

 

 

여러분이 직접 Checkpoint & LoRA 모델을 학습시켜 제작할 필요는 없습니다.

위 사이트를 방문하여 이미 만들어진 모델을 가져다 쓰면 되거든요.

 

위 링크로 들어가 회원가입/로그인 을 진행해줍니다.

 

※ 회원가입/로그인 과정은 생략하겠습니다.

 

 

 

 

학습을 위해 검색창에 'pixel icon' 이라고 검색합니다.

 

 

 

 

그리고 왼쪽 사진의 모델을 선택합니다. 그러면 오른쪽 사진처럼 LoRA 모델에 대한 정보를 확인할 수 있습니다. 하단에 Download 버튼을 눌러 다운로드 해줍니다.

 

 

 

💡 여기서 중요한 사실!

LoRA 모델은 Checkpoint 모델의 가중치에서 얼마나 변했는가에 대한 델타 값입니다. 즉, 베이스 모델인 Checkpoint가 반드시 존재해야 합니다. 

 

 

예시 이미지를 클릭하면 PNG Info를 확인할 수 있습니다. 사진에서 좌측 하단을 살펴보면 어떤 Checkpoint가 사용됐는지 확인할 수 있죠. Kohaku-XL Epsilon 모델이 사용됐으니 해당 모델도 다운로드 받아줍니다.

 

 

 

 

이제 Checkpoint 모델도 다운로드 받아줍니다.

 

 

 

 

이제 Stability Matrix에서 체크포인트 매니저를 클릭합니다.

그 후 우측 상단에 점 3개를 눌러 모델 폴더를 클릭합니다.

 

※ 만약 Stability Diffusion WebUI 패키지를 실행하고 있는 상태라면 중지합니다.

 

 

 

 

그러면 위 사진처럼 수많은 폴더 중에 Lora와 StableDiffusion 폴더를 확인할 수 있을 겁니다.

아래처럼 모델을 폴더에 넣어주세요.

• LoRA 모델 : Lora 폴더
• Checkpoint 모델 : StableDiffusion 폴더

 

 

그 후 Stability Matrix로 돌아와 새로고침을 누르면 추가한 모델을 확인할 수 있습니다.

 

 

 

패키지 메뉴에서 Stable Diffusion WebUI 패키지를 실행합니다.

 

 

 

 

NAIA 2.0으로 돌아와 모델 선택에서 추가한 checkpoint 모델을 선택합니다.

 

 

 

 

그 후 <lora:gmic icon_Pixel style-000012:0.9> 토큰을 추가합니다.

LoRA 모델 토큰 규칙은 다음과 같습니다.

<lora:{LoRA 모델 명}:{가중치}>

 

이제 이미지 생성을 요청한다면?

 

 

짜잔, 예쁜 도트 이미지의 사과가 생성됐습니다!

 

 

 

 

---

3. 마무리

 

지금까지 우리는 NAIA 2.0을 활용한 이미지 생성 자동화, 와일드카드를 활용한 다양성 확보, 그리고 Checkpoint와 LoRA를 이용한 화풍 및 캐릭터 고정까지 마쳤습니다.

 

하지만 여기서 한 가지 아쉬운 점이 생길 겁니다. 우리가 지금까지 쓴 LoRA 모델은 결국 누군가 이미 만들어둔 모델이라는 점이죠. 내가 직접 기획한 게임의 주인공, 혹은 내 게임에서만 사용하는 독특한 화풍의 스킬 아이콘을 뽑고 싶은데, 인터넷에 올라온 모델들만으로는 부족한 느낌이 들 때가 분명히 옵니다. 내 머릿속에만 있는 그 디자인을 AI가 그리게 하려면 결국 나만의 커스텀 로라(Custom LoRA)가 필요합니다.

 

다음 포스팅에서는 나만의 커스텀 로라 제작 방법에 대해 알아보도록 하겠습니다.

감사합니다.