[AI] LoRA 모델 커스텀 제작하기

📌 개요

 

 

 

이전 포스터에서 남들이 학습시킨 모델 사용법에 대해 배웠습니다. 남들이 학습시킨 다양한 모델을 활용하여 WOW 게임 느낌의 화풍을 내거나, 또는 픽셀 느낌의 아이콘을 제작할 수 있죠.

 

하지만 게임을 개발하다 보면 "내가 직접 그린 이 캐릭터만 똑같이 나오게 할 순 없을까?" 혹은 "우리 게임만의 독특한 화풍을 AI에게 가르치고 싶다"는 생각이 드실 겁니다. 그래서 오늘은 코딩 하나 없이 여러분이 원하는 화풍의 모델인, '커스텀 로라(LoRA) 만들기'에 대해 알려드리도록 하겠습니다.

 

 

 

 

 

---

1. 학습을 위한 샘플링 이미지 수집

 

샘플링 이미지 조건

 

① 개수 : 캐릭터의 경우 최소 15장 정도는 있어야 하며, 20장~30장이 가장 좋습니다. 만약 게임의 아이콘이라면 30~50장 정도가 적당합니다.

② 해상도 : 최소 512px 이상은 되어야 하며, 최근엔 1024x1024 정도의 고화질 사진을 선호합니다.

③ 스타일 : 가장 중요한 포인트입니다. 선의 굵기, 채색 방식, 배경 처리 등 그림체를 유지하는 것이 중요합니다. 캐릭터의 경우 다양한 구도와 각도가 중요하지만, 게임 아이콘의 경우 스타일을 유지하는 것이 좋습니다.

 

※ 이미지 개수가 많거나 과한 고해상도는 오히려 학습에 방해가 됩니다.

 

 

 

 

 

 

---

2. LoRA 학습 데이터 세팅

 

https://colab.research.google.com/github/hollowstrawberry/kohya-colab/blob/main/Dataset_Maker.ipynb#scrollTo=HuJB7BGAyZCw

Dataset_Maker.ipynb

 

위 URL은 여러분이 코딩 없이 간편하게 LoRA 모델을 학습시킬 수 있는 Colab 파일입니다.

위 파일은 오픈소스 공유파일이므로 본인의 구글 드라이브로 가져와 새로운 사본을 제작해야 합니다.

 

 

 

위 링크에 접속하여 [ 파일 ] - [ 드라이브에 사본 저장 ] 을 누릅니다.

 

 

 

그러면 여러분의 구글 드라이브에 사본 파일이 생성된 것을 확인할 수 있습니다.

파일명은 자유롭게 설정해주세요. 저는 Casual_Skill_Icon으로 지었습니다.

 

 

 

 

 

 

첫번째로 Setup 버튼을 눌러줍니다. 이 단계에서 데이터 셋을 구글 드라이브에 생성하는 작업을 수행합니다.

 

 

 

 

필요 시 드라이브 접근 권한을 허용하라는 알림창이 등장합니다.

Google Drive에 연결을 눌러 접근을 허용합니다.

 

 

 

 

작업이 끝났다면 Loras 경로에 파일명의 폴더가 생성된 것을 확인할 수 있습니다.

 

 

 

 

 

 

Loras 폴더에 들어가면 프로젝트 폴더가 있고, 그 안에 dataset 폴더가 존재합니다.

여기에 여러분의 학습 이미지를 모두 넣어주시면 됩니다.

 

※ webp 또는 jfif 확장자 파일은 지원하지 않습니다. png, jpg, jpeg 확장자 파일을 추가합니다.  

 

 

 

 

 

 

다시 Colab 파일로 돌아옵니다.

이때, 2번(Scrape images from Gelbooru) 과정은 넘어갑니다.

 

※ 이미지가 없을 경우 자체적으로 웹 서칭을 통해 수집하는 기능인데,

수집 이미지의 퀄리티가 좋지 않습니다.

 

따로 파라미터를 세팅할 필요 없이 3번(Curate your images) 과정을 수행합니다.

이 과정은 추가한 이미지 중에서 학습에 활용할 이미지를 취사 선택하는 과정입니다.

 

이 작업은 몇 분 정도 소요됩니다.

 

 

 

 

 

 

그 후 4번(Tag your images) 과정을 수행합니다. 이때, 여러분의 이미지 화풍에 따라 method를 설정합니다.

애니메이션에 가깝다면 Anime tags을, 실사풍에 가깝다면 Photo captions을 선택합니다.

설정이 끝났다면 실행해줍니다.

 

이 작업은 몇 분 정도 소요됩니다.

 

 

 

 

 

5번(Curate your tages) 과정은 넘어가도록 하겠습니다. 이 작업은 활성화 태그를 추가하는 작업으로,

대부분 LoRA 모델 전체를 가중치로 조절하여 사용하기 때문에 굳이 실행하지 않아도 됩니다.

 

 

마지막으로 6번(Ready) 과정을 실행합니다.

그러면 이제 LoRA 학습을 위한 데이터 세팅이 끝나게 됩니다.

 

 

 

 

 

---

3. LoRA 트레이너 실행

 

 

데이터 셋 작업이 무사히 끝났다면 Click here to open the Lora trainer 버튼이 등장합니다.

해당 버튼을 눌러 LoRA 트레이너 파일을 열어줍니다.

 

 

 

 

LoRA 트레이너 파일에서 Drive에 사본 저장을 눌러 사본을 생성합니다.

사본 파일의 이름은 자유롭게 정하면 되며, 저는 Casual_Skill_Icon_Trainer라고 명명하겠습니다.

 

 

 

 

 

 

먼저 트레이닝 모델을 Stable Diffusion으로 설정합니다.

 

 

 

 

만약 다른 Checkpoint 모델을 사용하고 싶다면 다운로드 URL을 복사하여

optional_custom_training_model_url 에 경로를 붙여넣기 해줍니다.

 

 

※ 다운로드 URL 얻는 법 : Civitai 사이트에서 Download 버튼 우클릭 후 링크 주소 복사 클릭

 

 

만약 Checkpoint 모델의 Base가 SDXL이라면 아래 참고하세요.

 

LoRA 모델은 어떤 Checkpoint 모델을 기준으로 학습하는 지에 따라 Trainer도 달라져야 합니다.

Base 모델이 SDXL이라면 XL Lora Traniner을 선택합니다.

 

 

 

Civitai 사이트에서 다운로드 받은 Checkpoint 모델이라면 사이트에서 Base Model을 확인할 수 있습니다.

이제 Checkpoint 모델을 구글 드라이브에 추가해줍니다.

 

 

그 후 [ 내 드라이브 연결 ] 을 시도하여 구글 드라이브에 연결합니다.

 

 

 

그리고 Checkpoint 모델을 우클릭하여 경로를 복사합니다.

 

 

 

 그 후 optional_custom_training_model에 붙여넣어 아래 단계로 넘어갑니다.

 

 

 

그 후 Steps 단계를 세팅할 차례입니다.

 

① num_repeats

 

이때, num_repeats 값은 이미지 개수와 곱했을 때 200~400 사이를 추천합니다.

예를 들어, 이미지 개수가 30개라면 num_repeats는 10이 적당하겠죠.

 

 

 

 

② preferred_unit

 

Epochs라면 10을, Step이라면 2000을 추천합니다.

따로 설정할 필요 없이 [ Epochs - 10 ] 으로 설정합니다.

 

 

 

 

③ train_batch_size

 

배치 사이즈는 2~3을 추천합니다.

배치 사이즈를 늘리면 학습 속도가 빨라지지만,

모델 품질이 저하될 수 있으니 2로 설정합니다.

 

 

 

 

다음은 Structure 단계를 세팅하겠습니다.

lora_type을 LoRA로 설정해줍니다.

 

 

 

 

그 후 위 추천 표에 맞춰 network_dim과 network_alpha를 설정합니다.

기본값으로 세팅하면 됩니다.

 

 

 

 

이제 상단으로 돌아와 Setup 버튼을 눌러줍니다.

 

 

 

 

그러면 위 사진처럼 학습을 시작합니다.

학습 시간은 약 30분 ~ 1시간 정도 소요됩니다.

 

 

 

 

작업이 완료되면 구글 드라이브에 output 폴더에서 학습된 LoRA 모델을 확인할 수 있습니다.

이제 LoRA 모델을 프롬프트에 입력해준다면?

 

 

 

 

 

 

위와 같은 결과물을 확인할 수 있습니다.

왼쪽은 제가 생성한 로라를 적용전, 오른쪽은 적용후의 결과입니다. 

 

실제 개발한 게임의 스킬 아이콘 중 하나

 

 

제가 준비한 샘플링 이미지는 캐주얼 모바일 게임 스킬 아이콘입니다. 원본 이미지 화풍의 80-90%는 적용된 느낌이네요. 다소 아쉬운 부분이 있지만, 좀 더 정확한 프롬프트 엔지니어링을 거친다면 충분히 쓸만한 스킬 아이콘을 얻을 수 있어보입니다.

 

 

 

---

4. 마무리

 

이로써 여러분은 원하는 화풍의 AI 이미지를 제작할 수 있게 되었습니다.

하지만 AI 이미지 제작에서 중요한 것은 파라미터 세팅과 프롬프트 엔지니어링입니다.

 

• 모델은 완벽한데 왜 이미지가 타버릴까? (CFG Scale의 문제)
• 왜 내가 원하는 조명과 구도가 반영되지 않을까? (프롬프트 구조화의 문제)
• 연산 속도와 퀄리티 사이의 최적점은 어디일까? (Steps & Sampler의 문제)

 

쉽게 말해, AI 이미지를 주문하는 방법입니다. 단순히 "멋진 전사를 그려줘"가 아닌, "중세 갑옷을 입고, 노을지는 성벽 위에서, 역광을 받으며 서 있는 전사"처럼 체계적으로 AI에게 설명하는 기술이 바로 프롬프트 엔지니어링입니다. 좋은 LoRA 모델을 만들어 놓고 결과물이 만족스럽지 않다면 많이 실망스럽겠죠?

 

그럼 다음 포스팅에서는 "파라미터 & 프롬프트 파악하기"라는 주제로 뵙겠습니다.

감사합니다.