오늘은 LoRA 모델에 대해 알아보고 WebUI로 직접 구현해보는 시간을 갖도록 하겠습니다.
LoRA 모델은 표준 체크포인트 모델에 작은 변화를 주는 작고 안정적인 전파 모델입니다. 일반적으로 체크포인트 모델보다 10~100배 작습니다. 따라서 다양한 모델을 가진 사람들에게 매우 매력적입니다.
LoRA 모델이란 무엇입니까?
LoRA(Low-Order Adaptation)는 안정적인 확산 모델을 미세 조정하기 위한 훈련 기술입니다.
그러나 이미 Dreambooth 및 Text Reversal과 같은 교육 기술이 있습니다.
2023.03.12 – (AI 설명) – 유통 확장 모델인 드림부스 알아보고 이미지 만들기
2023-03-11 – (AI 설명) – Diffusion Technologies에서 Text Inversion을 속성으로 알아봅니다.
LoRA의 장점은 무엇입니까? LoRA는 파일 크기와 훈련 성능 사이에서 적절한 절충안을 제공합니다. Dreambooth는 강력하지만 모델 파일은 2-7GB에 달할 수 있습니다. 역방향 텍스트는 파일 크기가 작지만(약 100KB) 할 수 있는 일이 많지 않습니다.
LoRA는 중간에 위치합니다. 파일 크기는 관리할 수 있고(2-200MB) 학습 능력은 괜찮습니다.
모델 실험을 즐기는 Stable Diffusion 사용자는 로컬 메모리가 빠르게 채워지는 것을 발견할 것입니다. 그 크기 때문에 PC에서 컬렉션을 유지하기가 어렵습니다. LoRA는 스토리지 문제에 대한 훌륭한 솔루션입니다.
텍스트 반전과 마찬가지로 LoRA 모델만 사용할 수는 없습니다. 함께 결합하여 사용할 원본 베이스가 될 모델의 체크포인트 파일이 있어야 합니다.
LoRA는 함께 제공되는 모델 파일을 약간 변경하여 스타일을 수정합니다.
LoRA는 어떻게 작동합니까?
LoRA는 안정적인 확산 모델의 가장 중요한 부분에 작은 변화를 적용합니다.
측면 관심의 레이어. 측면 주의 평면은 이미지와 프롬프트가 만나는 모델의 일부입니다. 연구자들은 모델의 이 부분을 미세 조정하는 것만으로도 좋은 학습 결과를 얻을 수 있다는 사실을 발견했습니다. 측면 주의 평면은 아래의 잠재 확산 모델 아키텍처에서 노란색 부분입니다.
측면주의 수준의 가중치는 행렬로 배열됩니다. 행렬은 Excel 스프레드시트와 같이 열과 행으로 배열된 일련의 숫자입니다. LoRA 모델은 이러한 행렬에 가중치를 추가하여 모델을 개선합니다.
동일한 수의 가중치를 저장해야 하는 경우 LoRA 모델 파일을 더 작게 만들려면 어떻게 해야 합니까? LoRA의 요령은 행렬을 두 개의 더 작은(낮은) 행렬로 분할하는 것입니다. 이렇게 하면 훨씬 적은 숫자를 저장할 수 있습니다. 아래 예를 통해 이를 설명하겠습니다.
모델에 1,000개의 행과 2,000개의 열이 있는 행렬이 있다고 가정합니다. 모델 파일에 저장해야 하는 숫자는 2,000,000(1,000 x 2,000)개입니다. LoRA는 이 행렬을 1,000×2 및 2×2,000 행렬로 나눕니다. 6,000개(1,000 x 2 + 2 x 2,000)개의 숫자로 333배 더 적습니다. 이 때문에 LoRA 파일은 훨씬 작습니다.
여기서 핵심은 기존의 대용량 데이터(모델)를 랭크(즉, 랭크가 낮은 행렬)로 분할하여 효율성을 극대화하는 것입니다. 그런 다음 모델의 특이점을 취하고 모델 성능은 어느 정도 유지되며 용량은 크게 줄어 듭니다.
이 예에서 행렬의 랭크는 2입니다. 원래 차원보다 훨씬 낮기 때문에 저랭크 행렬이라고 합니다. 등급은 1로 낮출 수 있습니다.
LoRA를 사용하는 방법?
automatic1111의 webui로 LoRA를 사용해 봅시다.
먼저 WebUI를 시작합니다.
설치되어 있지 않은 경우 아래 링크를 사용하십시오.
2023.03.02 – (No-coding AI) – Windows PC에 Stable Diffusion WebUI를 설치하여 실사 사진을 만드는 방법
2023.03.05 – (No-coding AI) – Linux Ubuntu PC에서 Stable Diffusion WebUI를 설치하여 애니메이션 이미지를 만드는 방법
먼저 Lora에서 사용할 모델을 WebUI가 설치된 Lora 폴더로 이동합니다.
한국 인형 유사성.safetensors를 수락하겠습니다.
다운로드 링크는 아래에 공유합니다.
https://huggingface.co/AnonPerson/ChilloutMix/tree/main
메인의 AnonPerson/ChilloutMix
감지된 피클 가져오기(3) “collections.OrderedDict”, “torch._utils._rebuild_tensor_v2”, “torch.FloatStorage” 피클 가져오기란 무엇입니까?
huggingface.co
다운로드하여 아래와 같이 Lora Model 폴더에 넣습니다.
그리고 WebUI를 시작합니다.
WebUI가 설치되어 있지 않다면 아래 링크를 이용해주세요.
2023.03.02 – (No-coding AI) – Windows PC에 Stable Diffusion WebUI를 설치하여 실사 사진을 만드는 방법
WebUI에서 text2img 탭으로 이동합니다.
tex2img 탭의 Generate 오른쪽에 카드 모양의 아이콘이 있습니다.
아이콘 위로 마우스를 가져가면 “추가 네트워크 표시”라고 표시됩니다.
클릭하면 아래와 같이 Text Reverse, Hypernets, Checkpoints, Lora와 같은 탭이 생성됩니다.
우리가 붙여넣은 한국 인형 같은 모델이 포함되어 있는 것을 볼 수 있습니다.
NoPREVIEW 아이콘을 클릭하면,
표현식
이렇게 섞입니다.
WebUI 기본 모델에 chilloutmix_NiPruneFp32Fix.safetensors를 사용했습니다.
없으신 분들은 아래 링크에서 받으시면 됩니다.
https://huggingface.co/SakerLy/chilloutmix_NiPrunedFp32Fix/tree/main
결과를 보자.
항상 수위 조절이 어려울 때가 있습니다…
기존 ChilloutMix와 Koreandoll 모델을 합친 결과입니다.
잘 도착한 것 같습니다.
아래는 매개변수 값입니다.
부정적인 프롬프트: 그림, 스케치, (최저 품질:2), (낮은 품질:2), (보통 품질:2), 저해상도, 일반 품질, ((흑백), ((회색조)), 피부 반점, 여드름, 피부 잡티, 검버섯
단계: 28 샘플러: DPM++ SDE Karras CFG 규모: 7 시드: 4102275570 크기: 512×768 모델 해시: a757fe8b3d 모델: Chilloutmix
오늘 우리는 LoRA에 대해 알아냈습니다.
Dreambooth와 Textual Inversion이 궁금하시다면 아래 링크를 클릭해주세요.
2023.03.12 – (AI 설명) – 유통 확장 모델인 드림부스 알아보고 이미지 만들기
2023-03-11 – (AI 설명) – Diffusion Technologies에서 Text Inversion을 속성으로 알아봅니다.