스테이블 디퓨전 정리

stable diffusion  checkpoin, lora, vae, embeding 알아보자

 

1. stabele diffusion 처음 사용할때 용어를 알아보자

 

스테이블 디퓨젼에 사용되는 파일들을 다운 받을 수 있는 사이트를 먼저 알아보자

 

civitai:  https://civitai.com 

Civitai | Stable Diffusion models, embeddings, LoRAs and more

 

허깅페이스 : https://hugging face.com

 

1. checkpoint

chkpoint 또는 model 이라고 불리는 것은 ai모델의 핵심 구성요소입니다.

이것은 ai의 뇌로 생각할 수 있습니다.

stable diffusion과 같은 기반 구조에 checkpoint 라는 뇌를 장착하여 그림을 그리게 합니다.

 

모델의 종류에 따라 그림의 스탕일일 달라집니다.

학습리라는 것은 lora, embedding, hyper network와 같은 다양한 학습 기술을 사용하여 모델이 다양한 스타ㅇ일을

습득하는 과정입니다.

그러나 피카소 스타일의 모델로 반고호의 스탈일의 긞을 그린다고 해도, 피카소 모델이 완전히ㅣ 반고흐 모델로 변할 수 는 없습니다.

왜냐면 여전히 기본 뼈대는 피카소 스타일의 뇌를 가지고 있기 대문입니다.

 

 

2.lora , embedding, hyper network

lora, embedding, hyper network, 이 세가지는 이미지 생성을 위한 보조 모델입니다.

또한 학습된 데이터와 유사한 그림을 생성할 수 있게 됩니다.

 

이 세가지 용어는 모두 webui 에서 나온 단어가 아니라 

ai에서 사용되는 전문용어이기 때문에 사실 정확한 이해는 필요하지 앟습니다.

 

다만 그 느낌의 차이를 이해하면 어떤 것을 선택해야 할지 도움이 될 수 있기 때문에 간단하게 

알아 보도록 하겠습니다.

 

1) lora

로라는 드림부스 기반 학습입니다.

드림부스는 가장 영향력이 큰 학습방법이라고 생각하면 됩니다.

 

로라는 학습된 뇌의 일부를 추춣하여서

우리가 쓰는 모델에 이식 시키는 정도로 생각 하시면 되겠습니다.

로라는 대부분의 경우에 피사체를 위추로 학습을 하게 됩니다.

 

2)enbedding

t임베딩은 모델에 추가적인 정보를 제공하는 방법으로 

기존의 모델에 영향을 주지 않고 프롬프트를 추가 학습하는 방식입니다.

즉 모델에 추가적인 특징 하나 정도를 제공하는 것으로 새악ㄱ 할 수 있습니다.

이과정은 모델을 공부 시키는 것과 비슷하다고 볼 수 있습니다.

 

임베딩의 장점

1)여러 임베딩을 한번에 적용할 수 있습니다.

2) 여러 모델에서 자유롭게 사용할 수 있습니다.

3) 용량이 가볍습니다.

임베딩의 단점:

1) 용량이 작고 영향력이 작기 때문에 원하는 틀징이 나타나지 않는 경우가 있습니다.

임베딩을 사용하면 다양한 트징을 모델에 추가하여 더욱 정교한 결과를 얻을 수 있찌만, 

그 영향력이 제한적일 수 있다는 점을 고려해야 합니다.

 

 

3. hyper network

하이퍼네트워크는 임베딩과 유사함

로라가 뇌의 일부를 이식해서 뇌 자체를 변형 시키는 것이라면

하이퍼 네트워크는 뇌를 바꾸는게 아니라 임베딩처럼 공부를 시키라는 것으로 볼수 있습니다.

 

따라서 하이퍼 네트워크는 로라만큼의 영향력을 줄 수 는 없습니다.

하지만 임베딩 보다는 더 큰 영향력을 행사할 수 있습니다.

 

임베딩이 학교에서 공부하는 것 정도라면

하이퍼 네트워크는 어렸ㅅ을 때부터 머릭속에 각인 시키는 것이라 볼 수 있습니다.

 

4. vae 

vae 는 그림을 보정 해주는 역활이라고 합니다.

 

그림이 흐리게 나온다거나 남들이 뽑은 그림보다 퀄리티가 떨어진다면 vae를 적용하지 않았을

가능성이 큽니다.

 

타일에 맞게 사용하시는 것을 추천드립니다.

 

반 실사용 vae

https://huggingface.co/stabilityai/sd-vae-ft-mse-original/blob/main/vae-ft-mse-840000-ema-pruned.ckpt

 

2D용 vae

https://huggingface.co/hakurei/waifu-diffusion-v1-4/blob/main/vae/kl-f8-anime2.ckpt