스테이블디퓨전 stable diffusion-Checkpoint Merger

스테이블디퓨전 stable diffusion-Checkpoint Merger

스테이블 디퓨전의 Checkpoint Merger는 두 개 이상의 모델을 병합하여 새로운 모델을 생성하는 기능입니다. 병합 방법에는 No interpolation, Weighted sum, Add difference 등이 있으며, 각각 다른 수식으로 병합 결과를 계산합니다. 병합된 모델은 원래의 모델들의 특징을 조합하거나 새로운 특징을 만들 수 있습니다

스테이블디퓨전 stable diffusion-Checkpoint Merge장점

• 원하는 스타일이나 특징을 가진 모델을 쉽게 만들 수 있습니다. 예를 들어, 반 실사와 만화 스타일의 모델을 병합하면 반 실사 만화 스타일의 모델을 얻을 수 있습니다.
• 다양한 모델을 실험하고 비교할 수 있습니다. 예를 들어, 두 개의 모델을 서로 다른 비율로 병합하면 어떤 차이가 나타나는지 확인할 수 있습니다.
• 모델의 용량이나 GPU의 요구성능을 줄일 수 있습니다. 예를 들어, 두 개의 모델을 float16 형식으로 병합하면 용량이 절반으로 줄어들고, GPU 메모리도 절약할 수 있습니다.
•  

스테이블디퓨전 stable diffusion-Checkpoint Merge옵션 메뉴

UI

• Primary model (A): 병합할 첫 번째 모델을 선택합니다. 이 모델은 병합 결과에 가장 큰 영향을 줍니다.
• Secondary model (B): 병합할 두 번째 모델을 선택합니다. 이 모델은 첫 번째 모델에 추가되거나 보간 됩니다.
• Tertiary model (C): 병합할 세 번째 모델을 선택합니다. 이 모델은 Add difference 방법을 사용할 때 필요합니다.
• Custom Name (Optional): 병합한 모델의 이름을 지정합니다. 지정하지 않으면 자동으로 생성됩니다.
• Multiplier (M): 병합 방법에 따라 두 번째 또는 세 번째 모델의 가중치를 조절합니다. 0에서 1 사이의 값을 입력합니다. 0이면 첫 번째 모델만 사용하고, 1이면 두 번째 또는 세 번째 모델만 사용합니다.
• No interpolation: 보간법이 사용되지 않습니다. 하나의 모델만 사용하거나, 형식 변환이나 VAE 적용 등의 작업을 할 수 있습니다.
• Weighted sum: 가중 합계가 사용됩니다. 두 개의 모델을 사용하고, M을 통해 가중치를 조절할 수 있습니다. 결과는 A * (1 - M) + B * M으로 계산됩니다. 예를 들어, M을 0.3으로 설정하면, 첫 번째 모델의 가중치는 0.7이고, 두 번째 모델의 가중치는 0.3이 됩니다.
• Add difference: 두 번째 모델과 세 번째 모델의 차이를 첫 번째 모델에 더합니다. 세 개의 모델을 사용하고, M을 통해 차이의 크기를 조절할 수 있습니다. 결과는 A + (B - C) * M으로 계산됩니다. 예를 들어, M을 0.5로 설정하면, 두 번째 모델과 세 번째 모델의 차이의 절반을 첫 번째 모델에 더합니다
• Interpolation Method: 병합 방법을 선택합니다. No interpolation, Weighted sum, Add difference 중 하나를 선택할 수 있습니다. 각각 다른 수식으로 병합 결과를 계산합니다.
• Checkpoint format: 병합한 모델의 형식을 선택합니다. ckpt 또는 safetensors 중 하나를 선택할 수 있습니다. ckpt는 원래의 형식이고, safetensors는 압축된 형식입니다.
• Copy config from: 병합한 모델의 설정 파일을 복사할 모델을 선택합니다. 설정 파일은 모델의 파라미터나 메타데이터를 담고 있습니다.
• Bake in VAE: 병합한 모델에 VAE를 적용할지 여부를 선택합니다. VAE는 변형 오토인코더로, 모델의 다양성과 품질을 향상하는 기능입니다.
• Discard weights with matching name: 병합할 때 특정 이름을 가진 가중치를 제외할지 여부를 선택합니다. 가중치는 모델의 학습된 정보를 담고 있습니다.

스테이블디퓨전 stable diffusion-Checkpoint Merger 사용해보기

스테이블 디퓨전의 Checkpoint Merger는 한 번에 3가지의 모델과 VAE를 믹스할 수 있지만 앞서 옵션 메뉴 설명에서 참고한다면 쉽게 알 수 있을 것이니 여기선 두 가지의 모델을 병합하기를 간단하게 설명하겠습니다.

1. 스테이블 디퓨전 웹 Ui를 실행하고 Checkpoint Merger 메뉴로 이동합니다.
2. 원하는 병합할 모델들을 선택합니다 여기서는 ez_V10과 AOM3_orangemixs를 선택하렸습니다.
3. 병합 방법과 옵션들을 설정합니다.
4. Merge 버튼을 누르고 병합이 완료될 때까지 기다립니다.
5. 모델의 이름과 위치를 확인하고, 다운로드하거나 웹 Ui에서 사용합니다.

Multiplier :0/0.25/0.5/0.75/1

 

Multiplier (M)의 수치에 따른 믹스 결과물입니다. 좌측 이미지와 우측 끝 이미지가 원본 모델이며 실사와 만화 스타일의 모델을 병합한 결과 물입니다. 여러분들도 이런 식으로 응용하여 여러 번 반복하여 원하는 스타일이나 특징을 가진 모델을 쉽게 만들 수 있습니다.

이상 스테이블 디퓨전의 Checkpoint Merger의 대해 알아보았습니다.