스테이블디퓨전 stable diffusion-vae

Stable Diffusion Variational Autoencoder(VAE)는 정말 멋진 사진을 만들 수 있는 일종의 스마트 컴퓨터 프로그램입니다. 확산이라는 특수 프로세스를 사용하여 그림 픽셀에 약간의 변형을 추가합니다. 이렇게 하면 컴퓨터가 그림이 어떻게 구성되어 있는지 학습하고 같은 이미지의 품질을 더 올릴 수가 있습니다.

VAE의 활용과 장점

• Stable Diffusion VAE의 주요 이점 중 하나는 사실적인 디테일과 부드러운 전환으로 고품질 이미지를 생성할 수 있다는 것입니다. 따라서 이미지 생성, 이미지 완성 및 이미지 조작과 품질 향상에 꼭 필요합니다.                                           
• 또 다른 이점은 높은 수준의 제어로 이미지를 생성할 수 있다는 것입니다. 이는 사용자가 색상, 질감 및 모양과 같은 생성된 이미지의 특정 측면을 조작할 수 있음을 의미합니다.
• 전반적으로 Stable Diffusion VAE는 이미지 생성 및 조작 작업을 개선할 수 있는 강력한 기계 학습 모델입니다. 안정적인 확산 과정과 고품질의 사실적인 이미지를 생성하기 위한 필수 선택입니다.

 

VAE의 적용방법

VAE의 적용하는 법은 파일을 다운로드한 후 설치된 Webui경로의 Webui\stable-diffusion-webui\models\VAE에 저장한다.

ui

stable-diffusion을실행시켜 나온 창의 상단의 Settings텝으로 이동하여 다시 좌측 stable-diffusion 설정으로 이동후 저장한 VAE를 지정해 주면 된다. 그런 후 Apply settings을 클릭해 주면 세팅은 완료.

VAE파일 다운로드하는 법

보통 다음 사이트에서 vaedmf 검색해서 찾습니다.여러 가지가 있겠지만 예로 밑에 경로로 들어가  vae-ft-mse-840000-ema-pruned.ckpt를 다운로드합니다.

https://huggingface.co/stabilityai/sd-vae-ft-mse-original/tree/main 

stabilityai/sd-vae-ft-mse-original at main

 

적용하면 다음 결과를 얻을 수 있다.  좌:원본  우:보정 후

원본: 좌 적용후: 우

이상 Stable Diffusion VAE의 기능과 사용하는 방법을 살펴보았습니다. 위와 같이 VAE는 눈에 띄는 개선을 제공합니다. 하지만 원본이미지에 만족한다면 vae는 필수가 아닌 선택일 것입니다 그럼. 이 글이 도움이 되길 바랍니다.