Latent diffusion model for image super-resolution

Abstract

Single-image super-resolution is an ill-posed inverse problem in which a low-resolution image may correspond to multiple plausible high-resolution reconstructions. This thesis compares diffusion and flow matching models in pixel-space and latent-space to examine how modeling approach, representation space, and upsampling factor affect fidelity, perceptual quality, and computational cost. The study was limited to natural images and focused on the comparison of existing generative approaches. DIV2K was used for training and validation, and Urban100 was used as an out-of-domain test set. The results showed that no single method was best in all respects. Pixel-space flow matching gave the strongest overall balance between fidelity and efficiency, while pixel-space diffusion achieved the best perceptual scores. Latent-space models reduced inference cost substantially, but an information bottleneck was introduced and some detail was lost. The higher upsampling setting was consistently more difficult, and wavelet analysis showed that recovery of low-frequency structure deteriorated at the larger scaling factor. Additional tests showed that the models generalized to unseen Urban100 images, although performance decreased, and that flow matching remained stable with few inference steps, whereas diffusion required more steps to preserve quality. Overall, flow matching was shown to be a strong choice when inference speed is important, while diffusion remained competitive when perceptual quality was prioritized.

Yhden kuvan superresoluutio on huonosti määräytynyt käänteisongelma, jossa samaa matalaresoluutioista kuvaa voi vastata useita uskottavia korkearesoluutioisia rekonstruktioita. Tässä diplomityössä verrataan diffuusio- ja virtaustensovitusmalleja pikseli- ja latenttiavaruudessa sen selvittämiseksi, miten mallinnusmenetelmä, esitystila ja suurennuskerroin vaikuttavat havaittuun kuvanlaatuun ja laskennallisiin kustannuksiin. Tutkimus rajattiin luonnollisiin kuviin ja generatiivisten menetelmien vertailuun. Koulutus- ja validointiaineistona käytettiin DIV2K- ja Urban100-aineistoja. Pikseliavaruuden virtausten sovitus saavutti parhaan tasapainon todenmukaisuuden ja tehokkuuden välillä, kun taas pikseliavaruuden diffuusiomalli saavutti parhaat tulokset kuvanlaatumittareilla arvioituna. Latenttiavaruuden mallit vähensivät laskentakustannuksia, mutta aiheuttivat samalla informaatiopullonkaulan, joka heikensi yksityiskohtien säilymistä. Suurempi suurennuskerroin osoittautui haastavammaksi, ja aaltomuunnosanalyysi osoitti matalataajuisen rakenteen heikkenevän suuremmalla skaalauskertoimella. Lisäkokeet osoittivat mallien yleistyvän myös Urban100-kuviin, vaikka suorituskyky heikkeni. Virtausten sovitus säilytti suorituskykynsä vähäiselläkin päättelyaskelten määrällä, kun taas diffuusiomalli vaati enemmän askelia laadun säilyttämiseksi. Kokonaisuutena virtausten sovitus osoittautui vahvaksi vaihtoehdoksi laskentanopeuden kannalta, kun taas diffuusiomallit säilyivät kilpailukykyisinä kuvanlaadun ollessa ensisijainen tavoite.