低解像度の画像を高解像度に変換するAIはこれまでにも開発されてきた。従来8倍が最大だった高解像度変換を、このほどデューク大学の研究チームが最大64倍にまで引き上げたようだ。

これにより、目元も口元もハッキリしない顔画像が、目じりのしわや歯並びまでもハッキリわかるものになる。

顔写真超解像アルゴリズム「PULSE」は、新たなアプローチにより画像の高解像度変換を実現している。

ピクセルの推測とは別のアプローチ

画像の高解像度変換により、監視カメラに映った人物を特定できたらと考えるかもしれない。ただ少し残念なことに、AIによる処理で得られた画像は、本物っぽいものの映った人物の顔が再現されるわけではないようだ。

画像の高解像度変換では、アルゴリズムが推測してぼやけたピクセルをひとつひとつ穴埋めする。このアプローチでは、特に情報が綿密な髪などのエリアで、ピクセル間の整合性を取る際にぼやけが発生する。

PULSEでは、こうしたものとは根本的に別のアプローチをとっているため、生成画像のクオリティがより高くなるという。

低解像度変換した際に元画像に近いものを探し出す

PULSEは、低解像度の画像からでなく、AIが生成した超高解像度画像のなかから、低解像度変換した際に元画像に近いものを探し出す。

従来の教師あり学習ではなく、GAN（敵対的生成ネットワーク）を用い自己学習することで、質の低い特定データからの影響を防ぎ、探索空間を制限して現実的な出力を選択しているようだ。

実験の結果、従来の方法よりも高い解像度とクオリティが得られたとのこと。ソースコードはGitHub上に公開されていて、こちらでサンプルや利用法の確認が可能だ。

参照元：PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models/ arXiv
PULSE