Düşük uzamsal çözünürlüğe sahip hiperspektral görüntüleri için öğrenme tabanlı süper çözünürlük yöntemi

Abstract

Hiperspektal görüntüleme, sahip olduğu spektral özelliklerinden dolayı nesnelerin niteliklerini belirleme, ayırt etme ve sınıflandırma uygulamalarında diğer görüntüleme araçlarına göre üstünlük göstermektedirler. Hiperspektral görüntüleme araçları; elektromanyetik tayf üzerinde insan gözünün ayırt edebildiği dalga boyunun haricinde, kızılötesi ve ultraviyole arasında bulunan belirli dalga boylarından yansıyan ışığı algılayabilmektedir. Bu özelliği, incelenen nesnenin spektral özelliği hakkında detaylı bilgi sağlarken, sahip olduğu optik görüntüleme donanımının kısıtlarından dolayı uzamsal çözünürlüğünün düşük olmasına neden olmaktadır. Günümüzde hiperspektral görüntülerin; başta askeri amaçlar olmak üzere tarım, madencilik, tıp ve eczacılık gibi önemli alanlarda uygulamaları artmaktadır. Uygulamaların daha hassas sonuçlar üretebilmesi için ise yüksek spektral bilginin yanında, yüksek uzamsal çözünürlüğe ihtiyaç duyulmaktadır. Düşük uzamsal çözünürlük sorununun donanımsal olarak çözülmesi zor ve maliyetli bir yöntemdir. Bu nedenle yazılımsal olarak çözüm, görüntü işleme alanında ilgi çekici bir alan olmaktadır. Bu tez çalışmasında, hiperspektral görüntülerin düşük uzamsal çözünürlüklerinin arttırılması için, derin öğrenme ve seyrek temsil tabanlı hibrit bir çözüm yöntemi önerilmiştir. Önerilen yöntem, seyrek temsilin spektral veriyi kaynaştırmadaki başarısından ve derin öğrenmenin düşük ve yüksek uzamsal bilgiler arasında güçlü bir bağ kurmasından yararlanmaktadır. Yöntemde, düşük uzamsal çözünürlüğe sahip hiperspektral görüntünün derin ağ modeli ile uzamsal çözünürlüğü arttırılırken, seyrek temsil yöntemi ile spektral veri yeni oluşturulan süper çözünürlüklü görüntüye aktarılmaktadır. Uygulama sonuçları, yöntemimizin başarılı sonuçlar elde ettiğini göstermektedir.

Due to its spectral properties, hyperspectral imaging is superior to other imaging tools in determining, distinguishing, and classifying objects. Hyperspectral imaging tools; Apart from the wavelength the human eye can distinguish on the electromagnetic spectrum, it can detect light reflected from specific wavelengths between infrared and ultraviolet. While this feature provides detailed information about the spectral feature of the object under investigation, it causes its spatial resolution to be low due to the limitations of its optical imaging hardware. Today, hyperspectral images; Its applications are increasing in essential fields such as agriculture, mining, medicine, and pharmacy, especially for military purposes. In order for applications to produce more precise results, high spatial resolution is required and high spectral information. Hardware solving of low spatial resolution problems is a costly and challenging method. Therefore, software solution is an exciting area in image processing In this thesis, a hybrid solution method based on deep learning and sparse representation is proposed to increase the low spatial resolution of hyperspectral images. The proposed method uses the sparse representation's success in fusing spectral data and the strong linkage of deep learning between low and high spatial information. In the method, the spatial resolution of the low spatial resolution hyperspectral image is increased with the deep mesh model. At the same time, the spectral data is transferred to the newly created super-resolution image with the sparse representation method. The application results show that our method has achieved successful results.