Görüntü işleme ile erken evre melanoma tespiti yapan akıllı sistem tasarımı

Abstract

Bilgisayar destekli teşhis sistemleri (BDTS), lezyon görüntüsündeki en küçük detayı yakalayabilme yetenekleri sayesinde her geçen gün daha erken evrelerde melanoma tanısı koyabilmektedirler. Erken teşhisin önemi, melanomu erken evrede tespit ederek sağkalım oranını artırmasıdır, dolayısıyla erken evre melanom tanı yazılımları hayati önem taşımaktadır. Konvolüsyonel sinir ağları (Evrişimli sinir ağları [ESA]) gibi algoritmalarla entegre edilmiş bilgisayar destekli teşhis sistemleri; yüksek derecede doğruluk, özgüllük ve hassasiyetle melanoma tanısı yapabilen başlıca araçlardır ve günümüzde BDTS ile ayrılmaz bir bütün oluşturmuşlardır. Bu tezde bulanık mantık temelli görüntü ön işleme yazılımı geliştirilmiştir ve AlexNet, GoogLeNet, ResNet, VGG16, VGG19, Inception, ShuffleNet ve Xception evrişimli sinir ağı modelleri ile entegre edilmiştir. Bu yeni yazılım ile ön işleme tabi tutulan görüntülerin melanoma olup olmadıklarına karar verilmiştir. Önerilen sistem, yüksek doğruluk sağlamak için iki temele dayanır. İlki bulanık-mantık (BM) temelli ön işleme birimi, ikincisi ise derin ESA algoritmaları ile entegrasyonudur. Bulanık-Mantık tabanlı geliştirilen algoritma, lezyon görüntülerini alıp ön işler; işlenmiş olan görüntüler ise derin ESA algoritmaları ile yorumlanarak lezyonun melanoma olup olmadığına karar verir. Geliştirilen ön işleme yazılımı ile evrişimli sinir ağı modelinden oluşan BDTS görüntünün bütününün ve piksellerinin ayrı ayrı taşıdıkları bilgileri birlikte işlemektedir. Melanoma tespiti amaçlı geleneksel tıbbi görüntü işleme uygulamalarında yararlanılan başlıca ön işleme yöntemleri arasında, görüntünün parlaklık değerinin iyileştirilmesi ve görüntüdeki lezyonlu bölgenin maskelenmesi yer almaktadır. Geleneksel görüntü işleme algoritmalarında, incelenecek görüntünün parlaklığının iyileştirilmesinde, görüntüdeki her pikselin değeri aynı sabit ağırlık değeri ile çarpılarak ilgili pikselin yeni değeri elde edilir. Önceden belirlenen eşik değerine bakılarak, ilgili bölgenin bir lezyon mu yoksa sağlıklı bir doku mu olduğuna karar verilir. Buradan yola çıkarak uygun bir lezyon maskesi üretilir. Görüntünün iyileştirilmesi ve maskelenmesi hedeflenerek geliştirilen ön işleme yazılımı görüntünün her bir pikseli için bağımsız ağırlık değişkeni tespit eder. Ayrıca görüntüdeki piksellerin ayrı ayrı lezyon maskesine üye olma olasılıklarını hesaplar. Lezyon maskesinin üretilmesi ve görüntünün iyileştirilmesi aşamalarında geliştirilen ön işleme yazılımı, geleneksel BDTS ile makro düzeyde ayrışmakta ve inovatif bir katkı sunmaktadır. Bulanık mantık temelli geliştirilen sistem, lezyon görüntüsünü eşdeğer renk uzayı kanalı bileşenlerine dönüştürür. Lezyon bölgesi piksellerinin iyileştirilmiş görüntü değerine; elde edilen kanal bileşeni bilgileri, doku deseni ve lezyon maskesine üye olma olasılıklarıyla karar verir. Tüm bu işlemler sonucunda elde edilen iyileştirilmiş görüntü evrişimli sinir ağlarına girdi olarak verilmiştir. Bulanık mantık ile lezyon bölgesi piksellerinin; birbirleri ile ilişkileri, yönelimleri, görüntünün bütününe olan aitliği ve lezyon görüntüsünü oluşturan diğer temel unsurların tutarlılığının artırılması sağlanmıştır. Görüntülerdeki ön işlemeyle üretilen bu temel unsurların evrişimli sinir ağları ile entegre edilerek kullanılması, ağ performansının ön işlenmiş görüntülerde %86,95'e kadar artırılmasını sağlamıştır.

Computer aided diagnostic systems (CADS) are able to diagnose melanoma in its early stages via the ability of capturing the smallest details in the lesion image. Importance of the early diagnosis is to capture the melanoma in its early stages leading to increasing survival rates that is why melanom detection sofwares are life-critical. Convolutional neural network (CNN) and related algorithms integrated with CADS are main applications able to detect melanoma with high accuracy, specificity and sensitivity, they are inseperately hardwired with CADS. In this thesis, fuzzy logic (FL) based image preprocessing software has been developed and integrated with convolutional neural network models; such as, AlexNet, GoogLeNet, Resnet, VGG16, VGG19, Inception, ShuffleNet ve Xception. Preprocessed images via this newly developed software are detected whether they are melanoma or not. The proposed system, holds on to two foundations to achieve high accuracy. The first one is the fuzzy-logic based preprocessing unit, and the second is its integration with deep CNN algorithms. The algorithm developed based on fuzzy logic pre-processes lesion images, and these pre-processed images are interpreted by deep CNN algorithms to determine if the lesion is melanoma or not. Developed preprocessing software with integrated CNN models processes the information and its pixel content based on the whole image presented to the system. Improving the brightness of the image and masking the degraded area in the image are among the primary pretreatment techniques used in traditional medical image processing applications for melanoma detection. To enhance the brightness of an image using conventional image processing algorithms requires new brightness value of each pixel in the image be multiplied with the same weight-constant. By looking up a previously choosen threshold value, the relevant zone is decided as lesion zone or healthy. Hence a proper lesion mask needs produced. The pre-processing software developed aims to enhance and mask the image by determining an independent weight-variable for each pixel of the image. Also it calculates each pixel of image based on the possibility of being a member of lesion mask. Pre-processing software differs from conventional CADS in macro-level while producing lesion mask and enchancing image and contributing in an innovative way. Developed FL-based system transforms the lesion image into an equivalent color space channel's components. The lesion zone pixel's enchanced image values are determined by using these channel components data, zone pattern and lesion masking membership possibilities. The improved image is obtained as a result of all these processes submitted as an input to convolutional neural networks. Lesion zone pixels, their relations with each other, their nutation, dependance to the whole image and consistancy of other fundamental elements which are creating the lesion zone are improved by fuzzy logic. Usage of these fundamental elements created by pre-processing increased the network performance up to 86.95% with integrated CNN.