Multimodális jellemzők fúziója új 3D szaliencia modellek kidolgozásához

A projekt fő célja az egyre szélesebb alkalmazási területen elérhetővé váló 3D-s szenzorok (Microsoft Kinect, Lidar, MRI, CT, stb.) jeleit feldolgozva és fuzionálva a képi modalitások adataival olyan új szaliencia modellek kidolgozása, melyek képesek automatikusan és hatékonyan kiemelni a vizuális figyelmet vonzó régiókat. A hatékony modell nemcsak leszűkíti a keresési teret a további képfeldolgozási lépésekhez, de egyúttal felgyorsíthatja és pontosíthatja a képszegmentáció eredményét, különös tekintettel olyan különböző alkalmazási területekre, ahol 3D-s szenzorok rendelkezésre állnak, pl. távérzékelés, orvosi képelemzés, 3D rekonstrukció és videofelügyeleti rendszerek.

A projekt első évében két alkalmazási területen végeztünk kutatásokat.

Szaliencia alapú célpont felismerési eljárást dolgoztunk ki passzív radar (ISAR) képekre, illetve a felismerés eredményét felhasználva egy klasszifikációs lépéssel azonosítottuk a célpont objektumot. A célpontok - szaliens objektumként kezelve -, a viszonylag zajos képeken hatékonyan kiemelhetőek és a kiválasztott képi jellemzőkkel hatékony reprezentációt biztosítanak a sikeres klasszifikáció megvalósításához.

Agyi MRI illetve hasi CT felvételek tartalom alapú feldolgozása, szaliencia információ és konvolúciós neurális hálózatok fúziójával. Az agyi MRI felvételeken kóros elváltozások automatikus kiemelésére dolgoztunk ki szaliencia alapú modellt, a hasi CT-k esetén a máj automatikus körvonalázására tettünk kísérletet. Mindkét esetben a detekció eredményét konvolúciós neurális hálózatok predikciós maszkjaival fúzionáltuk a teljesítmény további javítására. A kidolgozott eljárás egyesíti a két megközelítés előnyeit: a háló által felhasznált prior tudást ötvözi a varianciát jobban kezelő, adaptálhatóságot biztosító „handcrafted” leírókkal.

Publikációk

[1]A. Manno-Kovacs, E. Giusti, F. Berizzi, L. Kovács, "Automatic Target Classification in Passive ISAR Range-Crossrange Images", 2018 IEEE Radar Conference (RadarConf'18), Oklahoma City, USA, April 23-27, 2018.

[2] A. Manno-Kovacs, "Direction Selective Contour Detection for Salient Objects", IEEE Transactions on Circuits and Systems for Video Technology, https://ieeexplore.ieee.org/document/8288650, accepted, 2019.

[3] A. Manno-Kovacs, E. Giusti, F. Berizzi, L. Kovács, "Image Based Robust Target Classification for Passive ISAR", IEEE Sensors Journal, vol. 19., no. 1., pp. 268-276, 2019. https://ieeexplore.ieee.org/document/8501978

[4] P. Takacs and A. Manno-Kovacs, "MRI Brain Tumor Segmentation Combining Saliency and Convolutional Network Features", 16th International Conference on Content-Based Multimedia Indexing (CBMI), La Rochelle, France, September 4-6, 2018.

[5] A. Kriston, V. Czipczer, A. Manno-⁠Kovács, L. Kovács, Cs. Benedek and T. Szirányi, “Segmentation of multiple organs in Computed Tomography and Magnetic Resonance Imaging measurements”, 4th International Interdisciplinary 3D Conference, Pécs, Hungary, October 5-6, 2018.