Multimodális jellemzők fúziója új 3D szaliencia modellek kidolgozásához
A projekt fő célja az egyre szélesebb alkalmazási területen elérhetővé váló 3D-s szenzorok (Microsoft Kinect, Lidar, MRI, CT, stb.) jeleit feldolgozva és fuzionálva a képi modalitások adataival olyan új szaliencia modellek kidolgozása, melyek képesek automatikusan és hatékonyan kiemelni a vizuális figyelmet vonzó régiókat. A hatékony modell nemcsak leszűkíti a keresési teret a további képfeldolgozási lépésekhez, de egyúttal felgyorsíthatja és pontosíthatja a képszegmentáció eredményét, különös tekintettel olyan különböző alkalmazási területekre, ahol 3D-s szenzorok rendelkezésre állnak, pl. távérzékelés, orvosi képelemzés, 3D rekonstrukció és videofelügyeleti rendszerek.
A projekt első évében két alkalmazási területen végeztünk kutatásokat.
Szaliencia alapú célpont felismerési eljárást dolgoztunk ki passzív radar (ISAR) képekre, illetve a felismerés eredményét felhasználva egy klasszifikációs lépéssel azonosítottuk a célpont objektumot. A célpontok - szaliens objektumként kezelve -, a viszonylag zajos képeken hatékonyan kiemelhetőek és a kiválasztott képi jellemzőkkel hatékony reprezentációt biztosítanak a sikeres klasszifikáció megvalósításához.
![Montázs ISAR képek.](/sites/default/files/inline-images/montazs_0.png)
Agyi MRI illetve hasi CT felvételek tartalom alapú feldolgozása, szaliencia információ és konvolúciós neurális hálózatok fúziójával. Az agyi MRI felvételeken kóros elváltozások automatikus kiemelésére dolgoztunk ki szaliencia alapú modellt, a hasi CT-k esetén a máj automatikus körvonalázására tettünk kísérletet. Mindkét esetben a detekció eredményét konvolúciós neurális hálózatok predikciós maszkjaival fúzionáltuk a teljesítmény további javítására. A kidolgozott eljárás egyesíti a két megközelítés előnyeit: a háló által felhasznált prior tudást ötvözi a varianciát jobban kezelő, adaptálhatóságot biztosító „handcrafted” leírókkal.
![Tumor detekció montázs](/sites/default/files/inline-images/montazs_cbmi.png)
Publikációk:
[1] A. Manno-Kovacs, E. Giusti, F. Berizzi, L. Kovács, "Automatic Target Classification in Passive ISAR Range-Crossrange Images", 2018 IEEE Radar Conference (RadarConf'18), Oklahoma City, USA, April 23-27, 2018.
[2] A. Manno-Kovacs, "Direction Selective Contour Detection for Salient Objects", IEEE Transactions on Circuits and Systems for Video Technology, https://ieeexplore.ieee.org/document/8288650, accepted, 2019.
[3] A. Manno-Kovacs, E. Giusti, F. Berizzi, L. Kovács, "Image Based Robust Target Classification for Passive ISAR", IEEE Sensors Journal, vol. 19., no. 1., pp. 268-276, 2019. https://ieeexplore.ieee.org/document/8501978
[4] P. Takacs and A. Manno-Kovacs, "MRI Brain Tumor Segmentation Combining Saliency and Convolutional Network Features", 16th International Conference on Content-Based Multimedia Indexing (CBMI), La Rochelle, France, September 4-6, 2018.
[5] A. Kriston, V. Czipczer, A. Manno-Kovács, L. Kovács, Cs. Benedek and T. Szirányi, “Segmentation of multiple organs in Computed Tomography and Magnetic Resonance Imaging measurements”, 4th International Interdisciplinary 3D Conference, Pécs, Hungary, October 5-6, 2018.