Értelmezett videó-tartalmak indexelése és visszakeresése

Napjainkban az internetet használó emberek többsége hatalmas kép- és videó-gyűjteménnyel rendelkezik. Egy részük használ olyan szolgáltatásokat, mint a Flickr (képek esetén) vagy a Youtube (videók esetén), de ezek a szolgáltatások sem rendelkeznek még tartalom alapú keresési funkciókkal. Ezért a nagy vizuális adathalmazokban a keresés általában úgy működik, hogy videókhoz társított kézzel, vagy hang-felismeréssel készített annotációs szövegekben mi is szövegesen kereséseket hajtunk végre. A legfejlettebb rendszerek is csupán korlátozottan hasznosítanak képi tartalmi információkat a keresésekben.

Hatékony szemantikus keresésekhez jól működő indexelési és visszakeresési módszerekre lenne szükség, amelyek képesek nagy mennyiségű képi tulajdonságokat kombinálni, és kikerülni az ezzel járó dimenzionalitási problémákat. Ez az egyik legfontosabb terület, amit ez a munka megcéloz. A munka során új indexelési, releváns leíró-kiválasztási, hatékony visszakeresési és vizualizációs módszereket kutatunk, amelynek célja értelmezett videó-adathalmazokon történő visszakeresés. A legfontosabb vizsgált területek ill. célok a következők: új tulajdonság-kinyerési módszerek tartalom értelmezéshez; új indexelési struktúrák és algoritmusok kombinált képi tulajdonságok kezelésével; annotációk hozzárendelése a tartalom elemzésére alapozva; új vizualizációs megoldások a találatok megjelenítésére; a fentiekre alapozva egy kísérleti keretrendszer videó-tartalmak visszakereséséhez amely segít a leírók kiértékelésében és hatékonyságuk elemzésében.