zMed
Támogató
Projektadatok
Vezető részleg
A projekt során új, 3D orvosi adatok és a valóság egyesített vizualizációját megvalósító, innovatív rögzítési és megjelenítési technológiák kifejlesztésére kerül sor. A rendszer újszerűsége a különböző orvosi képalkotó eljárások és a valóság fúziójának módjából, illetve a fuzionált adatok megjelenítéséből adódik. Az egyes modalitások információ tartalmai összevethetőek és demonstrálhatóak lesznek. A vizsgált személy adatai alapján koherens képet alakítunk ki a testről. Ez egy részletesebb, gyorsabb, összetettebb, a valósághoz illesztett és egyénre szabott megjelenítést tesz lehetővé. Ezáltal a korábbiaknál hatékonyabb és szélesebb körben is alkalmazható demonstrációs rendszert hozunk létre.
Ennek a technológiának az orvosi konzíliumokon, konzultációk során mind demonstrációs, mind oktatási célból fontos szerepe van. A fejlesztés eredményei a komplex rehabilitációs tevékenységek (mozgásszervi- és neurorehabilitáció) több területén is jól alkalmazhatók lesznek. A készségszintű beavatkozások - különböző intervenciók esetében az orvostanhallgatók helyes eszközhasználata, a metszések pozíciója, minősége értékelhető 3D képalkotással. Az elemzés visszacsatolást ad és ezért gyorsabban, könnyebben fejleszthetők lesznek a vonatkozó készségek (“skill” alapú képzés). A mozgáskövetés, pozíció számítás lehetőségei jól kihasználhatóak az orvos képzésben. Az innovatív megjelenítési módok továbbá lehetőséget biztosítanak a minőségi felsőoktatáshoz elengedhetetlen hallgatóbarát oktatástechnológiai újítások bevezetésére, valamint felhasználhatók lesznek a preoperatív betegtájékoztatásban is.
Résztvevők
- zMed Zrt.
- Pécsi Tudományegyetem (PTE)
Projekt céljai
A távlati cél a kiterjesztett valóság alkalmazása a műtéti tervezésben, hogy a sebész a műtőben a betegre rávetítve, tulajdonképpen belelásson a testbe, ezzel csökkentve a műtéti időt, és így a rehabilitáció is gyorsabb legyen. Ehhez kapcsolódóan az SZTAKI Gépi érzékelés kutatólaborja új képszegmentálási, mélytanuláson alapuló detektálási és fúziós algoritmusokat dolgoz ki, kiemelten a 3D érzékelés és megjelenítés céljaira.
A projekt elért eredményei
- új automatikus módszerek különböző szervek és anatómiai szegmensek MR és CT adatokból történő elkülönítésére, fókuszálva a máj, vese, szív, lép, hasnyálmirigy, tüdő és vázrendszer régióira. Többféle adatforrás fuzionálásának megvalósítása a szegmentálás minőségének javítására.
- új eljárások agyi MR felvételek automatikus feldolgozására: agytumorok detekciójára, szegmentálására és 3D rekonstrukciójára
- új szoftverrendszer kifejlesztése, ami képes statikus és dinamikus mérési adatok (pl. lézerszkenneléses mérések) valamint 3D modellek egységes formában történő megjelenítésére
- újszerű, projektor alapú 3D megjelenítő eszköz kifejlesztése, amely tetszőleges vetítési felületen alkalmazható
- okostelefon alapú AR megjelenítő rendszer és egy hozzá tartozó alkalmazás, amely a felhasználó elé, a valódi környezetbe vetít egy emberi testet, lehetőséget teremtve a csontozat és az izomzat megjelenítésére és részletes vizsgálatára
- AR megjelenítő rendszer és egy hozzá tartozó alkalmazás Hololens-2 eszközre, amely használatakor egy megjelenített csontvázmodellen a felhasználó a tekintetével ki tudja választani az egyes csontokat, vagy az izomzat egyes részeit, amikről az adott testrész nevén túl további információt is olvashat a modell alatt megjelenítve.
