Na Uniwersytecie Jagiellońskim Collegium Medicum opracowano nowy system zdalnej komunikacji przestrzennej oparty na modelowaniu obrazu 3D i rozszerzonej rzeczywistości. Rozwiązanie może znaleźć zastosowanie podczas kształcenia przyszłych lekarzy, w prowadzeniu zdalnych konsultacji medycznych oraz w pełniejszym dokumentowaniu przebiegu operacji.
Nowa technologia pozwala specjalistom znajdującym się w różnych lokalizacjach współpracować tak, jakby przebywali w tej samej przestrzeni. System transmituje trójwymiarowy obraz z sali operacyjnej, dając możliwość oglądania przebiegu operacji z dowolnej perspektywy. Możliwa jest również analiza wsteczna pracy zespołu operacyjnego – z dowolnego ujęcia.
Nowe spojrzenie na współpracę w medycynie
System został opracowany pod kierunkiem dr hab. inż. Klaudii Proniewskiej-van Dam z Centrum Medycyny Cyfrowej i Robotyki Uniwersytetu Jagiellońskiego Collegium Medicum oraz mgr inż. Damiana Dołęga-Dołęgowskiego.
– W przeciwieństwie do tradycyjnych systemów obrazowania sal operacyjnych, opartych na transmisji obrazu 2D czy podstawowych narzędziach rozszerzonej rzeczywistości wykorzystujących pojedynczy obraz z kamery, nasze rozwiązanie generuje dynamiczny, trójwymiarowy obraz sali operacyjnej. Dzięki temu użytkownik może nie tylko zdalnie obserwować przebieg działań, lecz także analizować sytuację z dowolnie wybranej perspektywy. Technologia odwzorowuje cyfrowo w czasie rzeczywistym środowisko pracy, dając przy tym możliwości zdalnej komunikacji – mówi współtwórczyni rozwiązania, dr hab. inż. Klaudia Proniewska-van Dam, prof. UJ.
Cyfrowy model sali operacyjnej
Dynamiczny przestrzenny model tworzony jest na podstawie danych pochodzących z zestawu kamer 3D rozmieszczonych wokół stanowiska pracy oraz przez gogle rozszerzonej rzeczywistości używane przez operatora. Dane te są integrowane przez jednostkę obliczeniową odpowiedzialną za synchronizację i przetwarzanie informacji przestrzennych. W rezultacie powstaje spójny model cyfrowy przedstawiający w czasie rzeczywistym nie tylko położenie obiektów, ale również ich wzajemne relacje w przestrzeni.
– Kluczowe znaczenie ma metoda kalibracji przestrzeni. Wykorzystuje ona fizyczny obiekt referencyjny, który pozwala precyzyjnie dopasować układy odniesienia wszystkich urządzeń uczestniczących w operacji. Dzięki temu odwzorowanie przestrzeni zachowuje wysoką dokładność. To też pozwala stabilnie osadzić w przestrzeni wszelkie wskazówki udzielane zdalnie przez zewnętrznego użytkownika systemu – wyjaśnia mgr inż. Damian Dołęga-Dołęgowski, współtwórca rozwiązania.
Użytkownik, znajdując się poza salą operacyjną, może swobodnie poruszać się w takim modelu, zmieniać punkt obserwacji, przybliżać wybrane fragmenty sceny oraz analizować przebieg działań z perspektyw, które są niedostępne dla tradycyjnych systemów transmisji obrazu.
Zdalne konsultacje
Jedną z głównych funkcji rozwiązania jest możliwość nanoszenia przez konsultanta przestrzennych oznaczeń i wskazówek bezpośrednio w cyfrowym modelu. Oznaczenia mogą przyjmować formę punktów, strzałek, znaczników lokalizacyjnych czy adnotacji przypisanych do konkretnych elementów przestrzeni. Informacje te są następnie prezentowane znajdującemu się na sali operatorowi jako elementy rozszerzonej rzeczywistości, wyświetlane w jego polu widzenia i precyzyjnie osadzone w rzeczywistym otoczeniu.
– W praktyce oznacza to, że ekspert konsultujący zabieg z innego miasta lub kraju może wskazać konkretny instrument, urządzenie czy miejsce wykonywania określonej czynności, a operator zobaczy tę informację dokładnie tam, gdzie powinna się znajdować. Takie podejście znacząco ogranicza ryzyko nieporozumień wynikających z komunikacji werbalnej. Pozwala też szybciej przekazywać rekomendację i wiedzę – dodaje Damian Dołęga-Dołęgowski.
Nowe możliwości dla edukacji medycznej
Rozwiązanie powstało nie tylko z myślą o wsparciu precyzyjnej zdalnej współpracy specjalistów, ale też jako nowe narzędzie wspomagające kształcenie studentów medycyny. Zarejestrowany podczas operacji trójwymiarowy obraz może być doskonałym materiałem dydaktycznym i warsztatowym, ponieważ obejmuje organizację pracy zespołu, przepływ informacji, wykorzystanie narzędzi, przygotowanie procedur i wszystkie inne czynności wykonywane poza ciałem pacjenta, które często mają kluczowe znaczenie dla powodzenia zabiegu. Model 3D może być wykorzystywany do wielokrotnej analizy zdarzeń. Studenci i szkolący się lekarze mogą obserwować ten sam materiał z różnych punktów widzenia, analizować decyzje podejmowane przez personel oraz lepiej rozumieć organizację pracy w środowisku klinicznym.
– Edukacja to bardzo obiecujący kierunek wykorzystania tej technologii. Obecnie studenci najczęściej obserwują zabiegi z ograniczonej perspektywy. Widzą jedynie fragment pola operacyjnego lub obraz z pojedynczej kamery, a przecież zabieg operacyjny obejmuje znacznie więcej działań wykonywanych przez cały zespół medyczny. Nasz system pozwala odtwarzać pełny kontekst pracy na sali, co oznacza, że również materiały archiwalne zarejestrowane w tej technologii mogą być wykorzystywane do celów edukacyjnych – mówi dr hab. inż. Klaudia Proniewska-van Dam.
Dokumentacja, której wcześniej nie było
Technologia może zostać również wykorzystana jako rozszerzenie metod dokumentowania przebiegu procedur medycznych. Obecnie większość materiałów archiwizacyjnych koncentruje się na obrazie pola zabiegowego, tymczasem wiele istotnych informacji dotyczących przebiegu operacji znajduje się poza bezpośrednim obszarem działania chirurga.
Od medycyny po przemysł
Choć technologia rozwijana jest przede wszystkim z myślą o zastosowaniach medycznych, jej potencjał jest znacznie szerszy. System może wspierać zdalną diagnostykę, serwisowanie zaawansowanych urządzeń technicznych, szkolenia specjalistyczne, działania ratownicze czy środowiska przemysłowe wymagające precyzyjnej, zdalnej komunikacji przestrzennej.
W najbliższym czasie planowane są prace związane z mapowaniem przestrzeni sal operacyjnych w Centralnym Bloku Operacyjnym Szpitala Uniwersyteckiego w Krakowie, które pozwolą zweryfikować działanie rozwiązania w rzeczywistych warunkach klinicznych. Będzie to kolejny etap na drodze do jego komercjalizacji, za którą odpowiada Centrum Transferu Technologii CITTRU, UJ. Technologia została zgłoszona do ochrony patentowej.
– Widzimy w opracowanym rozwiązaniu duży potencjał wdrożeniowy. Rosnące znaczenie telemedycyny, zdalnych konsultacji eksperckich oraz nowoczesnych metod kształcenia medycznego sprawia, że zapotrzebowanie na rozwiązania umożliwiające współpracę w środowisku trójwymiarowym stale rośnie. Naszym celem jest nawiązanie współpracy z placówkami medycznymi i uniwersytetami medycznymi, które rozpowszechnią tę technologię i przyczynią się do jej dalszego rozwoju, a potem wdrożenia – mówi dr inż. Gabriela Konopka-Cupiał, dyrektorka CTT CITTRU.
Projekt opracowania systemu 3D został zrealizowany dzięki wsparciu Narodowego Centrum Badań i Rozwoju w ramach programu LIDER pod nazwą „Holograficzny Asystent Medyczny” (LIDER/17/0064/L-11/19/NCBR/2020).
