System interaktywnej rozszerzonej wizualizacji fuzji wielomodalnych obrazów medycznych zintegrowany z urządzeniem do wzbudzania i obrazowania fluorescencji

ZESPÓŁ AUTORSKI

Politechnika Wrocławska

Magdalena Żuk,
Ewelina Świątek-Najwer,
Zbigniew Kulas, Kamil Górski,
Marcin Majak,
Michał Popek,
Piotr Pietruski,
Janusz Jaworowski

CO MOŻNA OSIĄGNĄĆ DZIĘKI WYNALAZKOWI?

Wynalazek dotyczy komputerowego systemu nawigacji chirurgicznej wspomaganego obrazowaniem fluorescencyjnym z technologią rozszerzonej rzeczywistości. Rolą systemu jest kompleksowe wsparcie operacyjnego leczenia nowotworów. Jego innowacyjność oparta jest o koncepcję hybrydowej nawigacji śródoperacyjnej zakładającej wykorzystanie technologii obrazowania fluorescencji w bliskiej podczerwieni (NIR), wirtualnego planowania operacji oraz wyświetlania połączenia danych medycznych różnych źródeł w trybie rozszerzonej rzeczywistości (AR) na monitorze lub okularach AR

Opracowany system może być zastosowany w następujących obszarach:


• wspomaganie resekcji guzów nowotworowych regionu twarzoczaszki, żuchwy, miednicy, kończyny dolnej oraz mózgowia
• wspomaganie rekonstrukcji ubytków kostnych zarówno poprzez proces pobrania i wszczepienia autologicznego przeszczepu lub wolnego płata kostnego bądź też implantacji protezy kostnej wytworzonej ‘na wymiar ubytku’;
• przeprowadzenie biopsji celowanej podejrzanych zmian kostnych (lub zmian o małym współczynniku przesuwalności) lub mózgowia.
• wsparcie procesu edukacji i szkolenia personelu medycznego;
Opracowane urządzenie do obrazowania zjawiska fluorescencji NIR pozwala na:
• lokalizację i resekcję wartowniczego węzła chłonnego,
• mapowanie naczyń układu limfatycznego,
• śródoperacyjną detekcję naczyń perforatorowych z oceną miejscowej perfuzji tkankowej,
• śródoperacyjną lokalizację dróg żółciowych.

System do wizualizacji fuzji obrazów medycznych oraz urządzenia do obrazowania fluorescencji umożliwiają zwiększenie dokładności i zmniejszenie inwazyjności zabiegu, dzięki skutecznej ocenie zasięgu zmiany nowotworowej. System wizualizacji na okularach rozszerzonej rzeczywistości zapewnia poprawę ergonomii pracy chirurga. Wizualizacja połączonych obrazów medycznych różnych źródeł dostarcza operatorowi kompleksowej informacji do podejmowania indywidualnych decyzji podczas operacji. Fakt ten ma szczególny wpływ na skuteczność leczenia, bowiem doszczętność resekcji zmiany nowotworowej daje szansę na wyleczenie pacjenta i powrót do pełnej aktywności. Dodatkowym walorem systemu jest poprawa uzyskiwanego efektu kosmetycznego po zakończeniu leczenia.

ISTOTA WYNALAZKU

Wynalazek dotyczy komputerowego systemu nawigacji chirurgicznej wspomaganej obrazowaniem fluorescencyjnym i technologią rozszerzonej rzeczywistości oraz modułowego urządzenia do wzbudzania i detekcji fluorescencji. Działanie wynalazku polega na wizualizacji bezpośrednio w polu operacyjnym danych z obrazowania medycznego na okularach rozszerzonej rzeczywistości, w tym danych z obrazowania przedoperacyjnego, jak również śródoperacyjnego obrazowania fluorescencyjnego.

Wynalazek zastrzeżony dwoma patentami obejmuje:
-System interaktywnej rozszerzonej wizualizacji fuzji wielomodalnych obrazów medycznych, w szczególności obrazów fluorescencyjnych (PL 228993 B1)
- Urządzenie do wzbudzania i obrazowania fluorescencji (PL 228974 B1).

System interaktywnej rozszerzonej wizualizacji fuzji wielomodalnych obrazów medycznych pozwala na stereoskopową wizualizację przestrzennych modeli struktur anatomicznych konkretnego pacjenta wygenerowanych na podstawie danych z przedoperacyjnego obrazowania medycznego (np. tomografia komputerowa, rezonans magnetyczny), położenia i orientacji narzędzi chirurgicznych (np. piła oscylacyjna, igła biopsyjna) oraz wirtualnego planu operacji (np. orientacja płaszczyzny cięcia podczas resekcji, miejsce przyłożenia, kąt nachylenia i głębokość biopsji). Zastosowanie systemu nawigacji optycznej do pomiaru położenia i orientacji okularów rozszerzonej rzeczywistości pozwala na dynamiczną wizualizację wirtualnych obiektów nałożonych na obraz rzeczywisty pola operacyjnego. Rozwiązanie takie jest możliwe dzięki zastosowaniu systemu nawigacji optycznej śledzącej położenie markerów optycznych umieszczonych na okularach rozszerzonej rzeczywistości (AR), narzędziach chirurgicznych, ciele pacjenta oraz układzie do obrazowania fluorescencyjnego, jak również opracowanym autorskim algorytmom kalibracji narzędzi chirurgicznych oraz wizualizacji na okularach AR. System umożliwia wspomaganie resekcji guzów nowotworowych w obszarze twarzoczaszki, kończyn dolnych oraz mózgowia, biopsję celowaną, jak również wspomaganie rekonstrukcji ubytków kostnych.

Ponadto wynalazek umożliwia śródoperacyjną wizualizację danych z obrazowania fluorescencyjnego wyświetlanych w polu operacyjnym na okularach rozszerzonej rzeczywistości. Opatentowane zostało autorskie modułowe urządzenie do śródoperacyjnego obrazowania fluorescencyjnego przeznaczonego do wzbudzania i detekcji odpowiedzi fluorescencyjnej w podczerwieni pozwalające na obrazowanie różnych fluoroforów, w tym kontrastu zieleni indocyjaninowej (ICG). Modułowość zwiększa zakres obrazowanych struktur anatomicznych i obszar zastosowań klinicznych. Zastosowanie obrazowania fluorescencyjnego w chirurgii onkologicznej umożliwia m.in. : lokalizację i resekcję wartowniczego węzła chłonnego, mapowanie naczyń układu limfatycznego, śródoperacyjną detekcję naczyń perforatorowych z oceną miejscowej perfuzji tkankowej, śródoperacyjną lokalizację dróg żółciowych.

Prace nad opatentowanym wynalazkiem były kontynuowane po zgłoszeniu patentowym. Zrealizowano zarówno system interaktywnej rozszerzonej wizualizacji fuzji wielomodalnych obrazów medycznych wraz z oprogramowaniem, jak również modułowe urządzenie do obrazowania fluorescencyjnego. W ramach badań przedklinicznych przeprowadzono szereg symulacji operacji resekcji i rekonstrukcji struktur kostnych oraz eksperymenty (zarówno na fantomach jak i na małym modelu zwierzęcym) mające zweryfikować możliwość autorskiego systemu do mapowania krwionośnego i limfatycznego układu naczyniowego. Analiza uzyskanych wyników potwierdziła skuteczność systemu w wymienionych zadaniach.

POTENCJAŁ KOMERCJALIZACYJNY WYNALAZKU

Na zgłoszenia patentowe otrzymano już ochronę patentową na terenie Polski (228993 i 228974, 30.05.2018). Politechnika Wrocławska poszukuje podmiotu biznesowego do współpracy przy komercjalizacji wynalazków. Szczegółowe opisy know-how realizacji sondy fluorescencyjnej (16, 17 i 18/PK/2018) i układów z fuzją softwarową i sprzętową (15/PK/2018) przekazano Wrocławskiemu Centrum Transferu Technologii, które przygotowało ofertę dla przemysłu. Skonstruowano urządzenia do obrazowania fluorescencji oraz opracowano komplementarny system wizualizacji fuzji obrazów medycznych z oprogramowaniem do wspomagania planowania i realizacji zabiegów onkologicznych z wykorzystaniem fluorescencji, nawigacji i wirtualnej/rozszerzonej rzeczywistości. Wykonano testy urządzeń, badania kompatybilności elektromagnetycznej urządzeń i analizę ryzyka systemu. Obecnie trwają przygotowania do realizacji operacji onkologicznej z wizualizacją fluorescencji i fuzją obrazów na wyświetlaczu rozszerzonej rzeczywistości.