Cercetările vizează găsirea de soluții inovatoare pentru chirurgia minim invazivă și implantologia robotizată, eliminând necesitatea senzorilor hardware complecși prin utilizarea tehnicilor avansate de Computer Vision.
Localizarea și poziționarea automată a robotului ATHENA
- Obiectiv: Realizarea unei localizări 3D în timp real, fără markeri fizici, pentru a permite andocarea automată și pentru a reduce variabilitatea configurării. Sistemul primește date de la o cameră RGB-D.
- Arhitectură de detecție: S-a utilizat modelul YOLO11m (ales în defavoarea versiunilor YOLO8m/9m/10m) pentru detecția a 3 clase specifice: trocarul, instrumentul laparoscopic și modulul paralel (PM) al robotului.
- Estimare 3D: Sistemul convertește coordonatele pixelilor din bounding box-urile 2D și informația de adâncime (depth) în coordonate 3D pentru componentele cheie.
- Performanță și latență: Evaluarea a indicat un mAP de aproximativ 0.9947, o precizie de 0.9879 și un recall de 0.9849. Latența de inferență este de aproximativ 14.7 ms, cu o latență end-to-end de aproximativ 67 ms.
- Impact: Soluția obține o poziționare cu o marjă de eroare de $\le 0.8$ mm și asigură o reducere de 42% a timpului de setup comparativ cu alinierea manuală.
Estimarea forței „sensorless” în chirurgia minim invazivă
- Obiectiv: Estimarea forței de interacțiune instrument-țesut exclusiv din date video, eliminând necesitatea unui senzor distal. Intrarea constă într-un singur cadru endoscopic RGB.
- Model: O rețea CNN ușoară, bazată pe EfficientNetV2B0, adaptată pentru regresia forței pentru a oferi o singură ieșire scalară în Newtoni.
- Set de date: Antrenamentul s-a bazat pe 40 de clipuri video (9691 de cadre etichetate) obținute din teste in vitro pe esofag, cu etichete de forță în intervalul 0-5 N. Ground-truth-ul a fost preluat de la un senzor Robotiq FT300 montat pe un robot KUKA iiwa LBR 7 R800.
- Performanță tehnică: Modelul raportează o eroare medie absolută (MAE) de 0.017 N și o eroare pătratică medie (MSE) de 0.0004 N².
- Deployment: Inferența durează aproximativ 12.34 ms, funcționând la o rată de actualizare de aproximativ 6 Hz, cu o latență de predicție de 15-20 ms.
- Integrare hardware: Algoritmul operează ca plug-in pe platforma PARA-SILSROB și controlează un dispozitiv haptic Force Dimension Omega.7.
Percepție „markerless” pentru navigația în implantologia dentară
- Navigație dinamică și control (obiectiv 1): Sistemul folosește un detector YOLO antrenat pe 752 de imagini intraorale pentru a identifica repere anatomice. Această detecție atinge o precizie de 91.2%, recall de 88.5% și mAP@0.5 de 91.2%.
- Aliniere și arhitectură: Se utilizează o metodă de aliniere rigidă bazată pe SVD, alături de o rafinare opțională de tip ICP, pentru a raporta poziția la modelele STL generate preoperator din scanările CBCT. O interfață Unity centralizează vizualizarea, în timp ce un server trimite corecțiile de navigație către un robot Kuka Sunrise.
- Segmentare la nivel de dinte (obiectiv 2): Pentru a obține o geometrie stabilă a dinților în prezența ocluziilor și reflexiilor, a fost implementat modelul single-stage YOLOv8-seg. Antrenamentul a fost efectuat pe 420 de imagini RGB cu adnotări manuale prin poligoane.
- Performanță segmentare: Sistemul a obținut un IoU de aproximativ 0.88 și un indice DSC de aproximativ 0.92. Evaluarea de nivel instanță (Mask mAP@0.5) a fost de 0.907.
- Avantaj arhitectural: Fluxul single-stage YOLO-seg generează măști mult mai stabile și o latență considerabil redusă comparativ cu sistemul de tip YOLO+SAM, făcându-l ideal pentru utilizarea în timp real.
