Robot-enhanced skill improvement and assessment in minimally invasive surgery

Help

Back »

Details of project

Identifier

116121

Type

Principal investigator

Haidegger, Tamás

Title in Hungarian

Minimál Invazív Sebészeti képességek fejlesztése és felmérése robottechnikai módszerekkel

Title in English

Robot-enhanced skill improvement and assessment in minimally invasive surgery

Keywords in Hungarian

Robotsebészet, objektív sebészet, minimál invazív eljárások módszertana

Keywords in English

Robotic surgery, objective surgery, methodology for MIS

Discipline

Automation and Computer Science (Council of Physical Sciences)	50 %
Ortelius classification: Automation
Information Technology (Council of Physical Sciences)	30 %
Ortelius classification: Medical informatics
Haematology, immunology, thrombosis, infectious diseases (Council of Medical and Biological Sciences)	20 %
Ortelius classification: Microsurgery

Panel

Informatics and Electrical Engineering

Department or equivalent

Alkalmazott Informatikai Intézet (Óbuda University)

Starting date

2015-09-01

Closing date

2018-08-31

Funding (in million HUF)

11.682

FTE (full time equivalent)

2.10

state

closed project

Summary in Hungarian

A kutatás összefoglalója, célkitűzései szakemberek számára
Itt írja le a kutatás fő célkitűzéseit a témában jártas szakember számára.
A kutatás célja, hogy meghatározza a sebészeti beavatkozások minőségét befolyásoló legfőbb tényezőket, és objektív mértéket adjon ezek értékeléséhez. Különösen fontos ez a nagy ügyességet és jó készségeket igénylő Minimál Invazív Sebészeti beavatkozásoknál, beleértve a robotsebészetet. Az ország egyetlen, kizárólag kutatásra használható sebészrobotja áll rendelkezésre, hogy optikai követőrendszerekkel és szenzorokkal kombinálva komplex mérések legyenek végezhetők. A kísérleti elrendezés révén lehetővé válik a sebész minden mozdulatának milliméter pontossággal való követése, valamint a sebészeti környezetre gyakorolt hatása. Ezek után idő- és frekvenciatartományban lehet elkülöníteni a megfelelő paramétereket. A mérésekből származó eredmények révén egy komplett robotsebészeti ontológia kerül kidolgozásra, amely procedurális és formális leírását jelenti a beavatkozásoknak. Ez alapján új oktatási módszerek, gyakorlatok és technikák kerülnek kidolgozásra, amelyek lehetősé teszik a korábbinál hatékonyabb, eredményesebb sebészképzést. Beteg- és betegségspecifikus gyakroló modellek kerülnek kialakításra egyedi CT/MRI felvételek alapján, amelyek gyakorolva az orvosok tényleges rutinra tehetnek szert, így csökkentve az éles beavatkozások kockázatát. Ezek az új módszerek és eszközök egyből utat találhatnak a sebészeti oktatásba a hazai és nemzetközi klinikai partnereken keresztül.

Mi a kutatás alapkérdése?
Ebben a részben írja le röviden, hogy mi a kutatás segítségével megválaszolni kívánt probléma, mi a kutatás kiinduló hipotézise, milyen kérdéseket válaszolnak meg a kísérletek.
A kutatás alapvető kérdései:
- milyen szenzoradatokkal, paraméterekkel lehet legjobban jellemezni a sebészeti képességeket?
- milyen módon lehet ezeket a készségeket, képességeket objektíven felmérni?
- milyen tréning módszerekkel lehet legeredményesebben javítani a Minimál Invazív, robottal végzett beavatkozásokhoz szükséges képességeket?
- mekkora szerepe van a beteg-specifikus gyakorlatoknak a műtétek eredményessége szempontjából?
- milyen szerepe van egy sebészeti ontológiának a folyamatok objektív, számítógépes leírásában és tanításában?
Alapvető feltételezés, hogy a legkorszerűbb műszaki eszközökkel - sebészeti robotok és intra-operatív műtéti követőrendszerek alkalmazásával - olyan alapvető információkhoz lehet jutni, amelyek megválaszolják a fenti kérdéseket.

Mi a kutatás jelentősége?
Röviden írja le, milyen új perspektívát nyitnak az alapkutatásban az elért eredmények, milyen társadalmi hasznosíthatóságnak teremtik meg a tudományos alapját. Mutassa be, hogy a megpályázott kutatási területen lévő hazai és a nemzetközi versenytársaihoz képest melyek az egyediségei és erősségei a pályázatának!
A robotsebészeti módszerek és a sebészeti képességek objektív felmérése az orvosi-mérnöki területe egyik kiemelkedő kutatási problémájává vált az elmúlt néhány évben. Az egyre újabb és fejlettebb műtéti eszközök megjelenése javítja a gyógyulási statisztikákat, ugyanakkor bonyolultságuk miatt új kihívások elé állítja az orvosokat. Ennek megfelelően újra kell gondolni a képzési struktúrákat, és a bizonyítékokon alapuló orvoslás paradigmáját kell követni az oktatási feladatok meghatározásánál. Ezen túlmenően az ontológiák, mint formális folyamatleíró nyelvek a mesterséges intelligencia módszerek egyik leghatékonyabb adatbeviteli struktúrája, azaz a sebészet automatizálásának egyik első lépését jelentheti. A modern mérnöki eszközök és matematikai módszerek lehetőséget adnak az ilyen kutatások véghezvitelére.

A kutatás összefoglalója, célkitűzései laikusok számára
Ebben a fejezetben írja le a kutatás fő célkitűzéseit alapműveltséggel rendelkező laikusok számára. Ez az összefoglaló a döntéshozók, a média, illetve az érdeklődők tájékoztatása szempontjából különösen fontos az NKFI Hivatal számára.
Az elmúlt évtizedek technikai fejlődése alapvetően új irányzatokat hozott a sebészeti beavatkozások területén, amelyek közül a legfontosabb a Minimál Invazív Sebészet és ezen belül a robotsebészet megjelenése és térhódítása. Ennek lényege, hogy a beteg testébe apró bemetszéseken keresztül vezetnek be hosszú robotizált eszközöket és egy kamerát, amelyeket a sebész egy konzolon keresztül, messziről irányít, és így hajtják végre a szükséges beavatkozást. Ez a módszer számos előnnyel jár a beteg számára, sokkal kevésbé viseli meg a szervezetet, mint a nyílt műtét, ezáltal a felépülés is sokkal gyorsabb. Ugyanakkor lényegesen nagyobb gyakorlatot és ügyességet követel meg a sebész részéről. A mai sebészeti oktatás nem tartalmaz olyan specifikus gyakorlatokat, amelyek igazán hatékonyan készítenék fel az orvosokat a modern technikai eszközök használatára.
A kutatás keretein belül új módszerek kerülnek kidolgozásra, amelyek választ adnak a szakterület legfontosabb kérdéseire, lehetővé teszik a sebészeti képességek objektív felmérését és ennek alapján új, bizonyítékokon alapuló orvoslási paradigmák bevezetését az oktatásba. A sebészeti folyamatok objektív, rendszerelvű leírása révén szabványosítani lehet az egyes beavatkozásokat, és talán automatizálni is.

Summary

Summary of the research and its aims for experts
Describe the major aims of the research for experts.
Robotic surgery represents a dynamically emerging field within Minimally Invasive Surgery MIS educational tools.
It enables to integrate sensors and various surgical navigation devices to the operating room, deriving fundamental data for deep analysis of surgical skills and the operating procedure in general.
Novel surgical training methods are to be accompanied by objective skill acquisition programs that subsequently assess the results of training by various simulation methods.
The proposed research aims to identify key parameters describing the quality of MIS robotic surgery in time and frequency domain as well. It will be based on force sensors, intra-operative surgical tracking data, employing both electromagnetic and optical navigation, all integrated with Hungary's only surgical robot. The da Vinci at Óbuda University is uniquely enabled with an open research interface. Based on the acquired data, a complete surgical ontology will be developed that may form the bases of future procedural description and standardization of surgical tasks. New training tasks and programs will be designed, that are incorporating patient- and lesion-specific phantoms and models. These will be rapid-prototyped based on the actual CT/MR data of the patient. The new methods will be directly brought the international clinical partners for wider scale trials and dissemination. Ultimately, new systems of surgical simulations contribute to the decrease in surgical errors as well as to reduced morbidity and mortality.

What is the major research question?
Describe here briefly the problem to be solved by the research, the starting hypothesis, and the questions addressed by the experiments.
Fundamental questions of the research:
- what sensor data and parameters are best describing robotic surgical skills?
- how can we measure these?
- which are the most efficient MIS training methods?
- what role patient-specific training modells should have in the curriculum?
- how does a surgical ontology supports the classification, standardization and automation of surgery?

The basic assumption is that with the application of a modern surgical robot and intra-operative sensors, tracking tools, it becomes possible to answer these urging questions.

What is the significance of the research?
Describe the new perspectives opened by the results achieved, including the scientific basics of potential societal applications. Please describe the unique strengths of your proposal in comparison to your domestic and international competitors in the given field.
Objective assessment of robotic surgical skills has become a key research area of biomedical engineering in the past years. The newer and newer surgical tools introduced to the operating theater have improved surgical outcomes, however, they are posing new challenges to the medical staff. These complex devices require extra effort from the surgeons to learn using them. The current curriculum does not include adequate training, therefore new, evidence-based tasks and educational tools have to be developed. Ontologies are considered to be the most efficient was to describe formally complex procedures, leading to metadata that is processable by computer algorithms as well. This may open the way to automate certain fractions of the surgical procedures. Modern engineering tools and mathematical methods offer a solution for these problems, yet these have to be tailored and put into application.

Summary and aims of the research for the public
Describe here the major aims of the research for an audience with average background information. This summary is especially important for NRDI Office in order to inform decision-makers, media, and others.
Our knowledge of the human body and its diseases has grown and deepened significantly over the past decades, requiring changes in the methods of medical science and education. The technological development of the last decades resulted in the rise of entirely new paradigms in health care, most importantly, the advent of robotic minimally invasive surgery. In the meanwhile, the development of surgical education and training is lagging behind, creating an urgent need to focus more research and technology on the skill training and skill transfer of medical staff. Adequately trained medical doctors will better use technologically advanced equipment, which will directly result in better patient outcome.
This proposal is focusing on a three-year project to advance the state-of-the-art in medical education, surgical robotic training and skill assessment, to develop, validate, and apply educational apparatus fitting the national requirements. The focus of the project is to employ the latest engineering technology, and fit it to the clinical environment and to medical needs to empower surgeons.

Final report

Results in Hungarian

A sebészeti készségek objektív felmérése az invazív orvostudomány egyik legfontosabb kutatási területe, amely teljesen új lendületet kapott a számítógéppel integrált sebészeti rendszerek megjelenésével. Végső soron lehetőség nyílik a műtéti folyamatok számítógépes leírására oly módon, hogy akár a robotok is képesek legyenek felhasználni azokat egyszerűbb műtéti folyamatok autonóm végrehajtásánál. A kutatásunk során ezeket a lépéseket tettük meg, és kezdeti szinten létrehoztuk a sebészeti feladatok, alfeladatok számítógépes leírását, leképezését, amelyet utána már egy robot is végre tudott hajtani. Létrehoztunk szenzorokkal ellátott sebészeti fantomokat mérés és adatgyűjtési céllal, majd ezeket speciális műtéti eljárások szimulálására tettük alkalmassá (epehólyageltávolítás, prosztataeltávolítás és veseműtét voltak a kiválasztott beavatkozások), ahol mind kézi laparoszkópos, mind robot-asszisztált műtéti folyamatokat tudtunk rögzíteni (Da Vinci Research Kit környezetben). Saját szoftver környezetet fejlesztettük a műtéti folyamatok rögzítésére (OntoFlow szoftver), illetve middleware-t a robotos implementációhoz (IROB-SAF). Mindezeken keresztül megtettük az első K+F lépéseket a Sebészeti Adattudomány irányába, amely egy teljesen új interdiszciplináris terület a mérnöki és az orvostudomány határán, amely révén most már valóban minőségi előrelépést érhetünk el a gyógyászati folyamatok szabványosítása és fejlesztése területén.

Results in English

Objective surgical skill assessment is considered to be the holy grail of computer-integrated surgery. Once we are able to measure, analyze and assess the details of a surgical procedure, not only to determine who is a better surgeon, but also identifying the key, most critical skills for successful operation: standardize surgery. In our research projects, we took the first steps into this direction. On one hand, we created sensorized phantoms (anatomical models), enabling in-depth data collection in the domain of most common minimally invasive surgical procedures (cholecystectomy, prostatectomy, nephrectomy), both done manually and in a robot-assisted manner (through the Da Vinci Research Kit). On the other hand, we started to employ ontologies (created on the top of OWL), to create a knowledge domain representation of the collected data, and after analyzing the surgical processes on macro level (with our OntoFlow software), realize some easy examples of the surgical subtask automation (such as blunt dissection, peg transfer and vessel sealing). The required sensor-based decision making algorithm, programming middle-ware and software repositories were created to make it a scalable project in the future (IROB-SAF program). Applying this surgical engineering concept to large datasets leads to the brand new domain of Surgical Data Science, of which promises to really improve the outcome of traditional surgeries through science and engineering.

Full text

https://www.otka-palyazat.hu/download.php?type=zarobeszamolo&projektid=116121

Decision

Yes

List of publications

Árpád Takács, Dénes Ákos Nagy, Imre Rudas, Tamás Haidegger: Origins of Surgical Robotics: From Space to the Operating Room, ACTA POLYTECH HUNG 13: (1) 13-30, 2016

Árpád Takács, József Kuti, Tamás Haidegger, Péter Galambos, Imre J Rudas: Polytopic Model Based Interaction Control for Soft Tissue Manipulation, In: IEEE International Conference on Systems, Man, and Cybernetics . Budapest, Magyarország, 2016.10.09. Kiadvány: Budapest: IEEE, 2016. Paper 2160. , 2016

Árpád Takács, Tamás Haidegger, Péter Galambos, József Kuti , Imre Rudas: Nonlinear Soft Tissue Mechanics Based on Polytopic Tensor Product Modeling, In: Szakál Anikó (szerk.) (szerk.) SAMI 2016 : IEEE 14th International Symposium on Applied Machine Intelligence and Informatics. Herlany: IEEE, 2016. pp. 211-215., 2016

Pausits P, Szögi G, Nagy D A, Nallbani M, Rudas I J, Haidegger T: Identification of Hazards in Invasive/Surgical Robotics, International Conference on Intelligent Robots and Systems - IROS 2015 - Workshop: Towards Standardized Experiments in HRI , 2015

Pausits P, Szögi G, Nallbani M, Rudas I J, Haidegger T: Identification of risks in the application of surgical robotics, In: Szakál A (szerk.) (szerk.) 19th IEEE International Conference on Intelligent Engineering Systems: INES 2015. Bratislava: IEEE, 2015. pp. 147-151., 2015

Sz. Barcza, D.A. Nagy, T. Garamvolgyi and T. Haidegger: Design of a low-cost simulator for the evaluation of surgical skills during laparoscopic radical prostatectomy, Proc. of the Triangle Symposium of the Poland–Hungary–Japan Surgical Society, Lublin, PaperID: 2.3, 2016

Barcza, Szilvia: SEBÉSZETI KÉPESSÉGEK FELMÉRÉSE ROBOTTECHNOLÓGIAI MÓDSZEREKKEL, BME EÜ mérnüki MSc diplomamunka, 2016

R. Elek, D. A. Nagy, I. Rudas and T. Haidegger: Modelling and Control Framework for Robotic Telesurgery, Proc. of the 6thJoint Workshop on New Technologies for Computer/Robot Assisted Surgery (CRAS), Verona, pp. 1–2, 2016

A. Takacs, T. Haidegger and I. J. Rudas: Reaction force and surface deformation estimation based on heuristic tissue models, Proc. of the 16th IEEE Intl. Conf. on Systems, Man, and Cybernetics (SMC), Budapest, pp. 1–6, 2016

R. Elek, T. D. Nagy, D. A. Nagy, G. Kronreif, I. J. Rudas and T. Haidegger: Recent Trends in Automating Robotic Surgery, Proc. of the 20th IEEE Intl. Conf. on Intelligent Engineering Systems (INES), Budapest, pp. 27–32, 2016

Árpád Takács, Péter Galambos, Imre J Rudas, Tamás Haidegger: A novel methodology for usability assesment of rheological soft tissue models, SAMI 2017 : IEEE 15th International Symposium on Applied Machine Intelligence and Informatics. 510 p. Konferencia helye, ideje: Herlany, Szlovákia, 2017.01.26-2017.01.28., 2017

Dénes Ákos Nagy, Tamás Dániel Nagy, Renáta Elek, Imre J Rudas, Tamás Haidegger: Ontology Based Surgical Subtask Automation, ICRA 2017 workshop, Singapore, 2017

Peter Galambos, Tamas Haidegger: Safety Issues with Component-based Software Frameworks: Medico-surgical-rehab robots: fostering community interaction for safety, standards and regulatory issues, European Robotics Forum: ERF International Workshop Medico-surgical-rehab robots: fostering community interaction for safety, standards and regulatory issues. Konferencia, 2017

Stephen Balakirsky, Craig Schlenoff, Sandro Rama Fiorini, Signe Redfield, Marcos Barreto, Hirenkumar Nakawala, Joel Luis Carbonera, Larisa Soldatova, Julita Bermejo ‐ Alonso, Fatima Maikore, Paulo Goncalves, Elena De Momi, Veera Ragavan Sampath Kumar, Tamas Haidegger: TOWARDS A ROBOT TASK ONTOLOGY STANDARD, 12th ASME International Manufacturing Science and Engineering Conference. Konferencia helye, ideje: Los Angeles, Amerikai Egyesült Államok, 2017.06.04-2017.06.06. Los Ang, 2017

Haidegger Tamas: Surgical Robots of the Next Decade: New trends and paradigms in the 21th century, IEEE 30th Jubilee Neumann Colloquium : Neumann Colloquium 2017, 2017

Renáta Elek, Tamás D Nagy, Dénes Á Nagy Bence Takács, Péter Galambos, Imre Rudas, Tamás Haidegger: Robotic Platforms for Ultrasound Diagnostics and Treatment, 2017 IEEE International Conference on Systems, Man and Cybernetics, 2017

Renáta Elek, Tamás D Nagy, Dénes Á Nagy, Tivadar Garamvölgyi, Bence Takács, Péter Galambos, József Tar, Imre J Rudas, Tamás Haidegger: Towards surgical subtask automation - blunt dissection, INES 2017, IEEE 21st International Conference on Intelligent Engineering Systems, 2017

Jaksa L, Haidegger T, Galambos P, Kiss R: Tools for laparoscopic skill development - available trainers and simulators, ORVOSI HETILAP 158:(40) pp. 1570-1576., 2017

Lőrinc Márton, Zoltán Szántó, Tamás Haidegger, Péter Galambos, József Kövecses: Internet - based Bilateral Teleoperation Using a Revised Time - Domain Passivity Controller, ACTA POLYTECHNICA HUNGARICA 14:(8) pp. 27-45., 2017

Haidegger Tamas: Scaling the Autonomy of Surgical Robots, 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2017

T Haidegger, I J Rudas: New Medical Robotics Standards – Aiming for Autonomous Systems, 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2017

Dénes Ákos Nagy, Imre J Rudas, Tamás Haidegger: Surgical data science, an emerging field of medicine, IEEE 30th Jubilee Neumann Colloquium : Neumann Colloquium 2017., 2017

Theo Jacobs, Jan Veneman, Gurvinder S Virk, Tamas Haidegger: The Flourishing Landscape of Robot Standardization, IEEE ROBOTICS & AUTOMATION MAGAZINE 25:(1) pp. 8-15. (2018), 2018

Tamás D Nagy, Márta Takács, Imre J Rudas, Tamás Haidegger: Surgical Subtask Automation: Soft Tissue Retraction, SAMI 2018: IEEE 16th World Symposium on Applied Machine Intelligence and Informatics : Dedicated to the Memory of Pioneer of Robotics Antal (Tony) K. Bejczy : proceedings, 2018

Tamás Dániel Nagy, Tamás Haidegger: An Open-Source Framework for Surgical Subtask Automation, ICRA 2018 IEEE International Conference on Robotics and Automation, Workshop on Supervised Autonomy in Surgical Robotics, 2018

Nagyné E. Renáta, Haidegger Tamás: Endoszkópos kameraképek feldolgozásának lehetőségei a robotsebészetben, IME: INTERDISZCIPLINÁRIS MAGYAR EGÉSZSÉGÜGY / INFORMATIKA ÉS MENEDZSMENT AZ EGÉSZSÉGÜGYBEN XVII.:(4.) pp. 49-54. (2018), 2018

Dénes Ákos Nagy, Tamás Dániel Nagy, Renáta Elek, Imre J Rudas, Tamás Haidegger: Ontology Based Surgical Subtask Automation, Automating Blunt Dissection, Journal of Medical Robotics Research 3:(3) (2018), 2018

Dénes Á Nagy, Imre J Rudas, Tamás Haidegger: OntoFlow, a Software Tool for Surgical Workflow Recording, SAMI 2018: IEEE 16th World Symposium on Applied Machine Intelligence and Informatics : Dedicated to the M pp. 119-124., 2018

László Jaksa, Illés Nigicser, Balázs Szabó, Dénes Ákos Nagy, Péter Galambos and Tamás Haidegger: CogInfoCom-Driven Surgical Skill Training and Assessment, Cognitive Infocommunications, Theory and Applications Eds: Ryszard KlempousJan NikodemPéter Zoltán Baranyi, Springer, 2018

Joanna Isabelle Olszewska, Michael Houghtaling, Paulo Goncalves, Tamas Haidegger, Nicola Fabiano, Joel Luis Carbonera, Sandro R. Fiorini, and Edson Prestes: Robotic Ontological Standard Development Life Cycle, IEEE ICRA 2018 WELCARO workshop, 2018

Bernard Gibaud,Germain Forestier,Carolin Feldmann,Giancarlo Ferrigno,Paulo Gonçalves,Tamás Haidegger,Chantal JulliardDarko KatićHannes KenngottLena Maier-HeinKeno MärzElena de MomiDénes Ákos NagyHirenkumar NakawalaJuliane NeumannThomas NeumuthJavier Rojas BalderramaStefanie SpeidelMartin WagnerPierre Jannin: Toward a standard ontology of surgical process models, Int J Comput Assist Radiol Surg. 2018 Jul 13, 2018

Csaba Urban , Peter Galambos, Gyorgy Gyorok and Tamas Haidegger: Simulated Medical Ultrasound Trainers A Review of Solutions and Applications, Acta Polytechnica Hungarica, vol19 issue 5, 2018

Sandro Rama Fiorini∗1, Abdelghani Chibani1, Tamas Haidegger2, Joel Luis Carbonera3, Craig Schlenoff4, Jacek Malec5, Edson Prestes3, Paulo Gonçalves6, S. Veera Ragavan7, Howard Li8, Hirenkumar Nakawala9, Stephen Balakirsky10, Sofiane Bouznad1, Noauel Ayari1, and Yacine Amirat: Standard Ontologies and HRI, Human Robot Interaction: Safety, Standardization, Benchmarking, Ed. Paolo Barattini, Taylor and Francis, 2019

Arpad Takacs, Imre J. Rudas, Tamas Haidegger: The Other End of Human–Robot Interaction: Models for Safe and Efficient Tool–Tissue Interactions, Human Robot Interaction: Safety, Standardization, Benchmarking, Ed. Paolo Barattini, Taylor and Franci, 2019

Joanna Isabelle Olszewska · Michael Houghtaling · Paulo Goncalves · Nicola Fabiano · Tamas Haidegger · Joel Luis Carbonera · Bill Patterson · S. Veera Ragavan · Sandro R. Fiorini · Edson Prestes: Robotic Standard Development Life Cycle in Action, Journal of Intelligent and Robotic Systems, vol ee, 2019

Back »