Advanced Control Theory and Artificial Intelligence Techniques of Autonomous Ground, Aerial, and Marine Robots  Page description

Help  Print 
Back »
 

Details of project

  
Identifier
71762
Type K
Principal investigator Lantos, Béla
Title in Hungarian Autonóm földi, légi és vízi robotok korszerű irányításelmélete és mesterséges intelligencia eszközei
Title in English Advanced Control Theory and Artificial Intelligence Techniques of Autonomous Ground, Aerial, and Marine Robots
Keywords in Hungarian Autonóm robotok; Embernélküli földi, légi és vízi járművek; Irányításelmélet; Navigáció; Mesterséges Intelligencia
Keywords in English Autonomous robots; Unmanned ground, aerial and marine vehicles; Control theory; Navigation; Artificial intelligence
Discipline
Automation and Computer Science (Council of Physical Sciences)100 %
Ortelius classification: Automation
Panel Informatics and Electrical Engineering
Department or equivalent Department of Control Engineering and Information Technology (Budapest University of Technology and Economics)
Participants Gincsainé Szádeczky-Kardoss, Emese
Harmati, István
Kis, László
Kiss, Bálint
Kovács, Gábor
Lemmer, László
Márton, Lőrinc
Prohászka, Zoltán
Regula, Gergely
Varga, Ádám
Starting date 2008-04-01
Closing date 2012-08-31
Funding (in million HUF) 24.800
FTE (full time equivalent) 11.20
state closed project
Summary in Hungarian
A mobilis, kooperáló és gyengén ismert környezetben is önálló működésre képes autonóm mobilis robotágensek és embernélküli földi, légi és vízi járművek a nemlineáris rendszerek irányítási elméletének körébe tartoznak, kutatásuk a nemzetközi trendek élvonalába tartozik. A kutatás egy széles terület egyidejű művelését igényli, mivel az irányítási algoritmusok nem valósíthatók meg állapotbecslés nélkül, ez szükségessé teszi a szenzorfúzió, navigáció és valós idejű képfeldolgozás módszereinek kutatását, kiegészítve a mesterséges intelligencia korszerű eszközeivel. Ezért a kutatás központi témája a különféle robotágensek és járművek egységes elvek alapján történő modellezése, identifikációja és irányítása, az ágensek alulaktuált jellegét és az akadályokat is figyelembe vevő pályatervezés, a speciális érzékelőkre, mozgásanalízisre és sztereo képfeldolgozásra épülő navigáció, a gyors irányítási célú kommunikáció és a rendszeroptimalizálás, valamint több jármű koordinált irányítása (formációban haladás). A célok megvalósítására a nemlineáris szabályozáselmélet modern irányzatai (differenciálgeometria, passzivitáselmélet, robusztus és adaptív módszerek, optimális irányítás, játékelmélet), differenciális GPS technikán, inerciális szenzorokon (IMU) és képfeldolgozáson alapuló intelligens navigációs módszerek, továbbá diszkrét eseményvezérelt felügyeleti irányítás kerülnek alkalmazásra. A cél ezeken a területeken új tervezési módszerek és algoritmusok kidolgozása a valósidejű elvárások betartásával. Az eredmények miniatűr mintarendszereken kerülnek bemutatásra korszerű beágyazott processzorok és érzékelők bázisán.

A kutatásban a vezető kutató DSc, a 3 szenior kutató PhD fokozattal rendelkezik. További 1 fiatal kutató és 4 doktori hallgató vesz részt a kutatásban témavezetőik irányításával.

Az eredmények rangos nemzetközi fórumokon folyóiratcikkekben, konferenciacikkekben, PhD disszertációkban, könyvben és szoftverekben jelennek meg.
Summary
Mobile cooperating robot agents and unmanned ground, aerial, and marine vehicles (UGVs, UAVs, UMVs), capable to work autonomously in unknown environment, belong to the field of the control theory of nonlinear systems. Their research belongs nowadays to the leading international trends. The research needs the simultaneous study of a broad field, since control algorithms cannot be realized without state estimation, which makes necessary the research of sensor fusion, navigation and real time image processing completed with artificial intelligence techniques. Hence the central problems of the research are the modelling, identification and control of the different robot agents and vehicles based on unified theories, then the path design considering the obstacles and the underactuated character of the agents, the navigation based on special sensors, the motion analysis and stereo image processing, the quick communication for control purposes, and the system optimization, furthermore the coordinated control of multiple vehicles (formation control).The realization of the goals needs the application of advanced methods of nonlinear control theory (differential geometry, passivity theory, robust and adaptive methods, optimal control, game theory), intelligent navigation methods based on differential GPS technique and image processing, furthermore the use of discrete event supervisory control. Objectives on these fields are the development of new design methods and algorithms taking into consideration the real time requirements. The results are demonstrated on the basis of small-sized testbed systems using advanced embedded processors and sensors.

The project leader has DSc title, the 3 senior researchers have PhD degrees. One further young teaching assistant and 4 PhD students participate in the research under the supervision of their PhD consultants.

The results of the research appear in international journal papers, proceedings, PhD Theses, book and softwares.




 

Final report

  
Results in Hungarian
Módszereket dolgoztunk ki autonóm földi, légi és vízi járművek (robotok) egységes elveken alapuló modellezésére. Algoritmusokat fejlesztettünk ki járművek és formációban haladó járműegyüttesek stabil irányítására. Módszereket dolgoztunk ki nemsima nemlinearitásokat tartalmazó robotok és más mechanikai rendszerek modellezésére, identifikációjára és robusztus irányítására. Mozgástervezési és koordinálási algoritmusokat fejlesztettünk ki multiágensű rendszerek számára korlátozások jelenlétében a játékelmélet, a megerősítéses tanulás és a számítási intelligencia bevonásával. Modellezési eljárást és irányítási algoritmusokat dolgoztunk ki alulaktuált földi járművek és más mechanikai rendszerek számára lineáris korlátozások esetén. Megmutattuk, hogy időskálázással bővíthető a linearizálható dinamikus rendszerek osztálya. Algoritmust adtunk aktív alsó végtagprotézis szabályozására. Hiperredundáns robotok mozgástervezésére új elvű eljárást fejlesztettünk ki. Mozgásanalízisen és sztereótechnikán alapuló módszereket fejlesztettünk ki általános képfeldolgozási feladatok megoldására és beltéri járművek térbeli pozíciójának és orientációjának meghatározására valós időben. Új módszertant dolgoztunk ki diszkrét eseményű rendszerek többszintű modellezésére és felügyeleti irányítására. Módszert dolgoztunk ki navigációs szenzorok fúziójára és az állapotváltozók nagy pontosságú becslésére. Mintarendszert fejlesztettünk beltéri helikopterek irányítási algoritmusainak valós idejű vizsgálatára.
Results in English
Methods were elaborated for modeling autonomous ground, aerial and marine vehicles (robots) based on uniform concepts. Algorithms were developed for stable control of vehicles and their ensembles moving in formation. For robots and other mechanical systems containing nonsmooth nonlinearities new methods were elaborated for modeling, identification and robust control. Motion design and coordination algorithms were developed for constrained multiagent systems based on game theory, reinforcement learning and computational intellegence. Modeling methods and control algorithms were elaborated for underactuated ground vehicles and other mechatronic systems under linear constraints. It was shown that using timescaling the class of linearizable dynamic systems can be extended. An algorithm was developed for the control of an active lower limb prosthetic. A novel method was elaborated for the motion design of hyperredundant robots. Methods based on motion analysis and stereo technique were developed for solving general image processing tasks and determining the position and orientation of indoor vehicles in real time. For discrete event systems a new methodology was given for the multilevel modeling and supervisory control. Methods were elaborated for the fusion of navigation sensors and the high-precision state estimation. A system of 3 indoor helicopters were developed for the investigation of control algorithms in real time.
Full text https://www.otka-palyazat.hu/download.php?type=zarobeszamolo&projektid=71762
Decision
Yes





 

List of publications

  
Harmati I, Skrzypczyk K: Robot team coordination for target tracking using fuzzy logic controller in game theoretic framework, ROBOTICS AND AUTONOMOUS SYSTEMS 57:(1), pp. 75-86, 2008
Márton L, Hodel AS, Lantos B, Hung JY: Underactuated robot control: comparing LQR, subspace stabilization, and combined error metric approaches, IEEE T IND ELECTRON 55: (10) 3724-3730, 2008
Szádeczky KE, Kiss B: Motion planning in dynamic environments with the Rapidly Exploring Random Tree, INTERNATIONAL REVIEW OF AUTOMATIC CONTROL 1;(1), pp. 109-117, 2008
Szádeczky KE; Kiss B: Designing a tracking controller for passanger cars with steering input, Periodica Polytechnica El. Eng. Vol. 52/3-4, pp. 137-144, 2008
Haller P, Márton L: Prediction and congestion control algorithm for networked motion tracking, Control Engineering Practice 17: (11), pp. 1265-1271, 2009
Harmati I, Drexler AD: Holonomic stratified motion planning along decomposed trajectory, International Review of Automatic Control 2: (3) , pp. 268-285, 2009
Kis L, Lantos B: Sensor fusion and actuator system of a quadrotor helicopter, Periodica Polytechnica El. Eng. Vol. 53/3-4, pp.139-150, 2009
Kis L, Prohászka Z, Regula G: Calibration and testing issues of the vision, inertial measurement and control system of an autonomous indoor quadrotor helicopter, International Journal of Mechanics and Control 10: (1), pp. 29-38, 2009
Lemmer L; Kiss B: Noninteracting control of a steering system, Periodica Polytechnica El. Eng. Vol. 53/1-2, pp. 45-53, 2009
Kis L, Lantos B: Senzorfúzió alkalmazása beltéri autonóm négyrotoros helikopteren, Hadmérnök 4: (4), pp.191-204, 2009
Lemmer L, Kiss B: Underactuated mechanical system with constant linear constraints, Journal of Systems Science (Wroclaw University of Technology), Vol. 35, No. 4, pp. 81-91, 2009
Lemmer L, Kiss B: Modeling and control of a steering system including a universal joint and a harmonic drive, EUROPEAN JOURNAL OF MECHANICAL AND ENVIRONMENTAL ENGINEERING, Vol. 2009-1, pp. 7-13, 2009
Márton L: Adaptive friction compensation in the presence of backlash, Journal of Control Engineering and Applied Informatics 11: (1) pp.3-9, 2009
Márton L, Lantos B: Control of mechanical systems with Stribeck friction and blacklash, SYST CONTROL LETT 58: (2) 141-147, 2009
Prohászka Z, Lantos B: Extracting geometric information from images with the novel Self Affine Feature Transformation, Periodica Polytechnica El. Eng. Vol. 53/3-4, pp. 163-177, 2009
Regula G, Lantos B: Backstepping based control design with state estimation and path tracking to indoor quadrotor helicopter, Periodica Polytechnica El. Eng. Vol. 53/3-4, pp. 151-161, 2009
Szádeczky KE, Kiss B: Continuous-curvature paths for mobile robots, Periodica Polytechnica El. Eng. Vol. 53/1-2, pp. 63-72, 2009
Kis L; Lantos B: Quadrotor control based on partial sensor data, International Journal of Mechanics and Control Vol. 12/1, pp. 43-50, 2011
Márton L; Lantos B: Control of robotic system with unknown friction and payload, IEEE Transaction on Control System Technology Vol. 19/6, pp. 1534-1539, 2011
Márton L, Fodor Sz, Sepehri N: A practical method for friction identification in hydraulic actuators, MECHATRONICS 21:(1), pp. 350-356, 2011
Lapis L; Fazekas CS; Kiss B: Steer-by-wire kormányrendszer járműmodell-alapú irányítása, A JÖVŐ JÁRMŰVE Vol. 5/1-2, pp. 28-32, 2012
Lantos B, Márton L: Nonlinear Control of Vehicles and Robots, Springer-Verlag London Ltd, pp. 1-459, ISBN 978-1-84996-121-9, 2011
Varga A: Predictive control of robots and nonlinear mechatronic systems, Budapesti Műszaki Egyetem Központi Könyvtár, PhD Thesis K213267, p96, 2008
Szádeczky KE: Real-Time Motion Planning for Nonlinear Nonholonomic Mechatronic Systems Using Time-Scaling. PhD Thesis, BME OMIKK Központi Könyvtár, p. 122, 2009
Lemmer L: Modeling and Control of a Class of Multi-Variable Mechatronic Systems with Kinematic Constrains. PhD Thesis, BME OMIKK Központi Könyvtár, p. 134, 2010
Prohászka Z: Motion stereo for mobile robot applications based on novel geometric measures and image features. PhD Thesis, Budapesti Műszaki ésGazdaságtudományi Egyetem, pp. 1-143, 2011
Gasztonyi P, Harmati I: Heuristics-based high-level strategy for multi-agent systems, In: Kurkova V, Neruda R, Koutnik J (szerk.) Artificial Neural Networks, Lecture Notes in Computer Sciences, pp. 700-709, ISBN 978-3-540-87558-1, 2008
Kiss B, Szádeczky KE: Time-scaling in the control of mechatronic systems, In: Laznica L. (szerk.) New developments in robotics, automation and control, Chapter 22, pp. 411-426, I_Tech Education and Publishing KG, Vienna, 2008
Tél F, Lantos B: Projective reconstruction and its application in object recognition for robot vision system, In: Zhihui X (szerk.) Computer Vision, Chapter 24, pp. 441-470, I_Tech Education and Publishing KG, Vienna, 2008
Drexler DA; Harmati I: Optimization Issues on motion planning of kinematically redundant manipulators, In Mann ZA (szerk.) Optimization in computer engineering-Theory and applications. Irvine, USA, Scientific Reasearch Publishing, pp. 81-98, 2011
Harmati I; Drexler DA: Suboptimal robot team coordination, In Mann ZA (szerk.) Optimization in computer engineering-Theory and applications. Irvine, USA, Scientific Reasearch Publishing, pp. 101-126, 2011
Komlósi I; Kiss B: Motion planning for multiple mobile robots using time scaling, In: Bedkowski J (szerk.) Mobile Robots - Control Architectures, Bio-interfacing, Navigation, Multi Robot Motion Planning. InTech Open Access Publisher, pp. 259-288, 2011
Gasztonyi P, Harmati I: Heuristics-based high-level strategy for multi-agent environment, Proceedings UKACC International Conference on Control, Manchester, IEEE Publisher, pp. 1-6, 2008
Kis L; Regula G; Lantos B: Design and hardware-in-the-loop test of the embedded control system of an indoor quadrotor helicopter, Proceedings 6th Workshop on Intelligent Embedded Systems WISES 08, Regensburg, IEEE Publisher, ISBN 978-3-00-024989-1, pp. 35-44, 2008
Kis L, Prohászka Z, Regula G: Calibration and testing issues of the vision, inertial measurement and control, Proceedings of RAAD 2008 International Conference, Ancona, pp. 1-10, ISBN 978-88-9030709-0-8, Conference CD, 2008
Márton L, Lantos B: Motion stabilization in the presence of friction and blacklash: a hybrid system approach, Proceedings UKACC International Conference on Control, Manchester, IEEE Publisher, We02_05, pp. 1-6, 2008
Márton L: Distributed controller architecture for advanced robot control, Proceedings IEEE International Symposium on Industrial Informatics, Cambridge, IEEE Publisher, pp. 1412-1417, 2008
Prohászka Z: Affine invariant fetures from Self-Flow, Proceedings of RAAD 2008 International Conference, Ancona, pp. 1-10, ISBN 978-88-9030709-0-8, Conference CD, 2008
Szádeczky KE, Kiss B: Path planning and tracking control for automatic parking assist system, Proceedings of European Robotics Symposium, Prague, Springer Verlag, pp. 175-184, ISBN 978-3-540-78317-6, 2008
Drexler AD, Harmati I: Symbolic robot simulation software for educational purposes, Proceedings of European Control Conference ECC'09, Budapest, IFAC-IEEE Publisher, pp. 5081-5086, 2009
György I, Harmati I: Motion planning algorithm for tactical actions in robot soccer, Proceedings of European Control Conference ECC'09, Budapest, IFAC-IEEE Publisher, pp. 4445-4450, 2009
Kovács G, Pietrac L: Multi-face modeling for rapid prototyping of discrete event control systems, Proceedings of European Control Conference ECC'09, Budapest, IFAC-IEEE Publisher, pp. 1463-1468, 2009
Kovács G: On the implementation of task-based supervisory controllers, Proceedings of 13th IFAC Symposium on Information Control Problems in Manufacturing, Moscow, , pp. 430-435, 2009
Márton L, Lantos B: Friction and backlash induced limit cycles in mechanical control systems, Proceedings of European Control Conference ECC'09, Budapest, IFAC-IEEE Publisher, pp. 23-26, 2009
Márton L, Lantos B: Friction and backlash measurement and identification method for robotic arms, Proceedings of IEEE International Conference on Advanced Robotics ICAR'09, Munich, pp. 1-6, 2009
Prohászka Z: Fine tuning of quasi linear feature descriptors by the means of SSD error measures, Proceedings of 7th Conference of Hungarian Association for Image Processing KEPAF2009, Budapest, Akaprint - MTA SZTAKI, pp. 1-8, Online Proceedings and Conference CD, 2009
Prohászka Z, Fodor P: Mátrixműveletek integrálása a gpCV++ képfeldolgozási könyvtár fejlesztése során, Proceedings of 7th Conference of Hungarian Association for Image Processing KEPAF2009, Budapest, Akaprint - MTA SZTAKI, pp. 1-8, Online Proceedings and Conference CD, 2009
Szádeczky KE, Kiss B, Wahl I: Design of a semi-autonomous parking assist system, Proceedings of European Control Conference ECC'09, Budapest, IFAC-IEEE Publisher, pp. 4949-4954, 2009
Tél F, Lantos B: Stereo image processing system for robot vision, Proceedings of 7th Conference of Hungarian Association for Image Processing KEPAF2009, Budapest, Akaprint - MTA SZTAKI, pp. 1-10, Online Proceedings and Conference CD, 2009
Harmati I, Kovács G: On drift neutralization of six legged robot, Proceedings of International Conference CLAWAR, Nagoya, Japan, pp. 614-621, 2010
Kis L, Lantos B: Quadrotor control based on partial sensor data, Proceedings of 19th IEEE International Workshop on Robotics in Alpe-Adria-Danube Region, Budapest, pp. 43-48, 2010
Kis L, Lantos B: State estimation and control of indoor quadrotor helicopter, XVII. Repüléstudományi Napok Konferencia Közleményei, Budapest, pp. 1-6, 2010
Kovács G, Pietrac L: A framework for using formal methods in process control, Proceedings of 1st International Scientific Workshop on DCS, Miskolc, pp. 66-76, ISBN 978-963-661-950-3, 2010
Kovács G, Pietrac L, Niel E: Supervisory control based on multi-face modelling of discrete event systems, Proceedings of 10th International Workshop of Discrete Event Systems, pp. 127-132, Berlin, Germany, 2010
Márton L, Lantos B: A novel approach to deal with temperature dependence of friction in mechanical control systems, Proceedings IEEE/ASME International Conference on Advanced Intelligent Mechatronics, Montreal, Canada, pp. 920-925, 2010
Prohászka Z: Matching image details with Self Affine Feature Transform, Proc. 5. Magyar Számítógépes Grafika és Geometria Konferencia, Budapest, pp. 206-213, 2010
Kis L; Lantos B: Aided carrier phase differential GPS for attitude determination, In: 2011 IEEE/ASME International Conference on Advanced Intelligent Mechatronics Proceeding. Budapest, Magyarország, 2011.07.03-2011.07.07, pp. 778-783, 2011
Kis L; Lantos B: INS aided carrier phase differential GPS system for precise navigation, In: MM Science Journal Special Edition: 20th International Workshop on Robotics in Alpe-Adria-Danube Region. Brno, Cheherszág, 2011.10.05-2011.10.07. pp. 108-115, 2011
Lantos B: Control of autonomous ground, aerial and marine vehicles, In: Proceedings of INNOMECH 2011 Advanced Control Systems in Vehicles, Kecskemét, Magyarország, 2011.08.23, pp. 7-30 (ISBN 978-963-7294-96-9), 2011
Lantos B; Max GY: Formation control of vehicles using multi-body approach, In: MM Science Journal Special Edition: 20th International Workshop on Robotics in Alpe-Adria-Danube Region. Brno, Cheherszág, 2011.10.05-2011.10.07. pp. 190-197, 2011
Lapis L; Fazekas Cs; Kiss B: Model based slideslip angle control for steer-by-wire system, In: 9th European Workshop on Advanced Control Diagnosis ACD'2011, Budapest, Magyarország, 2011.11.17-2011.11.18. pp. 1-7, Paper 1, 2011
Márton L: On-line lubricant health monitoring in robot actuators, In: Australian Control Conference, 2011.11.10-2011.11.11, Melbourne, Ausztrália, pp. 167-172, 2011
Márton L: Detection of overload generated faults in robot manipulators with friction, In: 8th International Conference on Informatics in Control, Automation and Robotics ICINCO'11, Noordwijkerhout, Hollandia, 2011.08.10-2011.08.11, pp. 106-111, 2011
Rózsa T, Kiss B: Tracking control of two-dimensional overhead crane paper (Feedback linearization with linear observer), International Conference on Information Control, Automation and Robotics, Noordwijkerhout, Holland, p. 1-6, 2011
Prohászka Z: Formulation of 3D and projective extensions of the Self Affine Feature Transform, Proc. 8th Conference of Hungarian Association for Image Processing and Pattern Recognition KEPAF2011, Szeged, pp. 407-421, 2011
Prohászka Z: Connection of the Harris detector -based affine adaptation and the Self Affine Image Transform, Proc. 8th Conference of Hungarian Association for Image Processing and Pattern Recognition KEPAF2011, Szeged, pp.422-436, 2011
Prohászka Z: Dependence of gradient moment based descriptors on affine distortions of differentiating kernel, In: Proceedings of 9th IEEE International Symposium SYSI'2011, Subotica, Szerbia,2011.09.08-2011.09.10. pp. 217-222, 2011
Prohászka Z: Transformation of Self Affine Features due to Windowing Effects, In: Proceedings Int. Conf. on Image Processing, Computer Vision and Pattern Recognition IPCV'2011. Las Vegas, USA, 2011.07.18-2011.07.21. pp. 664-651, 2011
Drexler DA; Harmati I: Redundáns robotok inverz geometriai proglémájának megoldása modern differenciálgeometriai módszerekkel, Tavaszi Szél 2012 konferencia, Győr, Magyarország, 2012.05.17-2012.05.20, pp. 383-388 (ISBN 978-963-89560-0-2), 2012
Kis L; Lantos B: Time-delay extended state estimation and control of a quadrotor helicopter, Morcego B; Nejjari F (szerk.) 20th Mediterranean Conference on Control and Automation MED'2012. Barcelona, Spanyolország, 2012.07.03-2012.07.05, pp. 1560-1565, 2012
Kis L; Lantos B: INS and magnetic sensor aided carrier phase differential GPS for attitude determination, Mastorakis N (szerk.) Recent Researches in Applied Information Science: 5th WSEAS World Congress ACC'12. Faro, Portugália, 2012.05.02-2012.05.04, pp. 106-111, 2012
Kovács G; Harmati I; Kiss B; Vámos G; Maráczy P: Comparison of methods for passanger flow simulation of an airport terminal, Recent Researches in Applied Information Science: 5th WSEAS World Congress ACC'12. Faro, Portugália, 2012.05.02-2012.05.04, pp. 145-150, 2012
Kovács G; Pietrac L; Kiss B: A component based approach for supervisory control, Nejjari F (szerk.) 20th Mediterranean Conference on Control and Automation MED'2012. Barcelona, Spanyolország, 2012.07.03-2012.07.05, pp. 794-799, 2012
Prohászka Z: Normalizing geometric image details by Self Affine Feature Transform, In: Szirmay KL; Renner G (szerk.) VI. Magyar Számtógépes Grafika és Geometria Konferencia, Budapest, Magyarország, , 2012.02.20-2ö12.02.21. pp. 8-16, 2012




 

Events of the project

  
2009-03-02 20:19:26
Résztvevők változása



Back »