Telemanipulation in Intelligent Space  Page description

Help  Print 
Back »
 

Details of project

  
Identifier
62836
Type K
Principal investigator Korondi, Péter
Title in Hungarian Telemanipuláció intelligens térben
Title in English Telemanipulation in Intelligent Space
Keywords in Hungarian Telemanipuláció, intelligens érzékelők
Keywords in English telemanipulation, intelligent sensors
Discipline
Electro-technology (Council of Physical Sciences)70 %
Automation and Computer Science (Council of Physical Sciences)30 %
Panel Informatics and Electrical Engineering
Department or equivalent Department of Automation and Applied Informatics (Budapest University of Technology and Economics)
Participants Csapó, Ádám Balázs
Gaudia, Andor
Hashimoto, Hideki
Járdán, Rafael Kálmán
Kis, Péter
Nagy, István
Petres, Zoltán
Reskó, Barna
Sütő, Zoltán
Szemes, Péter Tamás
Sziebig, Gábor
Takarics, Béla
Thomessen, Trygve
Starting date 2006-02-01
Closing date 2010-10-31
Funding (in million HUF) 11.533
FTE (full time equivalent) 15.53
state closed project
Summary in Hungarian
Az első telemanipulációs eszközök az emberi kar egyszerű meghosszabbításai voltak, az operátor saját izomerejét használta a manipulációhoz. Később a szoros mechanikai kapcsolatot megtartva szervóerősítők segítettek az operátor izmainak. A következő lépésben az erő és elmozdulás nagyságát elektromos jelek közvetítették, ekkor –különösen a számítógépes hálózat megjelenésével– az operátor és manipulált környezet térben jelentősen eltávolodhatott egymástól.

Jelen pályázatban még ennél is tovább szeretnék lépni azzal, hogy az operátor cselekvését és a tényleges manipulációt időben is el kívánjuk választani. A térben és időben szétválasztott telemanipuláció egyben robotok programásának egy új lehetősége. Ennek az lehet a jelentősége, hogy a jelenlegi robot programozási technikák kb. 400-szor több időt vesznek igénybe, mint maga a feladat elvégzése, ezért csak néhányszor ismételendő feladatra nem érdemes egy robotot betanítani. E pályázat keretében kidolgozandó eljárás a telerobotikának egy teljesen új dimenzióját nyithatja meg.

Konkrét célunk, hogy egy egyszerű manipulációs tevékenységet a mindenütt jelenlévő számítástechnikát felhasználva eltanulja egy intelligens elosztott érzékelő rendszer az operátortól. Majd önállóan alkalmazza.
Summary
The first tools of telemanipulation were simple elongations of the human arm, the force for manipulation originated from the muscles of the operator. Later servo amplifiers helped the muscles of the operator, but still keeping the tight mechanical connections between manipulator and operator. In the next step the force and displacement was coded as electrical signals. By virtue of the emergence of computer networks the operator and the manipulated environment could be spatially separated from each other.

In the present application we would like to go even further by separating the operator and the environment not only in space, but also in time. The tempo-spatially separated telemanipulation opens a new era in robot programming. In current robot programming technologies the programming time of a robot takes 400 times more than the execution of the program. This implies that it is not effective to use industrial robots for tasks that have to be performed relatively few times. The method to be elaborated within the frame of this application aims to open new dimensions in telerobotics.

Our specific goal is to use the ubiquitious computing concept in a distributed sensory intelligent system to learn a simple manipulation activity from an operator. The activity to learn should be easy to realize, analytically explicit, but it still requires the operator to learn how to perform it. (For example the descent of a swinging load of a crane into a hole). The system should be able to perform the operation in different circumstances with different parameters




 

Final report

  
Results in Hungarian
A jelen OTKA pályázat személyes kapcsolaton alapuló nemzetközi együttműködéseknek nyújtott anyagi hátteret. Az eredmények bemutatására két nemzetközi demonstráció készült. A budapesti 3D virtuális kiterjesztett valóságot az interneten keresztül összekapcsoltuk egy tokiói és egy narviki intelligens térrel. Az első esetben egy mobil robotot vezéreltünk. Az operátor a japán labor 3D animált másában Budapesten irányított egy animált robotot. Az animált mobil robot mozgását leíró információt az interneten keresztül közvetítette a tokiói intelligens térhez, amely ennek megfelelően irányította a valóságos mobil robotot. A japán mobil robot mozgását az ottani intelligens tér elosztott intelligenciájú érzékelők segítségével érzékelte, és a mozgásállapotra vonatkozó adatokat visszaküldte a magyar virtuális 3D térbe, ahol a virtuális mobil robot a japán mobil robottal kvázi szinkronban mozgott. A második demonstrációban egy mozgáskövető adatruhát viselő norvég operátor kezének mozgatásával mutatta meg, hogy milyen pályát kellene követnie az ipari robotnak. Egy budapesti ipari robot a gesztusokkal kiadott és interneten közvetített parancsokat végrehajtotta. Ez a robotok programozásának teljesen új paradigmája, amely nem igényel robotprogramozási szakértelmet. Megoldott tudományos kihívások: Az internet okozta idő késleltetés kompenzálása, Robot mozgása közben fellépő súrlódás kompenzálása, Ember-gép interakció alternatív kognitív kommunikációs csatornán keresztül.
Results in English
This OTKA project provided financial background for international cooperations based on personal contacts. Two international demonstrations were made to present achievements of the project. The 3D augmented reality, located in Budapest, was connected to intelligent spaces in Tokyo and Narvik. In the first demonstration a mobile robot was controlled. The Hungarian operator entered into the 3D animated copy of the real laboratory located in Tokyo to operate an animated robot. Its motion data was sent to Tokyo to the Intelligent Space via internet. The Intelligent Space controlled a real mobile robot according to the data received from Budapest. It monitored the movement of the real robot with distributed intelligent sensors. The motion data of the real robot was sent back to the Hungarian 3D virtual space, where the movement of the real and animated robot was synchronised. In the second demonstration the Norwegian operator, wearing a motion caption data suite, showed – with his hand - the desired motion of the industrial robot. The industrial robot in Budapest received the motion data via internet and carried out the commands, that were originally given by gestures in Norway. This is a new paradigm of robot programming, since it does not require qualified knowledge of robot programming. Solved challenges: Compensation of the effects caused by time delay and frictions of robot movement, human-machine interaction via alternative cognitive communication channel.
Full text https://www.otka-palyazat.hu/download.php?type=zarobeszamolo&projektid=62836
Decision
Yes





 

List of publications

  
B. Takarics, P. Szemes, P. Korondi: Virtual Master Device for Telemanipulation, Proceedings of IEEE 3rd Internation Conference on Mechatronics, pages 557-562, 2006
B. Takarics, P. Szemes, P. Korondi: CONTACTLESS MASTER DEVICE FOR REMOTE INTELLIGENT SPACE APPLICATION, Proceedings of Conference of Mechanical Engineering pages 347-352, 2006
Gabor Sziebig, Bela Takarics, Peter Korondi Viliam Fedák: Virtual master device, Proc. of 5th Slovakian-Hungarian Joint Symposium on Applied Machine Intelligence, 2007
Péter Korondi and Zoltán Petres: Sliding Mode Control Based on Tensor Product Model Transformation, Proceedings of IEEE 3rd Internation Conference on Mechatronics, pages 672–677, 2006
Péter T. Szemes, Péter Korondi, Hideki Hashimoto: Human Walking Behavior Model for Intelligent Space, Proceedings of IEEE 3rd Internation Conference on Mechatronics, pages 545-550, 2006
Péter Korondi: Tensor Product Model Transformation-based Sliding Surface Design, Acta Polytechnica Hungarica, Vol. 3, No. 4, pp. 23-36., 2006
P. Korondi, J. Gyeviki: Robust Position Control for a Pneumatic Cylinder, IEEE 1-4244-0121-6/06/ pp. 513-518, 2006
Gabor Sziebig, Andor Gaudia, Peter Korondi, Noriaki Ando: Video image processing system for RT-middleware, Proceedings of 7th International Symposium of Hungarian Researchers on Computational Intelligence, pp. 461-472., 2006
Szilveszter Kovács, Péter Korondi, Hideki Hashimoto: Adaptive Personalisation of the Intelligent Space by Fuzzy Automaton, Proceedings of 7th International Symposium of Hungarian Researchers on Computational Intelligence, pp. 131-143., 2006
László A. Jeni, Zoltán Istenes, Péter Korondi, Hideki Hashimoto: Mobile Agent Control in Intelligent Space using Reinforcement Learning, Proceedings of 7th International Symposium of Hungarian Researchers on Computational Intelligence, pp. 201-211., 2006
Péter Korondi, Péter Bartal, Fetah Kolonic: Friction Model Based on Tensor Product Transformation, Proceedings of 7th International Symposium of Hungarian Researchers on Computational Intelligence, pp. 83-94., 2006
Béla Takarics, Péter T. Szemes: Superflexible Welding Robot Based on the Intelligent Space Concept, Proceedings of 7th International Symposium of Hungarian Researchers on Computational Intelligence, pp. 472-477., 2006
Andor Gaudia, Péter Korondi, Stefan Preitl, Radu-Emil Precup: Recognizing Unusual Behavior in Distributed Environment, Proceedings of CONTI pp. 55-60, 2006
Péter Korondi: Sliding Sector Design Based on Tensor Product Model Transformation, Proceedings of CONTI pp. 1-6., 2006
Andor Gaudia, Péter Korondi, Stefan Preitl, Radu-Emil Precup: Approach to Recognizing Unusual Behavior in Distributed Environment, Transactions on AUTOMATIC CONTROL and COMPUTER SCIENCE, ISSN 1224/600X vol. 52(66) 2007 No. 1. Page pp.73-80., 2007
Gyeviki, Janos; Korondi, Peter; Kolonić, Feta: Accurate Position Control for a Pneumatic Cylinder, Strojarstvo. 48 (2006) , 5-6; 213-225, 2006
Péter Korondi: Sliding Mode Based Friction Compensation for a Haptic Interface, Strojarstvo. 48 (2006) , 3-4; 163-171, 2006
Péter Korondi: Sector Sliding Sector Design for a Servomotor, Transactions on AUTOMATIC CONTROL and COMPUTER SCIENCE, ISSN 1224/600X vol. 52(66) 2007 No. 1. Page pp.73-80., 2007
Zoltán Petres, Péter Baranyi, Péter Korondi, Hideki Hashimoto: Trajectory tracking by TP model transformation: case study of a benchmark problem, IEEE TRANSACTIONS ON INDUSTRIAL ELECTRONICS Volume 54, Issue 3, June 2007 Page(s): 1298 - 131, 2007
P.Korondi, P.P. Zsíros.F. Kolonic: Humanoid Type Hand Moved by Shape Memory Alloy, Communications, Special issue on Mechatronnics vol.2. no:1. pp. 17-23 February,, 2007
G. Sziebig, P. Korondi, B. Solvangy, and B. Resko: Distributed image processing system using the rt-middleware framework,, in Proc. The 33rd Annual Conference of the IEEE Industrial Electronics Society (IECON’07), Taipei, 2007
Y. Kunii, B. Solvang, G. Sziebig, and P. Korondi: Tensor product transformation based friction model, Proc. 11th IEEE International Conference on Intelligent Engineering Systems (INES’07), 2007
B. Solvang, P. Korondi, G. Sziebig, and N. Ando: Trajectory tracking by TP model transformation: case study of a benchmark problem, n Proc. 11th IEEE International Conference on Intelligent Engineering Systems (INES’07), 2007
G. Sziebig, A. Gaudia, P. Korondi, N. Ando, and B. Solvang: Robot vision for rt-middleware framework, Proc. IEEE Instrumentation and Measurement Technology Conference (IMTC’07), Warsaw, Poland, May 2007, pp. 1–6, 2007
Barna Reskó, Dávid Herbay, Péter Korondi, Péter Baranyi: 3D Image Sensor based on Opto-Mechanical Filtering, 8th International Symposium of Hungarian, 2007
B. Resko, P. Baranyi, P. Korondi, H. Hashimoto,: Opto-Mechanical Filtering Applied for Orientation and Length Selective Contour Detection, in Proc. The 33rd Annual Conference of the IEEE Industrial Electronics Society (IECON’07), Taipei, 2007
Radu-Emil Precup, Stefan Preitl, József K. Tar, Marius L. Tomescu, Márta Takács, Péter Korondi, Péter Baranyi: Fuzzy Control System Performance Enhancement by Iterative Learning Control, IEEE TRANSACTIONS ON INDUSTRIAL ELECTRONICS, Volume 55, Issue 9, 2008 Page(s): 3461-3475, 2008
Korondi Péter, Hashimoto Hideki, Sziebig Gábor: Sliding Sector Design for Nonlinear Systems, Proc. International Federation of Automatic Control World Congress (IFAC WC 2008). Seoul, Dél-Korea, 2008. pp. 3556-3561, 2008
Solvang Bjørn, Sziebig Gábor, Korondi Péter: Multilevel Control of Flexible Manufacturing Systems, Proc. IEEE Conference on Human System Interactions (HSI'08). Krakow, Lengyelország, 2008. pp. 785-790. Best Paper Award, 2008
Solvang, B; Sziebig, G; Korondi, P: Vision based robot programming, IEEE International Conference on Networking, Sensing and Control, PROCEEDINGS OF 2008 IEEE INTERNATIONAL CONFERENCE ON NETWORKING, SENSING AND CONTROL, Pages: 949-954, 2008
Baranyi Péter, Solvang Bjørn, Hashimoto Hideki, Korondi Péter: 3D Internet for Cognitive Info-communication, WoS, (CINTI 2009). Budapest, Budapest: pp. 229-243. Paper 63. (ISBN: 978-963-7154-96-6), 2009
Ivan Petrović1, Fetah Kolonić, Peter Korondi: Internet Based Teleoperation for Cooperative Navigation and, Journal of Mechanical Engineering 55(2009)6, 356-368, 2009
Korondi Péter, Bjørn Solvang, Baranyi Péter: Cognitive Robotics and Telemanipulation, Keynote paper, International Conference on Electrical Drives and Power Electronics (EDPE 2009). pp. 1-8. Paper TPL-001. (ISBN: 953-6037-56-8), 2009
Péter Korondi, Péter Baranyi, Hideki Hashimoto, Bjørn Solvang: 3D-Based Internet Communication and Control, Computational Intelligence in Engineering. Berlin ; Heidelberg: Springer-Verlag, 2010. pp. 47-60., 2010
Takarics Béla, Sziebig Gábor, Solvang Bjørn, Korondi Péter: Multimedia Educational Material and Remote Laboratory for Sliding Mode Control Measurements, JOURNAL OF POWER ELECTRONICS 10:(6) pp. 635-642. (2010), 2010
Péter Galambos, András Róka, Péter Baranyi and Péter Korondi: Contrast Vision-based Grasp Force Feedback in Telemanipulation, 2010 IEEE/ASME International Conference on Advanced Intelligent Mechatronics pp. 96-102, 2010
Béla Takarics, Patrícia Gróf, Péter Baranyi, Péter Korondi: Friction Compensation of an Aeroelastic Wing – A TP Model Transformation Based Approach., 2010 IEEE 8th International Symposium on Intelligent Systems and Informatics pp. 527-533. Paper 99., 2010
Sziebig Gábor, Takarics Béla, Korondi Péter: Control of an Embedded System via Internet., IEEE TRANSACTIONS ON INDUSTRIAL ELECTRONICS 57:(10) pp. 3324-3333. Paper 10.1109/TIE.2010.2041132., 2010




 

Events of the project

  
2011-05-10 16:30:22
Résztvevők változása



Back »