Alakzatok lineáris deformációinak becslése és orvosi alkalmazásai
Title in English
Estimation of Linear Shape Deformations and its Medical Applications
Keywords in Hungarian
Képfeldolgozás, regisztráció, alakzat illesztés, orvosi kepek feldolgozása
Keywords in English
Image Processing, Registration, Shape matching, Medical image analysis
Discipline
Information Technology (Council of Physical Sciences)
100 %
Ortelius classification: Applied informatics
Panel
Informatics and Electrical Engineering
Department or equivalent
Department of Image Processing and Computer Graphics (University of Szeged)
Participants
Domokos, Csaba Tanács, Attila
Starting date
2009-01-01
Closing date
2012-03-31
Funding (in million HUF)
4.590
FTE (full time equivalent)
5.20
state
closed project
Summary in Hungarian
Vizsgálatunk tárgya egy ismert bináris alakzat és annak deformált megfigyelését legjobban illesztő lineáris transzformáció meghatározása. Az ilyen típusú regisztrációs feladatok szokásos megoldása az, hogy a két kép között megfeleltetéseket keresünk, majd ezek között határozzuk meg az optimális transzformációs paramétereket. Mi olyan új megközelítési módot javaslunk, amelyben a pontos transzformációt vagy egy polinomiális egyenletrendszer, vagy kovariáns függvények lineáris rendszerének megoldása adja. Mindkét megközelítési módhoz vannak előzetes eredményeink, elsősorban 2D szintetikus adatokon, ahol az illesztő transzformáció az affin csoportra van korlátozva. A tervünk az, hogy kiterjesszük ezeket a megközelítéseket úgy, hogy alkalmasak legyenek 2D (invertálható) projektív, valamint 3D merev-test és affin alakzat-deformációk meghatározására. A módszereket 2D és 3D orvosi regisztrációs problémák megoldására használjuk fel. A megoldási javaslataink előnye a gyorsaság, a lineáris időkomplexitás, az egyszerű megvalósíthatóság, valamint az a tény, hogy egyértelmű és egzakt megoldást biztosítanak a transzformáció nagyságától függetlenül és pontmegfeleltetések meghatározása nélkül.
Summary
We consider the estimation of linear transformations aligning a known binary shape and its distorted observation. The classical way to solve this registration problem is to find correspondences between the two images and then compute the transformation parameters from these landmarks. Here we propose novel approaches where the exact transformation is obtained as the solution of a polynomial system or a linear system using covariant functions. We have obtained some preliminary results for both proposed approaches, mainly on 2D synthetic data where the aligning transformations were restricted to the affine group. Our plan is to extend these approaches to be capable of recovering 2D (invertible) projective shape deformations as well as rigid-body and affine distortions of 3D shapes. These methods would be applied to 2D and 3D medical image registration problems. The advantage of the proposed solutions is that they are fast, have linear time complexity, easy to implement, work without established correspondences and provide a unique and exact solution regardless of the magnitude of transformation.
Final report
Results in Hungarian
A projekt fő eredménye egy általánosan használható, teljesen automatikus alakzat regisztrációs módszer, amely az alábbi tulajdonságokkal rendelkezik:
• nincs szükség pontmegfeleltetésekre illetve iteratív optimalizáló algoritmusokra;
• képes 2D lineáris és (invertálható) projektív deformációk, valamint 3D affin deformációk meghatározására;
• robusztus a geometriai és szegmentálási hibákra;
• lineáris időkomplexitású, ami lehetővé teszi nagy felbontású képek közel valós idejű illesztését.
Publikusan elérhetővé tettünk 3 demó programot, amelyek a 2D és 3D affin, valamint síkhomográfia regisztrációs algoritmusainkat implementálják. Továbbá kifejlesztettünk egy prototipus szoftvert csipőprotézis röntgenképek illesztésére, amit átadtunk a projektben közreműködő radiológusoknak további felhasználásra.
Az eredményeinket a terület vezető konferenciáin ( pl. ICCV, ECCV) illetve vezető folyóiratokban (pl. IEEE Transactions on Pattern Analysis and Machine Intelligence, Pattern Recognition). A projekten dolgozó egyik MSc hallgató második helyezést ért el az OTDK-n. Domokos Csaba PhD fokozatot szerzett, továbbá munkáját Kuba Attila díjjal ismerte el a Képfeldolgozók és Alakfelismerők Társasága. A projekt eredményeiről részletesebb információ a projekt honlapokon található:
• http://www.inf.u-szeged.hu/ipcg/projects/AFFSHAPE.html
• http://www.inf.u-szeged.hu/ipcg/projects/AffinePuzzle.html
• http://www.inf.u-szeged.hu/ipcg/projects/diffeoshape.html
Results in English
The main achievement of the project is a fully functional automatic shape registration method with the following properties:
• it doesn’t need established point correspondences nor the use of iterative optimization algorithms;
• capable of recovering 2D linear and (invertible) projective shape deformations as well as affine distortions of
3D shapes;
• robust in the presence of geometric noise and segmentation errors;
• has a linear time complexity allowing near real-time registration of high resolution images. 3 demo programs are publicly available implementing our affine 2D, 3D and planar homography registration algorithms. Furthermore, we have developed a prototype software for aligning hip prosthesis X-ray images, which has been transfered to collaborating radiologists for further exploitation.
Our results have been presented at top conferences (e.g. ICCV, ECCV) and in leading journals (e.g. IEEE Trans. on Patt. Anal. & Mach. Intell., Patt. Rec.). An MSc student working on the project received the second price of the National Scientific Student Conference. Csaba Domokos obtained his PhD degree and his work has been awarded the Attila Kuba Prize of the Hungarian Association for Image Processing and Pattern Recognition. More details about our results can be found at:
• http://www.inf.u-szeged.hu/ipcg/projects/AFFSHAPE.html
• http://www.inf.u-szeged.hu/ipcg/projects/AffinePuzzle.html
• http://www.inf.u-szeged.hu/ipcg/projects/diffeoshape.html
Csaba Domokos and Zoltan Kato: Affine Shape Alignment Using Covariant Gaussian Densities: A Direct Solution, Image and Vision Computing. Elsevier. (közlésre elküldve), 2012
Attila Tanacs, Joakim Lindblad, Natasa Sladoje, Zoltan Kato: Estimation of Linear Deformations of 2D and 3D Fuzzy Objects, Pattern Recognition, Elsevier (közlésre elküldve), 2012
Jozsef Nemeth, Csaba Domokos and Zoltan Kato: Recovering Planar Homographies between 2D Shapes, In Proceedings of International Conference on Computer Vision, Kyoto, Japan, pages 2170--2176, IEEE, 2009
Jozsef Nemeth, Csaba Domokos and Zoltan Kato: Nonlinear Registration of Binary Shapes, In Proceedings of International Conference on Image Processing, Cairo, Egypt, pages 1001--1004, IEEE, 2009
Attila Tanács, Csaba Domokos, Natasa Sladoje, Joakim Lindblad and Zoltan Kato: Recovering Affine Deformations of Fuzzy Shapes, In A.-B. Salberg, J. Y. Hardeberg and R. Jenssen, editors, Proceedings of Scandinavian Conferences on Image Analysis, vol. 5575 of LNCS, Oslo, Norway, pages 735--744, 2009
Attila Tanács, Natasa Sladoje, Joakim Lindblad, and Zoltan Kato: Estimation of linear deformations of 3D objects, In Proceedings of International Conference on Image Processing, Hong Kong, China, pages 153-156, September 2010. IEEE, 2010
