 |
Ezen az oldalon az NKFI Elektronikus Pályázatkezelő Rendszerében nyilvánosságra hozott projektjeit tekintheti meg.
vissza »
|
 |
Projekt adatai |
|
|
| azonosító |
124124 |
| típus |
K |
| Vezető kutató |
Szirmay Kalos László |
| magyar cím |
4D rendszerek rekonstrukciója |
| Angol cím |
Reconstruction of 4D spatio-temporal phenomena |
| magyar kulcsszavak |
szimuláció, rekonstrukció, Monte Carlo módszer, tomográfia |
| angol kulcsszavak |
simulation, reconstrunction, Monte Carlo method, tomography |
| megadott besorolás |
| Informatika (Műszaki és Természettudományok Kollégiuma) | 100 % | | Ortelius tudományág: Alkalmazott informatika |
|
| zsűri |
Informatikai–Villamosmérnöki |
| Kutatóhely |
Irányítástechnika és Informatika Tanszék (Budapesti Műszaki és Gazdaságtudományi Egyetem) |
| résztvevők |
Csébfalvi Balázs
Magdics Milán
Szécsi László
Tóth Balázs
Tóth Márton József
Umenhoffer Tamás
|
| projekt kezdete |
2017-09-01 |
| projekt vége |
2023-06-30 |
| aktuális összeg (MFt) |
28.452 |
| FTE (kutatóév egyenérték) |
19.33 |
| állapot |
lezárult projekt |
magyar összefoglaló A kutatás összefoglalója, célkitűzései szakemberek számára
Itt írja le a kutatás fő célkitűzéseit a témában jártas szakember számára.
A kutatás célja olyan inverz problémák matematikai és számítási aspektusainak a feltárása, amelyekben a megfigyelt térbeli jelenség időben is változik, azaz a feladat egy 4D téridő függvény rekonstruálása. A lehetséges gyakorlati alkalmazások közül elsősorban az orvosi képalkotást, azaz a dinamikus tomográfiát célozzuk meg, továbbá a fizikai szimulációkat és a deformálható 3D felületek valósidejű rekonstrukcióját, amely nélkülözhetetlen például az autonóm jármű vezetési és szabad nézetű videó alkalmazásokban is.
A 4D rekonstrukció számos problémát felvet, amelyeket figyelembe kell vennünk. Az iteratív rekonstrukciós algoritmusok komplex fizikai rendszereket szimulálnak több alkalommal, iterációnként legalább egyszer. A kapcsolódó fizikai jelenség, például részecske transzport szimulációjának hatékonysága így kulcsfontosságú. Mivel a rendszer dinamikus, azt szűk időablakokban kell vizsgálnunk, ami miatt az időablakban gyűjtött információ erősen korlátozott és általában nem elegendő a rekonstrukcióhoz. Mindez kiküszöbölhető a-priori információ hozzáadása, azaz regularizáció segítségével. Az időbeli és térbeli regularizáció egymástól nem elválaszthatók, mivel a térbeli adat önmagában túl ritka a robusztus állapotbecsléshez. Az iteratív megoldók kezdetben a valódi megoldáshoz konvergálnak, majd a becslést a zaj egyre inkább torzítja, melyet általánosságban túlillesztésnek hívunk. A problémát megfelelő adatreprezentációkkal és a lehetséges túlillesztés detektálásával, valamint a kezdeti állapot különféle heurisztikákon alapuló becslésével kívánjuk megoldani.
Mi a kutatás alapkérdése?
Ebben a részben írja le röviden, hogy mi a kutatás segítségével megválaszolni kívánt probléma, mi a kutatás kiinduló hipotézise, milyen kérdéseket válaszolnak meg a kísérletek.
1. A rendszer trajektóriájának azonosításához a model szimulációjának többszöri végrehajtása szükséges, a hatékonyság tehát kulcsfontosságú. Az első kérdés, hogyan szimulálható hatékonyan a részecske transzport probléma heterogén közegben, lehetővé téve részleges analitikus megoldásokat és nagy teljesítményű kiértékelést masszívan párhuzamos GPU hardveren.
2. 4D (időben változó 3D skalármező) adat reprezentációjához végeselemes bázisfüggvényekre és rácspontokra van szükségünk a 4D térben, ahol a klasszikus Descartes rács alkalmazásának a dimenziók átka szab határt. A kapcsolódó kutatási kérdés arra keres választ, hogy a hasznos adat reprezentációja valamint a mintavételezésből adódó információvesztés és pontatlanság minimalizálása érdekében hogyan definiálunk ilyen rácspontokat és bázisfüggvényeket.
3. A mintavételezési frekvencia meghatározza, hogy a jelenség milyen gyors változásait tudjuk reprezentálni, ugyanakkor azt is, hogy a zaj milyen mértékben rontja el az adatot, ráadásul a számítási igény a frekvenciával arányosan növekszik. Az optimális mintavételi frekvencia megválasztása tehát komoly kihívás, és nem feltétlenül konstans a különböző régiókban, valamint az eredmény kiszámítása során változhat is.
4. Az iteratív módszerek abban az esetben működőképesek, ha a kezdeti feltételeket körültekintően biztosítottuk és felismerjük a túlillesztés kezdetét, mely a valódi jel helyett a zajhoz történő konvergenciát eredményezi. Ezen problémákra kis számításigényű megoldásokat tervezünk kifejleszteni.
Mi a kutatás jelentősége?
Röviden írja le, milyen új perspektívát nyitnak az alapkutatásban az elért eredmények, milyen társadalmi hasznosíthatóságnak teremtik meg a tudományos alapját. Mutassa be, hogy a megpályázott kutatási területen lévő hazai és a nemzetközi versenytársaihoz képest melyek az egyediségei és erősségei a pályázatának!
Az orvosi képalkotó berendezések, mint például CT, PET stb. valamint a TOF kamerák felbontása és az alkalmazásukkal szemben támasztott követelmények gyorsan nőnek, új követelményeket támasztva a rekonstrukciós algoritmusokkal szemben, így a korábbi, jelentős egyszerűsítésekkel élő megoldások többé nem elfogadhatók. Olyan szimulációs technikákra van szükségünk, melyek a komplex rendszerek teljes működését ésszerű számítási idő mellett képesek pontosan leírni, valamint olyan becslési módszerekre, melyek a mért viselkedést tükröző módon meghatározzák a komplex rendszer viselkedését leíró paramétereket. A korábbi, "statikus" módszerekkel ellentétben, amelyek esetén a megfigyelt modellről sok adat rögzíthető, a dinamikus megközelítések esetén a rendszer maga is változik, így egy adott időpillanatbeli állapotát statisztikailag rosszul meghatározott információ alapján kell meghatároznunk. Például, ha egy mozgó és deformálódó objektum geometriáját szeretnénk rekonstruálni, a takarásokból adódóan egy időpillanatban csak részleges információ áll rendelkezésre. A hiányzó információt más időpillanatokból nem pótolhatjuk közvetlenül, mivel az objektum mozog, alakja változik. Ugyanakkor a lehetséges deformációk korlátainak ismeretében mégis tudunk elegendően pontos becsléseket adni. A probléma kezelésére egy fontos megközelítés és egyben vetélytárs a Microsoft "Dynamic Kinect Fusion" projektje. A hiányos információból adódó problémák az orvosi képfeldolgozásban is jelen vannak: a detektálható események, mint például a radioaktív bomlások száma egy adott időablakban korlátozott, így a rekonstrukció kizárólag ezen információ felhasználásával kivitelezhetetlen. Az izotóp koncentráció dinamikájáról szerzett a-priori információ felhasználásával azonban a rekonstrukció elvégezhető. Tomográf készülék gyártókkal, mint pl. GE, Siemens, Phillips stb. együttműködő egyetemek a problémát hozzánk hasonlóan 4D maximum likelihood becsléssel közelítik meg, azonban a kezelhetőség érdekében jelentős egyszerűsítéseket tesznek. A szimulációs hatékonyság, 4D rácsok és mintavételezés, valamint új regularizációs technikák együttes alkalmazásával azonban, hipotézisünk szerint lehetséges a rekonstrukciós pontosság és robusztusság jelentős növelése.
A kutatás összefoglalója, célkitűzései laikusok számára
Ebben a fejezetben írja le a kutatás fő célkitűzéseit alapműveltséggel rendelkező laikusok számára. Ez az összefoglaló a döntéshozók, a média, illetve az érdeklődők tájékoztatása szempontjából különösen fontos az NKFI Hivatal számára.
Számos mérnöki alkalmazásban kell időben változó, térbeli kiterjedésű rendszerek működését felderíteni a viselkedésük megfigyelése alapján. Például az orvosi képalkotásban (PET, MRI stb.) egy fizikai jellemző, pl. a használt izotóp koncentrációjának változására vagyunk kíváncsiak a vizsgált test különböző szöveteiben. Ennek közvetlen mérése nem lehetséges, az izotóp bomlástermékeiből születő és a testből kirepülő részecskék detektálásából kell visszakövetkeztetnünk az izotóp térbeli és időbeli eloszlására. Egy másik célalkalmazásban mozgó, alakjukat változtató objektumok (emberek, járművek) geometriájának változását kell meghatározni színt, illetve mélységet mérő kameraképek segítségével. Az ilyen visszakövetkeztető megközelítéseket inverz feladatoknak hívjuk. A hatékony megoldásukhoz a rendszer viselkedésének pontos szimulációjára van szükség, hiszen a megoldás célja az, hogy a rekonstruált rendszer szimulációja a mért viselkedésnek megfelelő legyen. A nehézség a rendszerek bonyolultságából ered, nevezetesen a mért adatok és a rekonstruált adatelemek száma milliárdos nagyságrendű lehet, ami speciális matematikai megközelítések híján, még szuperszámítógépes környezetben is kezelhetetlen mennyiség. Ráadásul, még ennyi mért adatelem sem elegendő a feladat kielégítő megoldásához, ha a viselkedés gyorsan változik, ugyanis egy-egy időszeletbe ekkor nagyon kevés adat jut. A megoldáshoz tehát nem szabad a rendszert különböző időpillanatokban függetlenül vizsgálni, hanem a teljes adatmennyiséget fel kell használni minden céladat meghatározásához és be kell építeni a-priori információkat is, például a megoldás simaságára, a fizikai/biológiai törvényekre utalókat is.
| angol összefoglaló Summary of the research and its aims for experts
Describe the major aims of the research for experts.
This research proposal aims at the investigation of the mathematical and computational aspects of inverse problems where the observed phenomena change in time, so a 4D spatio-temporal function must be reconstructed. Among the possible practical applications, we primarily target medical imaging, i.e. dynamic tomography, physics experiment processing, and the real-time reconstruction of deformable 3D surfaces needed, for example in autonomous vehicle driving or free viewpoint video applications.
The 4D reconstruction poses several problems that need to be considered. Iterative reconstruction algorithms simulate complex physical systems many times, at least once in every iteration cycle. Thus, the efficiency of the simulation of the related physical phenomena, e.g. particle transport, is crucial. As the system is dynamic, it must be viewed through small time windows, and therefore the information gathered in a window is limited and is not enough for reconstruction. We have to add a-priori information, i.e. regularization. The temporal regularization cannot be separated from the spatial regularization, since the spatial data in itself is so sparse that cannot lead to robust state estimates. Iterative solvers initially converge to the true solution and then start to compromise the data with the noise, which is generally called overfitting. We plan to attack this problem by appropriate representations and also by automatically detecting when overfitting is possibly happening, and by heuristic approaches that find appropriate guesses for the initial state.
What is the major research question?
Describe here briefly the problem to be solved by the research, the starting hypothesis, and the questions addressed by the experiments.
1. System trajectory identification requires the simulation of the model many times, so its efficiency is crucial. The first research question is how the particle transfer problem can be efficiently simulated in heterogeneous media to allow partial analytic solutions, and high performance executions on massively parallel GPU hardware.
2. To represent 4D (time varying 3D scalar fields) data, we need finite element basis functions and grid points in the 4D space, where classical Cartesian grids suffer from the curse of dimensionality. The associated research question addresses how such grid points and basis functions should be defined to allow the representation of meaningful data and to minimize the information loss and inaccuracy caused by sampling.
3. The sampling frequency determines whether quickly changing phenomena can be captured, but also how strongly the inherent noise compromizes the data, and the computational burden grows with the frequency to the dimension. Thus, the optimal selection of the sampling frequency is challenging, which is not necessarily constant in different regions and may also change during the evolution of the result.
4. Iterative methods are acceptable if the starting conditions are carefully set and we can recognize when overfitting starts, which would force convergence to noise and not to the true signal. We intend to develop computationally efficient solutions for these problems.
What is the significance of the research?
Describe the new perspectives opened by the results achieved, including the scientific basics of potential societal applications. Please describe the unique strengths of your proposal in comparison to your domestic and international competitors in the given field.
The usage of medical imaging systems like CT, PET etc. and TOF cameras are increasing, so the processing of their acquired data gains more importance. Both their resolution and the expectations towards their application grow rapidly posing new challenges for the reconstruction algorithms, thus previous approaches taking drastic simplifications are not acceptable anymore. We need simulation techniques that represent the complex system behavior for reasonable computational time and estimation methods that determine the system parameters reflecting a given measured behavior. Unlike previous "static" reconstructions when a lot of data can be captured about the examined model, in dynamic approaches the system itself changes, so its state at a particular point of time must be determined from statistically poorly defined information. The only hope of robust reconstruction is to include a-priori information and to take advantage of data of other locations and points of time. For example, when the geometry of a moving and deforming object is reconstructed, we have just partial information because of occlusions. The missing information cannot be simply inserted from other frames, because the object is moving. A competitive and representative approach to attack this problem is the Microsoft's "Dynamic Kinect Fusion" project.
The same applies for medical imaging applications, the number of events, like radioactive decays is limited in a small time frame, so reconstruction is not possible using only this information. However, imposing a-priori models on the dynamics of the isotope concentration, the reconstruction becomes feasible. Universities cooperating with tomograph manufacturers like GE, Siemens, Philips attack the problem by 4D maximum-likelihood estimation, but make significant simplifications to make the problem numerically tractable. Having efficient massively parallel algorithms for physical simulations, 4D representations, sampling as well as for regularization to avoid overfitting and unacceptable solutions, we plan to provide dynamic reconstruction methods that greatly improve the accuracy and plausibility of the system model compared to other methods.
Summary and aims of the research for the public
Describe here the major aims of the research for an audience with average background information. This summary is especially important for NRDI Office in order to inform decision-makers, media, and others.
Many engineering applications require the exploration of the internal operation of systems based on the observation of their behavior. For example, in medical imaging (PET, MRI, etc.), a physical quantity, e.g. the time dependent isotop concentration needs to be recovered in different tissues of the body. The direct measurement is not feasible, so the result should be obtained indirectly from the detection of particles born due to the decay of the isotope. Another target application is the recovering of the geometry of moving and deforming objects (humans and vehicles) using color or depth cameras. The solution of such inverse problems needs efficient simulation of the examined system since the objective is to find a mathematical model that behaves similarly to the observed physical system. The challenge is the complexity of such problems, both the measured and the reconstructed data can contain billions of elements, which require sophisticated mathematical approaches to make the solution tractable. However, even such amount of data can be not sufficient if the system changes quickly since the data belonging to a single time frame will be insufficient for accurate identification. The solution should consider all possible information of all locations and points of time, and should take into account a-priori information about the smoothness of the solution or the involvement of physical or biological laws.
|
|
|
|
|
|
|
|
| |
Közleményjegyzék |
|
|
| Szirmay-Kalos L., Magdics M., Varnyú D.: Direct dynamic tomographic reconstruction without explicit blood input function, BIOMEDICAL SIGNAL PROCESSING AND CONTROL 80: 104313, 2023 | | Csébfalvi Balázs: One Step Further Beyond Trilinear Interpolation and Central Differences: Triquadratic Reconstruction and its Analytic Derivatives at the Cost of One Additional Texture Fetch, COMPUTER GRAPHICS FORUM 42 : 2 pp. 191-200., 2023 | | Sbert Mateu, Szirmay-Kalos László: A linear heuristic for multiple importance sampling, EURASIP JOURNAL ON ADVANCES IN SIGNAL PROCESSING 2023: (1) 31, 2023 | | László Szirmay-Kalos, Dóra Varnyú, András Fridvalszky, László Szécsi: Virtual Reality Simulation of Surgical Procedures, Grafgeo, 2022 | | Milán Magdics, Márton Tóth and Balázs Tóth: CT-based training data generation for DL-based X-ray image processing, Grafgeo, 2022 | | Balázs Csébfalvi: A Practical Application of Optimal Regular Volume Sampling, Grafgeo, 2022 | | András Fridvalszky, László Szécsi: Efficient Surface Remeshing on the GPU, Grafgeo, 2022 | | Viktória Burkus, Attila Kárpáti, László Szécsi: Ray Marching Fluids near Porous Surfaces, Grafgeo, 2022 | | Dóra Varnyú, László Szirmay-Kalos: Deep learning-based regularization of PET reconstruction, Grafgeo, 2022 | | Balázs Csébfalvi: A Practical Application of Optimal Regular Volume Sampling, Grafgeo, 2022 | | László Szirmay-Kalos, Milán Magdics, Mateu Sbert: Multiple Scattering in Inhomogeneous Participating Media Using Rao-Blackwellization and Control Variates, COMPUTER GRAPHICS FORUM, Vol 37, No 2, 2018 | | Tamás Umenhoffer, László Szirmay-Kalos, László Szécsi, Zoltán Lengyel, Gábor Marinov: An image-based method for animated stroke rendering, The Visual Computer, Volume 34, Issue 6–8, pp 817–827, 2018 | | Mateu Sbert, Vlastimil Havran, László Szirmay-Kalos, Víctor Elvira: Multiple importance sampling characterization by weighted mean invariance, The Visual Computer, June 2018, Volume 34, Issue 6–8, pp 843–852, 2018 | | Mateu Sbert, Vlastimil Havran, Laszlo Szirmay-Kalos: Multiple importance sampling revisited: breaking the bounds, EURASIP Journal on Advances in Signal Processing, December 2018, 2018 | | Tóth Péter: On the LOR-driven approach of back-projection during PET reconstruction, Ninth Hungarian Conference on Computer Graphics and Geometry, 2018 | | László Szirmay-Kalos, László Szécsi: Improved stratification for Metropolis light transport, Computers & Graphics, Volume 68, November 2017, Pages 11-20, 2017 | | Ágota Kacsó, Balázs Tóth, László Szirmay-Kalos: Improving the Robustness of Compartmental Model Fitting for Emission Tomography, IX. MAGYAR SZÁMÍTÓGÉPES GRAFIKA ÉS GEOMETRIA KONFERENCIA. Konferencia helye, ideje: Budapest, Magyarország, 2018.03.21-2018.03.22. Budapest: Neumann János Számítógép-tudo, 2018 | | B Csébfalvi: Fast Catmull‐Rom Spline Interpolation for High‐Quality Texture Sampling, Computer Graphics Forum 37 (2), 455-462, 2018 | | GF Rácz, B Csébfalvi: Cosine‐Weighted B‐Spline Interpolation on the Face‐Centered Cubic Lattice, Computer Graphics Forum 37 (3), 503-511, 2018 | | Péter Tóth: The noisy nature of PET-reconstruction at the edge of the voxel volume, KÉPAF, 2019 | | László Szirmay-Kalos, Dóra Varnyú: Model-based motion compensation for dynamic PET, KÉPAF, 2019 | | Dóra Varnyú, László Szirmay-Kalos: Thick line integration with filtered sampling, KÉPAF, 2019 | | Balázs Csébfalvi: Beyond Trilinear Interpolation: Higher Quality for Free., ACM Transactions on Graphics, 2019 | | László Szirmay-Kalos, Ágota Kacsó, Milán Magdics, Balázs Tóth: Dynamic PET Reconstruction on the GPU, Periodica Polytechnica Electrical Engineering and Computer Science, 62(4), pp. 134-143. doi: https://doi.org/10.3311/PPee.11739., 2018 | | M Sbert, V Havran, L Szirmay-Kalos: Optimal Deterministic Mixture Sampling, Eurographics Conference, Short papers, 2019 | | Dóra Varnyú and László Szirmay-Kalos: Comparison of Non-Linear Filtering Methods for Positron Emission Tomography, Infocommunications Journal, June 2020 Volume XII Number 2 ISSN 2061-2079, 2020 | | Szirmay-Kalos, Laszlo: Kinetic Model Fitting with Forced Convexification, In: 2019 IEEE Nuclear Science Symposium and Medical Imaging Conference (NSS/MIC) Piscataway (NJ), Amerikai Egyesült Államok : IEEE Press, (2019), 2019 | | Szirmay-Kalos László: On Higher Order Automatic Differentiation, Proceedings of the Workshop on the Advances of Information Technology (WAIT), 2020, 2020 | | Magdics Milán, Szirmay-Kalos László, Tóth Balázs, Szécsi László: Depth of Interaction Modeling for PET, Proceedings of the Workshop on the Advances of Information Technology (WAIT), 2020, pp 79-88, 2020 | | László Szirmay-Kalos, Milán Magdics, Dóra Varnyú, and Balázs Tóth: Modeling of Depth of Interaction with Inter-crystal Scattering for PET Reconstruction, 2020 IEEE Nuclear Science Symposium and Medical Imaging Conference, 2020 | | Fridvalszky, András and Tóth, Balázs: Multisample Anti-aliasing in Deferred Rendering, Eurographics 2020 - Short Papers, 2020 | | László Szirmay-Kalos; Ágota Kacsó; Milán Magdics; Balázs Tóth: Robust Compartmental Model Fitting in Direct Emission Tomography Reconstruction, VISUAL COMPUTER (0178-2789 1432-2315), 2021 | | Szirmay-Kalos László: De-raining and de-snowing, Proceedings of the Workshop on the Advances of Information Technology (WAIT) 2021, 2021 | | László Szirmay-Kalos, Milán Magdics: Euclidean to non-Euclidean Transformation of Games, Proceedings of the Workshop on the Advances of Information Technology (WAIT) 2021, 2021 | | László Szirmay-Kalos ; Milán Magdics: Gaming in Elliptic Geometry, Eurographics Short Papers, 2021 | | László Szirmay-Kalos; Márton Tóth: Bregman Approach to Single Image De-Raining, Eurographics Short Papers, 2021 | | László Szirmay-Kalos: Higher Order Automatic Differentiation with Dual Numbers, Periodica Polytechnica Electrical Engineering and Computer Science, 65(1), pp. 1–10, 2021, 2021 | | Dóra Varnyú, László Szirmay-Kalos: Determination of the Blood Input Function for Dynamic Emission Tomography with Deep Learning, Proceedings of the Workshop on the Advances of Information Technology (WAIT) 2021, 2021 | | László Szirmay-Kalos, Milán Magdics: Adapting Game Engines to Curved Spaces, VISUAL COMPUTER (0178-2789 1432-2315): (2022), 2022 | | Magdics Milán; Szirmay-Kalos László; Varnyú Dóra: Direct Tomographic Reconstruction without Explicit Blood Input Function, WAIT 22, 2022 | | L. Szirmay-Kalos, M. Sbert: Robust Sample Budget Allocation for MIS., Eurographics, Short papers,, 2022 | | Mateu Sbert; László Szirmay-Kalos: Robust Multiple Importance Sampling with Tsallis φ-Divergences, Entropy, 2022 | | V. Burkus, A. Kárpáti, G. Klár, L. Szécsi: Real-time Sponge and Fluid Simulation, Eurographics 2022 - Short Papers, 2022 | | V. Burkus, A. Kárpáti, L. Szécsi: A Simple BRDF Model with Easy Importance Sampling, Proceedings of the Workshop on the Advances in Information Technology, 2022 | | V. Burkus, A. Kárpáti, L. Szécsi: Vector Coupled Map Lattice for Generating Directional Samples, Proceedings of the Workshop on the Advances in Information Technology, 2022 | | Fridvalszky, András; Tóth, Balázs: Accounting for Non-Uniform Ambient Lighting in Ray Traced Ambient Occlusion, PERIODICA POLYTECHNICA-ELECTRICAL ENGINEERING AND COMPUTER SCIENCE 66 : 3 pp. 248-252., 2022 |
|
|
|
|
|
|
|
|
|
