Simulation-Rendering in Virtual Reality Systems  Page description

Help  Print 
Back »
 

Details of project

  
Identifier
71992
Type K
Principal investigator Szirmay Kalos, László
Title in Hungarian Virtuális világok szimulációja és megjelenítése
Title in English Simulation-Rendering in Virtual Reality Systems
Keywords in Hungarian valósidejű képszintézis, mérnöki visszafejtés, szimuláció, GPU
Keywords in English real-time rendering, reverse engineering, simulation, GPU
Discipline
Automation and Computer Science (Council of Physical Sciences)100 %
Ortelius classification: Automation
Panel Informatics and Electrical Engineering
Department or equivalent Department of Control Engineering and Information Technology (Budapest University of Technology and Economics)
Participants Szécsi, László
Tóth, Balázs
Umenhoffer, Tamás
Starting date 2008-04-01
Closing date 2012-12-31
Funding (in million HUF) 15.974
FTE (full time equivalent) 6.23
state closed project
Summary in Hungarian
A pályázat célja olyan modellek és algoritmusok kidolgozása, amelyek nagy méretű, dinamikus virtuális világokat valós időben (legalább 20 képkocka másodpercenként) és valósághűen jelenítenek meg. Egyrészt a virtuális valóság rendszerek számára fontos természeti jelenségeket célozzuk meg, mint például a tűz, füst, felhő, robbanás, folyadékáramlás, szikla, terep, stb. másrészt ember alkotta bonyolult világok automatikus felépítését is vizsgáljuk, mint a városok, utak, labirintusok, stb. Ezek a világok bonyolultabbak annál, amit egy modellező elfogadható időn belül képes előállítani, és annál is amit egy általános célú számítógép valós időben megjelenít, a grafikus kártyának átad, vagy akár az operatív memóriájában tárol. A bonyolultság úgy uralható, ha a modelleket procedurálisan adjuk meg, azaz a jelenség definíciója helyett azt a gépet hozzuk létre, amely a jelenséget szimulálja. A teljesítmény pedig úgy biztosítható, ha a szimulációs folyamatot és a megjelenítést is a CPU-nál nagyságrenddel nagyobb számítási teljesítményű grafikus hardver (GPU) párhuzamos, nem Neumann architektúrájának megfelelően adaptáljuk, és a CPU-GPU kommunikációt minimalizáljuk. Ezen célok érdekében először a természeti jelenségeket “mérnöki visszafejtő” eljárásokkal vizsgáljuk meg, a kapott modellt pedig a megjelenítés valószerűségének megőrzése mellett úgy egyszerűsítjük és alakítjuk át, hogy az a grafikus hardveren hatékonyan szimulálható legyen. Mivel a procedurális modellek, pl. differenciálegyenletek, iterált függvényrendszerek, nyelvtanok, stb. a lokális viselkedést írják le, további kutatási feladat olyan módszerek kidolgozása, amelyben a jelenséget globálisan, akár minták felhasználásával lehet megtervezni. Végül célul tűzzük ki a procedurális módon előállított jelenségek valószerű képszintézisét is, mégpedig a grafikus hardver új alapokra helyezett programozásával. A pályázat teljesítése során 3-4 doktori disszertáció elkészítését, és több doktori munka elinditását várjuk, és csatlakozni kívánunk az EU-FP7-es programokhoz is azzal a céllal, hogy az OTKA pályázat tudományos eredményei alapján a filmek, virtuális valóságrendszerek, szimulátorok és számítógépes játékok készítésénél használható alkalmazások születhessenek. Mivel a CT és MRI berendezések hasonló adatokat szolgáltatnak a képszintézis módszereink orvosi alkalmazására is készülünk.
Summary
This project aims at models and algorithms that are able to photorealistically render complex, dynamic virtual worlds in real-time (at least 20 frames per second). We shall focus both on natural phenomena, including fire, smoke, clouds, explosions, fluids, rocks, terrain, etc. and on the automatic creation of artificial complex objects like cities, roads, labyrinths, etc. These worlds are more complex than what a modeler can build in reasonable time, what a general purpose computer can render or send to the graphics card in real-time, and even what a computer can store in its operative memory. Complexity is addressed by procedural models, i.e. instead of defining the model itself, a mathematical machine is constructed that simulates the expected phenomena. The performance issue will be solved by executing not only rendering but also simulation on the massively parallel architecture of the graphics hardware (GPU). To reach these goals, natural phenomena are attacked by reverse engineering tools, and the obtained models are simplified and restructured in order to make them appropriate for the GPU implementation with no substantial CPU-GPU communication. Since procedural models, e.g. differential equations, iterated functions, grammar based models, etc. describe local behavior, we should also consider the definition of such models using templates and examples. Finally, we shall focus on the global illumination rendering of procedurally generated phenomena by novel application of the graphics hardware. We expect 3-4 Ph.D. dissertations to be submitted and several other Ph.D. works to be started during the project. We plan to apply for an EU-FP7 project aiming at the application of the research results to deliver software that can be used in the film industry, virtual reality systems, and computer games. We expect the utilization of our rendering results in medical visualization as well.




 

Final report

  
Results in Hungarian
1. A Navier-Stokes egyenletek Lagrange-i és Euler-i nézőpontjának masszívan párhuzamos architektúrán végrehajtható hatékony megoldási algoritmusa folyadékszimulációhoz. A folyadék szabályozása, azaz előírt sűrűségfüggvény felé terelése. 2. Formális nyelvek, L-rendszerek párhuzamos kiértékelési algoritmusa és alkalmazás "végtelen" városok és növények szimulációjára. 3. Térfogati modellekben a fényterjedés szimuláció szabad úthossz mintavételezésének hatékony megoldása, amely heterogén közegben extrém nagy felbontásokra (pl. 32 ezer köbös) is működik. 4. Térfogati modellek véges elemes megoldásához az iterációt gyorsító kezdeti becslő kialakítása. 5. A fotonterjedés szimulációjának felhasználása inverz feladatokban, pozitron emissziós tomográfiához rekonstrukciós eljárások kidolgozása. 6. A Koksma-Hlawka egyenlőtlenség általánosítása nem egyenletes minták esetére és ez alapján delta-szigma modulációs módszer kidolgozása fontosság szerinti mintavételezéshez. 7. Az ambiens takarási módszer új geometriai értelmezésének megalkotása és új, hatékony módszerek kidolgozása. 8. Out-of-core vizualizáció sugárkövetés alapon, több száz millió háromszögből álló modellek interaktív bejárása. 9. Az NPR algoritmusoknál a 3D konzisztencia biztosítása, és animációs algoritmusok létrehozása.
Results in English
1. Algorithms for the solution of the Navier-Stokes equations of fluids on massively parallel hardware, taking both the Eulerian and Lagrangian viewpoints. Solution of the fluid control problem. 2. Parallel evaluation of L-systems and its application to procedural infinite virtual worlds. 3. Free path sampling method for high resolution, heterogeneous participating media. 4. Bootstrapping the iterative solver of finite element approaches for light transport in participating media. 5. Development of a parallel solver for the photon transport problem and its application in positron emission tomography. 6. Generalization of Koksma-Hlawka inequality and the development of a delta-sigma type importance sampling. 7. New geometric interpretation for ambient occlusion and novel computation algorithms. 8. Out-of-core visualization methods based on ray tracing. 9. Solution of the 3D consistency problem of NPR and extension to animation sequences.
Full text https://www.otka-palyazat.hu/download.php?type=zarobeszamolo&projektid=71992
Decision
Yes





 

List of publications

  
László Szirmay-Kalos, Gábor Liktor, Tamás Umenhoffer, Balázs Tóth, Shree Kumar, Glenn Lupton: Parallel Iteration to the Radiative Transport in Inhomogeneous Media with Bootstrapping, IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS 17:(2) pp. 146-158., 2011
Szirmay-Kalos László, Szécsi László: Deterministic Importance Sampling with Error Diffusion, COMPUTER GRAPHICS FORUM (ISSN: 0167-7055) 28:(4) pp. 1056-1064. Paper 108. (2009), 2009
Szirmay-Kalos László, Umenhoffer Tamás, Tóth Balázs, Szécsi László, Mateu Sbert: Volumetric Ambient Occlusion, IEEE COMPUTER GRAPHICS AND APPLICATIONS (0272-1716), 2010
Marc Ruiz, László Szirmay-Kalos, Tamás Umenhoffer, Imma Boada, Miquel Feixas, Mateu Sbert: Volumetric Ambient Occlusion for Volumetric Models, VISUAL COMPUTER (ISSN: 0178-2789) 23:(3) pp. 1-13. (2010), 2010
László Szirmay-Kalos, Tamás Umenhoffer, Gustavo Patow, László Szécsi, Mateu Sbert: Specular Effects on the GPU: State of the Art, COMPUTER GRAPHICS FORUM (0167-7055), 2009
Áfra Attila: Interactive Ray Tracing of Large Models Using Voxel Hierarchies, COMPUTER GRAPHICS FORUM 31:(1) pp. 75-88., 2012
László Szirmay-Kalos, Balázs Tóth, Milán Magdics: Free Path Sampling in High Resolution Inhomogeneous Participating Media, COMPUTER GRAPHICS FORUM 30:(1) pp. 85-97., 2011
Tamás Umenhoffer, László Szécsi, László Szirmay-Kalos: Hatching for Motion Picture Production, COMPUTER GRAPHICS FORUM 30:(2) pp. 1-12, 2011
M Magdics, L Szirmay-Kalos, B Tóth, Á Csendesi, A Penzov: Scatter Estimation for PET Reconstruction, LECTURE NOTES IN COMPUTER SCIENCE 6046: pp. 1-12, 2010
Murat Kurt, László Szirmay-Kalos, Jaroslav Křivánek: An Anisotropic BRDF Model for Fitting and Monte Carlo Rendering, COMPUTER GRAPHICS-US (ISSN: 0097-8930) 44:(1) pp. 1-9. (2010), 2010
Tóth Balázs, Szirmay-Kalos László, Umenhoffer Tamás: Efficient Post-Processing with Importance Sampling, ShaderX 7, pp. 259-276., 2009
Tamás Umenhoffer, Balázs Tóth, László Szirmay-Kalos: Efficient Methods for Ambient Lighting, Spring Conference on Computer Graphics. Budmerice, Szlovákia, 2009
László Szirmay-Kalos, László Szécsi, Anton Penzov: Importance Sampling with Floyd-Steinberg Halftoning, Eurographics Short Papers. München, Németország, 2009
László Szirmay-Kalos, Gábor Liktor, Tamás Umenhoffer, Balázs Tóth: Fast Approximation of Multiple Scattering in Inhomogeneous Participating Media, Eurographics Short Papers. München, Németország, 2009
László Szirmay-Kalos, Gábor Liktor, Tamás Umenhoffer, Balázs Tóth, Shree Kumar, Glenn Lupton: Parallel Solution to the Radiative Transport, Eurographics Symposium on Parallel Graphics and Visualization. München, Németország, 2009
Szirmay-Kalos László: Machine Vision Methods in Computer Games, 7th Conference of the Hungarian Association for Image Processing and Pattern Recognition, 2009
Tamás Umenhoffer, Balázs Tóth, László Szirmay-Kalos: An Inexpensive Ambient Lighting Model, 7th Conference of the Hungarian Association for Image Processing and Pattern Recognition., 2009
László Szécsi, László Szirmay-Kalos, Anton Penzov: Environment mapping with halftoning, 7th Conference of the Hungarian Association for Image Processing and Pattern Recognition, 2009
Gábor Liktor, Balázs Tóth, László Szirmay-Kalos: Fast Solution of the Radiative Transfer Problem, 7th Conference of the Hungarian Association for Image Processing and Pattern Recognition, 2009
Umenhoffer Tamás, Szirmay-Kalos László, Szécsi László, Tóth Balázs, Mateu Sbert: Partial Multi-Scale Precomputed Radiance Transfer, Spring Conference on Computer Graphics. Budmerice, Szlovákia, 2008
Umenhoffer Tamás, Szirmay-Kalos László: Interactive Distributed Fluid Simulation on the GPU, MIPRO 2008: Grid and Visualization Systems. Opatija, Horvátország, 2008
Tóth Balázs, Szirmay-Kalos László: Deferred shading in distributed visualization, MIPRO 2008: Grid and Visualization Systems. Opatija, Horvátország, 2008
Tamás Umenhoffer, Gustavo Patow, László Szirmay-Kalos: Caustic Triangles on the GPU, Proceedings of Computer Graphics International: CGI. Istanbul, Törökország, 2008
T Umenhoffer, L Szirmay-Kalos, L Szécsi, B Tóth, M Sbert: Global Illumination in Games with Multi-scale PRT, COMPUTER GRAPHICS & GEOMETRY (1811-8992) 10:(2) pp. 2-24., 2008
Szirmay-Kalos László: Solving the Global Illumination Problem on the GPU, IPP Technical Report Number IPP-2008-01 ISSN 1313-6410 Bulgarian Academy of Sciences Institute for Parallel Processing, 2008
László Szirmay-Kalos, Gábor Liktor, Anton Penzov, Ivan Dimov, Karolj Skala, László Szécsi: Examining Random Number Generators Used in Stochastic Iteration Algorithms, Automatics and Informatics 08. Sofia, Bulgária, 2008
Horváth Péter, Illés Dávid: SPH-based Fluid Simulation in Distributed Environment, MIPRO 2008: Grid and Visualization Systems. Opatija, Horvátország, 2008, 2008
Tóth Balázs, Magdics Milán, Szirmay-Kalos László: Fast System Matrix Generation on a GPU Cluster, MIPRO 2009: 32nd International Convention on Information and Communication Technology, Electronics and Microelectronics, 2009
László Szirmay-Kalos, László Szécsi, Anton A Penzov: Environment Mapping with Floyd-Steinberg Halftoning, Wolfgang Engel (szerk.) GPU Pro: Advanced Rendering Techniques. pp. 108-117., 2010
László Szirmay-Kalos, Balázs Tóth, Tamás Umenhoffer: Fast screen-space ambient occlusion and indirect lighting, Game Engine Gems. pp. 249-262., 2010
Umenhoffer Tamás, Szirmay-Kalos László: Volumetric Ambient Occlusion for Volumetric Models, V. Magyar Számítógépes Grafika és Geometria Konferencia., 2010
Szécsi László, Szirmay-Kalos László, Kurt Murat: Adaptive Sampling with Error Control, V. Magyar Számítógépes Grafika és Geometria Konferencia., 2010
Magdics Milán: Formal Grammar Based Geometry Synthesis on the GPU Using the Geometry Shader., 7th Conference of Hungarian Association for Image Processing and Pattern Recognition (KEPAF2009)., 2009
Magdics Milán: Real-time Evaluation of L-system Scene Models in Online Multiplayer Games., MIPRO 2009: 32nd International Convention on Information and Communication Technology, 2009
Magdics Milán: Real-time Generation of L-system Scene Models for Rendering and Interaction., Spring Conference on Computer Graphics SCCG 2009, 2009
Magdics Milán, Klár Gergely: Rule-based Geometry Synthesis in Real-time., GPU Pro: Advanced Rendering Techniques., 2010
Milán Magdics, Balázs Tóth, Balázs Kovács, László Szirmay-Kalos: Total Variation Regularization in PET Reconstruction., Képfeldolgozók és Alakfelismerők VIII. Konferenciája. Szeged, Magyarország, 2011
Magdics Milán, Szirmay-Kalos László: Crystal Scattering Simulation for PET on the GPU, Eurographics 2011 Short papers. Bangor, 2011
Balázs Tóth, Milán Magdics, László Szirmay-Kalos: Többszörös szóródás szimuláció nagyfelbontású voxeltömbbel definiált közegben., Képfeldolgozók és Alakfelismerők VIII. Konferenciája. Szeged, 2011
Balázs Tóth, Milán Magdics, László Szirmay-Kalos, Anton Penzov: Detector Modeling with 4D Filtering in PET, Képfeldolgozók és Alakfelismerők VIII. Konferenciája. Szeged, 2011
Tamás Umenhoffer, László Szécsi, Milán Magdics, Gergely Klár, László Szirmay-Kalos: Non-photorealistic Rendering for Motion Picture Production, UPGRADE 11:(6) pp. 20-27., 2010
László Szirmay-Kalos, Balázs Tóth, Milán Magdics: Monte Carlo Photon Transport on the GPU, In: Wen-mei W Hwu (szerk.) GPU Computing Gems.Boston, MA: Morgan Kaufmann Publishers, Inc. pp. 234-255., 2011
László Szirmay-Kalos, Milán Magdics, Balázs Tóth, Balázs Csébfalvi: Efficient Free Path Sampling in Inhomogeneous Media, Eurographics 2010 Posters. Norköping, Svédország, 2010
László Szécsi, László Szirmay-Kalos, Murat Kurt, Balázs Csébfalvi: Adaptive Sampling for Environment Mapping., Spring Conference on Computer Graphics. Budmerice, Szlovákia, 2010
L Szirmay-Kalos, B Tóth, M Magdics, D Légrády, A Penzov: Gamma Photon Transport on the GPU for PET, LECTURE NOTES IN COMPUTER SCIENCE 5910: pp. 433-440., 2010
Balázs Tóth, Tamás Umenhoffer, László Szirmay-Kalos, Mateu Sbert: GPU-based Ambient Occlusion and Indirect Illumination., UPGRADE 11:(6) pp. 5-14., 2010
Tamás Umenhoffer, Balázs Tóth, László Szirmay-Kalos: Ambient Lighting with Ambient Occlusion and Multiple Scattered Indirect Illumination, COMPUTER GRAPHICS & GEOMETRY 11:(2) pp. 14-33., 2009
Attila T. Áfra: Improving BVH Ray Tracing Speed Using the AVX Instruction Set, Eurographics Posters, pp 27-28, 2011
Szécsi László: INTERACTIVE GLOBAL ILLUMINATION WITH VIRTUAL LIGHT SOURCES, BME VIK, 2010
Umenhoffer Tamás: GLOBAL ILLUMINATION EFFECTS WITH SAMPLED GEOMETRY, BME VIK, 2010
Hajagos Balázs, Szécsi László: Real-time Outline Visualization for Triangle Meshes on Modern GPUs, Sixth Hungarian Conference on Computer Graphics, 2012
Áfra Attila: Efficient Incoherent Ray Tracing using AVX, Sixth Hungarian Conference on Computer Graphics, pp 76-82, 2012
Illés Dávid, Szécsi László: Efficient GPU Fluid Visualization, Sixth Hungarian Conference on Computer Graphics, pp 83-88, 2012
Márta Zsolt, Szirmay-Kalos László: Partial Volume Effect Correnction using Segmented CT Images with Distance Mapping, Sixth Hungarian Conference on Computer Graphics, pp. 107-114, 2012
Milán Magdics, Tóth Balázs, Szirmay-Kalos László: Multiple Forward Scattering Computation for Free, Sixth Hungarian Conference on Computer Graphics, pp. 115-123, 2012
Magdics Milán, Tóth Balázs: Stochastic Iteration in PET Reconstruction, Sixth Hungarian Conference on Computer Graphics, pp. 132-138, 2012
László Szécsi, Dávid Illés: Real-Time Metaball Ray Casting with Fragment Lists., Eurographics Short Papers. Cagliari, Olaszország, 2012
Milán Magdics, László Szirmay-Kalos, Balázs Tóth, Balázs Csébfalvi, Tamás Bükki: Higher Order Scattering Estimation for PET, IEEE Nuclear Science Symposium and Medical Imaging Conference, 2012. Anaheim, Amerikai Egyesült Államok, 2012. pp. 3-4, 2012
Milán Magdics, László Szirmay-Kalos, Balázs Tóth, Tamás Umenhoffer:: Filtered Sampling for PET, IEEE Nuclear Science Symposium and Medical Imaging Conference, 2012., 2012
László Szirmay-Kalos, Milán Magdics, Balázs Tóth, Tamás Umenhoffer, Judit Lantos, Gergely Patay:: Fast Positron Range Calculation in Heterogeneous Media for 3D PET Reconstruction, IEEE Nuclear Science Symposium and Medical Imaging Conference, 2012. Anaheim, 2012



Back »