Image synthesis with image-space finite elements  Page description

Help  Print 
Back »
 

Details of project

  
Identifier
104710
Type PD
Principal investigator Szécsi, László
Title in Hungarian Képalkotás képtérbeli végeselemekkel
Title in English Image synthesis with image-space finite elements
Keywords in Hungarian képalkotás, nem fotorealisztikus, részecske alapú
Keywords in English image synthesis, non-photorealistic, particle based
Discipline
Information Technology (Council of Physical Sciences)100 %
Ortelius classification: Informatics
Panel Informatics and Electrical Engineering
Department or equivalent Department of Control Engineering and Information Technology (Budapest University of Technology and Economics)
Starting date 2012-09-01
Closing date 2016-08-31
Funding (in million HUF) 5.151
FTE (full time equivalent) 2.80
state closed project
Summary in Hungarian
A kutatás összefoglalója, célkitűzései szakemberek számára
Itt írja le a kutatás fő célkitűzéseit a témában jártas szakember számára.
A kutatás célja olyan képalkotási eljárások vizsgálata, melyek a klasszikus képpontonkénti optikai szimuláció helyett más atomi alkotóelemekből konstruálják a képet.

A klasszikus megközelítés, akárcsak a képfeldolgozásban, a képet kétváltozós, folytonos függvényként definiálja. A számítógépes reprezentációhoz ezt szabályos rácson felvett nulladrendű képelemekre, vagyis pixelekre bontják. A feladatot így egy-egy képelem színének meghatározásaként fogalmazzák meg. A képelem felett vett átlagértéket egy pontmintával, vagy pontminták átlagával közelítik. Ezzel a módszerrel az egyes képelemek színe egymástól függetlenül számolható, ami különösen valósághű képek alkotásakor általában előnyös, hiszen semmiféle képtérbeli korlátozást nem kell tennünk.

A nem-fotorealisztikus, képalapú, illetve részecske-alapú technikák ezzel szemben új szabályokat, korlátozásokat vezetnek be: a képpontok színei egymástól függetlenül nem választhatók meg. A szabályok matematikai szempontból képtérbeli végeselemeket definiálnak. Ezeket az elemeket kell a képen úgy elhelyezni, hogy az emberi szemlélő számára a virtuális modellt láthatóvá, felfoghatóvá tegye, egyes tulajdonságait kiemelje.

Számos, létező módszer vonható be a végeselemes megközelítés alá. Így ezek a korábban nem rokonított képalkotási eljárások közös elméleti keretet kaphatnak, illetve az egy területen bevett megoldások más technikákra átvihetők lehetnek. Ilyenek a képalapú képalkotási eljárások, a részecske-alapú megjelenítés, a nem-fotorealisztikus, festményszerű, stíluskövető módszerek, de – kevésbé kézenfekvően – ilyen az interferometria, a digitális holográfia is (itt a gömbhullámok a végeselemek).

Mi a kutatás alapkérdése?
Ebben a részben írja le röviden, hogy mi a kutatás segítségével megválaszolni kívánt probléma, mi a kutatás kiinduló hipotézise, milyen kérdéseket válaszolnak meg a kísérletek.
A kutatás alapfeltevése az, hogy számos képalkotási eljárás vizsgálható egységes keretben a képtérbeli végeselemes megközelítés segítségével.

A megválaszolni kívánt kérdés az, hogy a vizsgált képalkotási eljárások hogyan gyorsíthatók, javíthatók, milyen egységes módszereket lehet adni a felmerülő részfeladatokra, illetve hogyan kapcsolhatók össze az eljárások, hogyan vihetőek át az eredmények közöttük.

A kutatási feladatok között van a végeselemek megválasztása (különösen animáció esetén), a végeselemek kompozitálási problémái (pl. láthatóság, frekvenciatartománybeli feldolgozás), illetve a kölcsönhatás az optikai szimulációval.

Mi a kutatás jelentősége?
Röviden írja le, milyen új perspektívát nyitnak az alapkutatásban az elért eredmények, milyen társadalmi hasznosíthatóságnak teremtik meg a tudományos alapját. Mutassa be, hogy a megpályázott kutatási területen lévő hazai és a nemzetközi versenytársaihoz képest melyek az egyediségei és erősségei a pályázatának!
A kutatás a számítógépes grafika tudományterületén vizsgált stíluskövető képalkotás, digitális holográfia, illetve valós idejű, elsősorban térfogati és természeti jelenségek megjelenítésére használt módszerek terén ígér előrelépést. Ezek az animációs filmek, filmtrükkök, virtuális valóság rendszerek esetében, a számítógépesjáték-iparban, illetve az ipari optikában bírnak jelentős alkalmazásokkal.

A kutatás összefoglalója, célkitűzései laikusok számára
Ebben a fejezetben írja le a kutatás fő célkitűzéseit alapműveltséggel rendelkező laikusok számára. Ez az összefoglaló a döntéshozók, a média, illetve az érdeklődők tájékoztatása szempontjából különösen fontos az NKFI Hivatal számára.
A filmgyártásban, a valós idejű alkalmazásokban, virtuálisvilág-rendszerekben, számítógépes játékokban, fizikai szimulációk tudomány vizualizációjában, de az ipari holográfiában vagy orvosi területen is léteznek olyan képalkotási eljárások, amelyek valamiféle képtérbeli elemekből építik fel a képet --- pl. ecset- vagy ceruzavonásokból, részecskékre illesztett képekből, bázisfüggvényekből, vagy a digitális holográfiában gömbhullámok síkmetszeteiből. A kutatás célja ezeknek a szerteágazó felhasználású módszereknek az átfogó vizsgálata, új megoldások, gyorsabb és jobb minőségű képalkotási algoritmusok létrehozása.
Summary
Summary of the research and its aims for experts
Describe the major aims of the research for experts.
The research project aims to investigate image synthesis algorithms that construct an image using atomic building blocks different from the pixels in classic optical simulation.

The classic approach - in image synthesis as well as in image processing - regards the image as a two-variate continuous function. For digital representation the image is decomposed into zero-order picture elements (pixels) on a regular grid. The problem is thus posed as finding the colors of individual pixels. The average value over a pixel is approximated by one or more point samples. This allows the pixel colors to be computed independently, which is particularly beneficial for photorealistic images as no image space constraints apply.

Conversely, non-photorealistic, image based and particle-based methods introduce new rules and limitations: the pixel colors are not found independently. These rules define image-space finite elements. The problem is then posed as placing the finite elements on the picture to visualize the virtual scene or convey information about it.

A large number of existing methods can be investigated using this finite element interpretation. This will give these previously unrelated techniques a common theoretical framework, allowing the porting the results of one to the others. Image based, particle based , NP, painterly, stylish rendering, but even volume visualization and digital holography are included.

Research tasks include the investigation of finite element choice and placement (with additional regards to animation requirements), finite element compositing (visibility, frequency domain), and interactions with optical simulation.

What is the major research question?
Describe here briefly the problem to be solved by the research, the starting hypothesis, and the questions addressed by the experiments.
The base assumption of the research is that numerous image synthesis algorithms can be investigated using a screen space finite element approach.

The question to be answered is how the considered image synthesis algorithms can be accelerated, improved, what generic solutions can be given to emerging tasks, and how the algorithms can be coupled, what results of one can be transposed to the others.

Research tasks include finding the appropriate choice for the finite element representation (especially in case of animation), compositing problems for finite elements (e.g. visibility, frequency domain analysis), and interplay with optical simulation.

What is the significance of the research?
Describe the new perspectives opened by the results achieved, including the scientific basics of potential societal applications. Please describe the unique strengths of your proposal in comparison to your domestic and international competitors in the given field.
This research promises progress in the field of computer graphics, related to stylistic rendering, digital holography, and real-time methods used primarily for volumetric and natural phenomena. These have important applications in computer animation for motion picture production, special effects, virtual reality systems, computer game industry, and industrial optics.

Summary and aims of the research for the public
Describe here the major aims of the research for an audience with average background information. This summary is especially important for NRDI Office in order to inform decision-makers, media, and others.
In motion picture production, in real time applications like virtual reality sysmtes of computer games, in scientific visualization of physical simulations, but also in industrial holographic systems or in the medical field there are image synthesis methods that assemble the image for some kind of image space elements --- e.g. brush strokes or pencil hatches, image sprites applied to particles, base funtions, or in digital holography using cross sections of spherical waves. Research is aimed at a unifying investigation of these methods with a diverse field of application, in order to find new solutions, faster and better quality image synthesis algorithms.




 

Final report

  
Results in Hungarian
A kutatás a kutatási tervben meghatározott pályán haladt, de kísérleti biológiai alkalmazások felé is kiterjedt. A kutatási célok tekintetében sok területen sikerült haladást elérni, nemzetközi együttműködéseket hoztunk létre, számos hallgató és egy PhD hallgató is csatlakozott a kutatáshoz --- de a rendelkezésre álló időnek és az eredmények közlésének a menedzselése nem volt kellően feszes ahhoz, hogy az előzetesen várt magas publikációs szintet teljesíteni tudjuk. Különösen a nemzetközi partnerekkel együttműködésben végrehajtott GPU-alapú retinastimulációs projekt emésztett fel egyre több időt és munkát, és szenvedett mégis késedelmeket különböző okokból, amikre nem mindig volt közvetlen hatásunk. Így a vonatkozó publikáció (amit a Nature Scientific Reports folyóiratba adunk be) még nem jelent meg. A legfontosabb új tudományos eredmények: -egy új, textúra-alapú, vonalkázás stílusú, nem-fotorealisztikus, valós idejű megjelenítési algoritmus, ami végtelen részletességet és a korábbi megoldásoknál nagyobb stílusbeli szabadságot tesz lehetővé -valós idejű széles körvonalak rajzolására szolgáló algoritmusok, művészi és műszaki rajzokhoz egyaránt -egy képtérbeli vonalkázási algoritmus, ami produkciós környezetben a kompozitáló fázisban megvalósítható -procedurális modell természetes, önhasonló geometriákhoz, ami lehetővé teszi kiterjedt és részletes színterek valós idejű sugárkövetését -új számítási GPU munkafolyamat és teljes kísérleti keretrendszer retinakísérletekhez
Results in English
Research went along the path outlined in the original proposal, but it extended to include applications in experimental biology. Advances in several areas have been made, international cooperation has been established, several students and a PhD student have been attracted to the research --- but management of time and dissemination was not sufficiently stringent to entirely deliver the high level of publications that we anticipated. In particular, the GPU-based retina stimulation project, carried out in cooperation with international partners, absorbed inordinate amount of time and effort, but suffered delays beyond our immediate control, with a major journal publication (Nature Scientific Reports) due, but not submitted for publication yet. New scientific results include: -a new texturing-based, hatching-style non-photorealistic real-time rendering algorithm that allows infinite level of detail and enhanced stylistic freedom over previous work -a set of algorithms for real-time wide contour rendering both for artistic effect and technical drawings -a screen-space hatching algorithm that can work in the post-processing phase of production environments -a procedural model for self-similar natural geometries that allows real-time ray casting of extensive and detailed scenes -a new computational pipeline and full experiment framework for visual science research (with retina physiology in focus) supporting classic and novel, high-computation-cost visual stimuli
Full text https://www.otka-palyazat.hu/download.php?type=zarobeszamolo&projektid=104710
Decision
Yes





 

List of publications

  
Szécsi László, Szirányi Marcell: Recursive Procedural Tonal Art Maps, In: Vaclav Skala (szerk.) (szerk.) WSCG 2014 Full Papers Proceedings. Plzen: Vaclav Skala - Union Agency, 2014. pp. 57-66., 2014
László Szécsi, Marcell Szirányi, Ágota Kacsó: Tonal Art Maps with Image Space Strokes, In: Giovanni Pintore, Filippo Stanco (szerk.) (szerk.) STAG 2016: Smart Tools and Apps in computer Graphics. Genova, Olaszország, 2016.10.03-2016.10.04. Kiadvány: Genova: Eurographics - European Association for Computer Graphics, 2016. pp. 39-44. Paper 10.2312/stag.20161362. , 2016
László Szécsi, Zoltán Bendefy, Ágota Kacsó: Kernel-Reflection Sequences, In: Giovanni Pintore, Filippo Stanco (szerk.) (szerk.) STAG 2016: Smart Tools and Apps in computer Graphics. Genova, Olaszország, 2016.10.03-2016.10.04. Kiadvány: Genova: Eurographics - European Association for Computer Graphics, 2016. pp. 53-62. Paper 10.2312/stag.20161364. , 2016
Péter Hantz, Ágota Kacsó, Günther Zeck, László Szécsi: Interactive Light Stimulus Generation with High Performance Real-time Image Processing and Simple Scripting, In: MEA Meeting 2016 | 10th International Meeting on Substrate-Integrated Electrode Arrays . Reutlingen, Németország, 2016.06.28-2016.07.01. Kiadvány: 2016. Paper Hantz et al. , 2016
Bányász Dániel, Szécsi László: Optimizing State Changes in Rendering Engines, In: Szirmay-Kalos L (szerk.) (szerk.) Hungarian Computer Graphics and Geometry Conference (GRAFGEO) . Budapest, Magyarország, 2014.02.21-2014.02.22. Kiadvány: 2014. pp. 116-123., 2014
Szécsi László: A Geometry Model for Logarithmic-time Rendering, In: Szirmay-Kalos L (szerk.) (szerk.) Hungarian Computer Graphics and Geometry Conference (GRAFGEO) . Budapest, Magyarország, 2014.02.21-2014.02.22. Kiadvány: 2014. pp. 21-28., 2014
Szécsi László, Szirányi Marcell: Recursive Porcedural Tonal Art Maps, In: Vaclav Skala (szerk.) (szerk.) WSCG 2014 Full Papers Proceedings. Plzen: Vaclav Skala-Union Agency, 2014. pp. 57-66., 2014
Szécsi László, Szirányi Marcell, Umenhoffer Tamás: Improving Texture-Based NPR, In: Szirmay-Kalos L (szerk.) (szerk.) Hungarian Computer Graphics and Geometry Conference (GRAFGEO) . Budapest, Magyarország, 2014.02.21-2014.02.22. Kiadvány: 2014. pp. 138-148., 2014
Szécsi László, Tükör Ferenc: Hatching Animated Implicit Surfaces, In: Szirmay-Kalos L (szerk.) (szerk.) Hungarian Computer Graphics and Geometry Conference (GRAFGEO) . Budapest, Magyarország, 2014.02.21-2014.02.22. Kiadvány: 2014. pp. 124 Paper 130. , 2014
Tükör Ferenc, Szécsi László: Hatching for Metaball Surfaces., In: Michael Wimmer, Jiří Hladůvka, Martin Ilčík (szerk.) (szerk.) Proceedings of the 18th Central European Seminar on Computer Graphics (CESCG) . Smolenice Castle, Szlovákia, 2014.05.25-2014.05.27. Kiadvány: Bécs: 2014. pp. 89-98., 2014
L Szécsi, L Szirmay-Kalos, Gy Egri, G Patay: Binned Time-of-Flight Positron Emission Tomography, In: KÉPAF 2013 . Bakonybél, Magyarország, 2013.01.29-2013.02.01. Kiadvány: 2013. pp. 340-350. (KÉPAF 2013), 2013
Szécsi László, Hajagos Balázs, Umenhoffer Tamás: On Depth-testing Wide Outlines, In: Miguel Chover, A Augusto de Sousa (szerk.) (szerk.) Eurographics 2013 Posters . Girona, Spanyolország, 2013.05.06-2013.05.10. Kiadvány: Girona: 2013. pp. 15-16. (Eurographics 2013 Posters), 2013
Szécsi László: GPU Pattern Generation for Retina Stimulation Experiments, In: Képfeldolgozók és Alakfelismerők Társaságának 10. országos konferenciája . Kecskemét, Magyarország, 2015.01.27-2015.01.30. Kiadvány: 2015. pp. 388-393., 2015
Szécsi László, Szirányi Marcell: Dinamikusan generált textúra alapú vonalkázás, In: Képfeldolgozók és Alakfelismerők Társaságának 10. országos konferenciája . Kecskemét, Magyarország, 2015.01.27-2015.01.30. Kiadvány: 2015. pp. 687-702., 2015
Szécsi László, Szirányi Marcell: Tonal Art Maps with Image Space Strokes, In: B Kiss, L Szirmay-Kalos (szerk.) (szerk.) Proceedings of the Workshop on the Advances of Information Technology: WAIT 2015. Budapest: BME Irányítástechnika és Informatika Tanszék, 2015. pp. 155-159., 2015
Szécsi László, Szirányi Marcell: Recursive Procedural Tonal Art Maps, In: Vaclav Skala (szerk.) (szerk.) WSCG 2014 Full Papers Proceedings. Plzen: Vaclav Skala-Union Agency, 2014. pp. 57-66., 2014
László Szécsi, Marcell Szirányi, Ágota Kacsó: Tonal Art Maps with Image Space Strokes, In: Luis Gonzaga Magalhaes, Rafal Mantiuk (szerk.) (szerk.) Eurographics 2016 - Posters . Lisszabon, Portugália, 2016.05.09-2016.05.13. Kiadvány: 2016. Paper poster. EG 2016 - Posters, 2016
Zoltán Lengyel, Tamás Umenhoffer, László Szécsi: Realtime, coherent screen space hatching, In: Szirmay-Kalos László, Renner Gábor (szerk.) (szerk.) VII. Magyar Számítógépes Grafika és Geometria Konferencia. Budapest: Neumann János Számítógép-tudományi Társaság (NJSZT), 2014. pp. 131-137., 2014
Umenhoffer Tamás, Lengyel Zoltán, Szécsi László: Screen space features for real-time hatching synthesis, In: Czúni L (szerk.) (szerk.) A Képfeldolgozók és Alakfelismerők Társaságának 9. országos konferenciája - KÉPAF 2013 . Bakonybél, Magyarország, 2013.01.29-2013.02.01. Kiadvány: Veszprém: NJSZT-KÉPAF, 2013. pp. 82-94., 2013



Back »