Towards Analyzing Complex Petascale Datasets  Page description

Help  Print 
Back »
 

Details of project

  
Identifier
103244
Type NN
Principal investigator Csabai, István
Title in Hungarian Tudományos adatok petabájt skálán
Title in English Towards Analyzing Complex Petascale Datasets
Keywords in Hungarian tudományos adatbázisok
Keywords in English scientific databases
Discipline
Physics (Council of Physical Sciences)100 %
Ortelius classification: Physics
Panel Physics 1
Department or equivalent Department of Physics of Complex Systems (Eötvös Loránd University)
Participants Beck, Róbert
Bodor, András
Dobos, László
Kerekes, Gyöngyi
Süli, Áron
Szalai-Gindl, János Márk
Varga, József
Starting date 2012-05-01
Closing date 2015-04-30
Funding (in million HUF) 24.981
FTE (full time equivalent) 9.00
state closed project
Summary in Hungarian
Galaxisunk több százmilliárd csillagot tartalmaz. Ha igazán meg akarjuk érteni dinamikáját, kialakulását ezzel összevethető skálán kell észleléseket begyűjteni, szimulációkat végezni és a kettőt összevetni. A cél eléréséhez eszközök kellenek.

A tudomány egyik úttörő feladata, hogy olyan műszereket fejlesszen ki, amelyek szignifikánsan kitágítja a vizsgálható jelenségek körét, a skáláját. Évszázadokkal ezelőtt a teleszkóp, majd a mikroszkóp kifejlesztése jól példázza azt, hogy egy-egy ilyen műszer hogyan nyithat meg új területeket, hogyan teheti lehetővé addig elérhetetlen ismeretek megszerzését. Ma ezeket a műszereket már boltban megvásárolhatjuk. A Johns Hopkins Egyetemen lévő kollégákkal egy új tudományos nagyműszer kifejlesztésén dolgozunk egy régóta tartó sikeres együttműködés folytatásaként, egy "adatszkóp" létrehozásán. Ahogy a tudomány szinte minden területén mind az észlelések (pl. a csillagászatban a már futó PanSTARRS vagy hamarosan induló LSST, vagy a genetikában az új generációs szekvenátorok) mind pedig a szimulációk (nagy kozmológiai szimulációk, Föld légkörének modellezése, stb.) a petabájtos tartományba érnek, nem áll rendelkezésre olyan technológia, amely hatékonyan kezelni tudja az adatokat. A Johns Hopkins Egyetemen egy most elnyert pályázat keretében felépül egy speciális hardver infrastruktúra, melyhez egyedileg kidolgozott, tudományos adatfeldolgozásra optimalizált szoftverre van szükség. Kutatócsoportunk az eddigi együttműködésre alapozva már jelenleg is részt vesz e speciális rendszerre épülő tudományos adatfeldolgozó modulok fejlesztésében, az már elkészült prototípusok továbbfejlesztésében és támogatásában. A számítástudományi feladatok megoldása mellett részt veszünk fenn említett csillagászati kutatásban, a Tejútrendszer fejlődésének, dinamikájának feltárásában is.

Hazai vonatkozás szempontjából külön előny, hogy olyan infrastruktúrához (petabájt skálájú adatszkóp) férhetünk hozzá, ami nem csak hazai, hanem világviszonylatban is egyedülálló.
Summary
Our Milky Way Galaxy contains hundreds of billions of stars. To understand its dynamics and evolution we need to collect observations and run simulations on a comparable scale. To reach this goal we need proper equipment.
One of the pioneering tasks of science is to develop tools that can significantly expand the range of the accessible knowledge. Centuries ago the development of the telescope and later the microscope opened new frontiers for science and made possible to discover new worlds on the micro and macro scale. Nowadays scientists can buy these equipments. As a continuation of a long term collaboration with the Johns Hopkins University our goal is to develop a new scientific equipment, a "datascope". As we are crossing the peta-scale both in observations (PanSTARRS, LSST in astronomy, next generation sequencing in genetics) and simulations (cosmological simulations, modeling the Earth's atmosphere, etc.) we are left without tools that scale up to the peta-byte regime and able to handle data efficiently. A recent grant at the Johns Hopkins University makes possible to install a special hardware infrastructure and we are involved in the development of scientific data management and data processing tools. We will use our new equipment to study the dynamics and evolution of the Milky Way trough the analysis of large scale observations and simulations.
The project would make possible for Hungarian researchers to access a special new equipment (datascope) that is unique and beyond the current state of the art not just on the national level but worldwide.




 

Final report

  
Results in Hungarian
Kifejlesztettük a SkyQuery federált kereszt-azonosítási szolgáltatást és hozzá a GrayWulf elosztott klaszter-alapú adatbázis menedzsment rendszert, melyek lehetővé teszik, hogy skálázható módon lekérdezhetőek és összekapcsolhatóak legyenek különböző hullámhossz tartományokat lefedő csillagászati katalógusok. A kialakított keretrendszert továbbfejlesztettük úgy, hogy alkalmas legyen genetikai és hálózati kutatások adatainak elemzéséhez is. Az így kialakított adatbázisokra építve, valamint további statisztikai elemző módszerek segítségével, melyeket a projekt során fejlesztettünk, csillagok és extragalaktikus objektumok képeit és spektrumait elemeztük, genetikai markereket kerestünk, szociális hálózatok gráfjait elemeztük, valamint gravitációs soktest dinamikát szimuláltunk. Az OTKA támogatása lehetővé tette, hogy fenntartsuk sok éves sikeres együttműködésünket a Johns Hopkins Egyetem kutatócsoportjával, új interdiszciplináris témákban új kollaborációkat hozzunk létre, folytassuk a tudományos adatmenedzsment keretrendszerünk fejlesztését, nemzetközileg referált publikációkat tegyünk közzé, és végül de nem utosósorban, számos fiatal kutatónak biztosítsunk lehetőséget, hogy bekapcsolódjanak a nemzetközi kutatásba.
Results in English
We have developed SkyQuery, a federated cross-matching service built on top a GrayWulf distributed cluster, which provide a scalable, interactive SQL-like query engine for cross-identification of astronomical catalogs, that enables multi wavelength astronomy. We have leveraged this framework beyond astronomy and built databases for genomics and network science. Using the databases and our data management framework and statistical data analysis tools, which were developed by the group during the course of the project, we analyzed spectra and images of stars and extragalactic objects, searched for genetic markers, studied social network graphs and simulated gravitational dynamics. The support from OTKA made it possible to continue our long term collaboration with the partner group at the Johns Hopkins University, start new interdisciplinary collaborations and research topics, continue to build the scientific data management and analysis framework, publish results at/in refereed international conferences/journals and at last but not at least the grant made it possible for many young researchers to join this exciting endeavor.
Full text https://www.otka-palyazat.hu/download.php?type=zarobeszamolo&projektid=103244
Decision
Yes





 

List of publications

  
Varga J, Csabai I, Dobos L: Revealing a strongly reddened, faint active galactic nucleus population by stacking deep co-added images, MON NOT R ASTRON SOC 426: (2) 833-850, 2012
Judit Slíz, Áron Süli, Tamás Kovács: Control of chaos in the vicinity of the Earth-Moon L5 Lagrangian point to keep a spacecraft in orbit, Astronomische Nachrichten Volume 336, Issue 1, pages 23–31, February 2015, 2015
R. Beck, L. Dobos and I. Csabai: Quantifying correlations between galaxy emission lines and stellar continua using a PCA-based technique, Statistical Challenges in 21st Century Cosmology Proceedings IAU Symposium No. 306, 2014 A. F. Heavens, J.-L. Starck & A. Krone-Martins, eds. International Astronomical U, 2015
R. Beck, L. Dobos, T. Budavári, AS. Szalay, I. Csabai: Photometric redshifts for SDSS Data Release 12, SDSS DR12 Public Archive, http://www.sdss.org/dr12/algorithms/photo-z/, 2015
L. Dobos: SkyQuery: astronomical cross-match engine, Software. Source code at http://github.com/idies/skyquery, 2015
L. Dobos: Graywulf: system for distributed database cluster management, Software. Source code at http://github.com/idies/graywulf, 2015
Dániel Kondor, László Dobos, István Csabai, András Bodor,Tamás Budavári, Alexander S. Szalay: Efficient classification of billions of points into complex geographic regions using hierarchical triangular mesh, 26th International Conference on Scientific and Statistical Database Management, 2014
Dobos L., Csabai I., Szalai-Gindl J.M., Budavari T., Szalay A.S.: Point Cloud Databases, 26th International Conference on Scientific and Statistical Database Management, 2014, 2014
J. Steger, T. Sebok, Zs. Kallus, S. Laki, P. Matray, J. Szule, L. Dobos, I. Csabai, G. Vattay: Network Measurement Virtual Observatory: An Integrated Database Environment for Internet Research and Experimentation, In Proceedings of the 9th International Conference on Testbeds and Research Infrastructures for the Development of Networks & Communities (TRIDENTCOM '14), May 5-7, 2014,, 2014
T. Sebok, Zs. Kallus, S. Laki, P. Matray, J. Steger, L. Dobos, I. Csabai, G. Vattay: The Network Measurement Virtual Observatory: An Integrated Database Environment for Internet Measurements and Data Analysis, 25th International Conference on Scientific and Statistical Database Management (SSDBM 2013), July 29-31, 2013, Baltimore, Maryland, USA, 2013
Tamas Budavari, Laszlo Dobos, Alexander S. Szalay: SkyQuery: Federating Astronomy Archives, Computing in Science and Engineering, vol. 15, no. 3, pp. 12-20, 2013
R. Beck, L. Dobos and I. Csabai: Quantifying correlations between galaxy emission lines and stellar continua using a PCA-based technique, IAUS 306: Statistical challenges in 21st Century Cosmology (SCCC 21), 2014
A. Suli, L. Dobos, E. Forgacsne-Dajka, I. Csabai: gSOLARIS: a GPU accelerated N-body code for astronomical simulations, https://github.com/suliaron/solaris.cuda, 2014
Szalai-Gindl J.M, Dobos L, Csabai I: LoaderToolkit: a parallelized SQL Server loader for big science datasets, https://github.com/szalaigj/LoaderToolkit, 2014
Pipek Orsolya Anna: A genom, mint komplex rendszer, Msc diplomamunka, ELTE Fizika Intézet, 2014
Budavári, Tamás; Dobos, László Fekete, György; Gray, Jim; Szalay, Alex: Spherical: Geometry operations and searches on spherical surfaces, Astrophysics Source Code Library, record ascl:1309.004, 2013
J. Varga, I. Csabai, L. Dobos: Correct measurements of galaxy orientation angles and its implications to angular correlation studies, Ripples in the Cosmos Conference at Durham University 22-26 July 2013, 2013
J. Varga, I. Csabai, L. Dobos: Intrinsic alignment between galaxies and the large scale structure, Alpine Cosmology Workshop Ausztria, Gschnitztal 2014, 2014
Varga József: Modern képfeldolgozó eljárások alkalmazása csillagászati égboltfelmérésekben, PhD diszzertáció, ELTE, 2015
Ribli Dezső: Galaxisspektrumok modellezése GPU-n, Bsc szakdolgozat, ELTE Fizika Intézet, 2014, 2014
Ódor Bálint: Aktív galaxisok spektroszkópiai vizsgálata, Bsc szakdolgozat, ELTE Fizika Intézet, 2013
Csabai I, Dobos L, Rácz G, Rudd B, Beck R: Struktúraképződés sztochasztikusan táguló térben, Statisztikus Fizikai Nap, Magyar Tudományos Akadémia, 2014
Dobos L, Budavari T, Szalay AS, Csabai I: Sky Query: A distributed query engine for astronomy, Extremely Large Database (XLDB) Invitational Workshop, CERN, 2013
Tamás Sebők, Zsófia Kallus, Sándor Laki, Péter Mátray, József Stéger, János Szüle, László Dobos, István Csabai, Gábor Vattay: Network Measurement Virtual Observatory: An Integrated Database Environment for Internet Research and Experimentation, Lecture Notes of the Institute for Computer Sciences, Social Informatics and Telecommunications Engineering Volume 137, pp 65-74, 2014, 2014
Varga, József; Csabai, István.; Dobos, László: Revealing a strongly reddened, faint active galactic nucleus population by stacking deep co-added images, Monthly Notices of the Royal Astronomical Society, Volume 426, Issue 2, pp. 833-850., 2012
Yip, Ching-Wa; Mahoney, M. W.; Szalay, A. S.; Csabai, I.; Budavari, T.; Wyse, R. F.; Dobos, L.: Objective Identification of Informative Wavelength Regions in Galaxy Spectra, American Astronomical Society, AAS Meeting #221, #303.04, 2013
L. Dobos, I. Csabai, A. Szalay, T.Budavari, N. Li: Graywulf: A platform for federated scientific databases and services, 25th International Conference on Scientific and Statistical Database Management, 2013
Rácz Gábor (Csabai István témavezető): Kozmológiai struktúraképződés, Bsc Szakdolgozat, ELTE, 2013
Beck Róbert (Csabai István témavezető): Dinamikus gráfautomaták - diszkretizált gravitáció szimuláció, Msc diplomamunka, ELTE, 2013
Dániel Kondor, Péter Mátray , István Csabai , Gábor Vattay: Measuring the dimension of partially embedded networks, Physica A, accepted, 2013
Jozsef Varga , Istv an Csabai and Laszlo Dobos: Refined position angle measurements for galaxies of the SDSS Stripe 82 co-added dataset, Astronomische Nachrichten, submitted, 2013
S. Spisak, N. Solymosi, P. Ittzes, A. Bodor, D. Kondor, G. Vattay, B. Bartak, F. Sipos, O. Galamb, Z. Tulassay, Z. Szallasi, S. Ramussen, T. Sicheritz-Ponten, S. Brunak, B. Molnar, I. Csabai: Complete genes may pass from food to human blood, Plos ONE, submitted, 2013
Istvan Csabai, Gyongyi Kerekes, Laszlo Dobos, Marton Trencseni: Photo-Met: a non-parametric method for estimating stellar metallicity from photometric observations, Astronomische Nachrichten, submitted, 2013
S. Spisak, N. Solymosi, P. Ittzes, A. Bodor, D. Kondor, G. Vattay, B. Bartak, F. Sipos, O. Galamb, Z. Tulassay, Z. Szallasi, S. Ramussen, T. Sicheritz-Ponten, S. Brunak, B. Molnar, I. Csabai: METAGENOME ANALYSIS OF HUMAN PLASMA SAMPLES FROM INFLAMMATORY BOWEL DISEASE, COLORECTAL ADENOMA AND COLORECTAL CANCER PATIENTS USING NEXT GENERATION SEQUENCING, UEGW Week 2012, poster, 2012
Purger Norbert (Csabai István témavezető): Fotometrikus vöröseltolódás-becslési módszerek továbbfejlesztése, PhD disszertáció, ELTE, 2013
Dobos László: Galaxispopulációk fizikai paramétereinek meghatározása és Virtuális Obszervatóriumok, PhD disszertáció, ELTE, 2012
Yip, Ching-Wa; Mahoney, M. W.; Szalay, A. S.; Csabai, I.; Budavari, T.; Wyse, R. F.; Dobos, L.: Objective Identification of Informative Wavelength Regions in Galaxy Spectra, American Astronomical Society, AAS Meeting #221, #303.04, 2013
S. Spisak, N. Solymosi, P. Ittzes, A. Bodor, D. Kondor, G. Vattay, B. Bartak, F. Sipos, O. Galamb, Z. Tulassay, Z. Szallasi, S. Ramussen, T. Sicheritz-Ponten, S. Brunak, B. Molnar, I. Csabai: Complete genes may pass from food to human blood, PLoS ONE 8(7): e69805, 2013
Yip C-W, Mahoney MW, Szalay AS, Csabai I, Budavári T, Wyse RFG, Dobos L: Objective identification of informative wavelength regions in galaxy spectra, ASTRON J 147: (5) , 2014
Dobos L, Csabai I, Szalay AS, Budavári T, Li N: Graywulf: A platform for federated scientific databases and services, In: s n (szerk.) (szerk.) 25th International Conference on Scientific and Statistical Database Management, SSDBM 2013. New York: ACM Press, 2013. pp. . (ACM International Conference Proceeding Series), 2013
Alexandra Kalmár, Bálint Péterfia, Péter Hollósi, Barnabás Wichmann, András Bodor, Árpád V. Patai, Andrea Schöller, Tibor Krenács, Zsolt Tulassay, Béla Molnár: Bisulfite-Based DNA Methylation Analysis from Recent and Archived Formalin-Fixed, Paraffin Embedded Colorectal Tissue Samples, Pathology & Oncology Research, 1219-4956 1-8, 2015
Kerekes G, Csabai I, Dobos L, Trencséni M: Photo-Met: A non-parametric method for estimating stellar metallicity from photometric observations, ASTRON NACHRICH 334: (9) 1012-1015, 2013
Kondor D, Matray P, Csabai I, Vattay G: Measuring the dimension of partially embedded networks, PHYSICA A 392: (18) 4160-4171, 2013
Varga J, Csabai I, Dobos L: Refined position angle measurements for galaxies of the SDSS Stripe 82 co-added dataset, ASTRON NACHRICH 334: (9) 1016-1019, 2013
Varga J, Csabai I, Dobos L: Deep co-add stack (DCS) sample (Varga+, 2012), 742: 60833, 2013
Varga J, Csabai I, Dobos L: Revealing a strongly reddened, faint active galactic nucleus population by stacking deep co-added images, MON NOT R ASTRON SOC 426: (2) 833-850, 2012
Rácz Gábor: Az Univerzum nagyskálás szerkezetének vizsgálata gravitációs N-test szimulációkkal, MSc diplomamunka, ELTE, 2015
L. Dobos, B, Pinczel, A. Kiss, G. Racz, T. Eiler: A comparative evaluation of NoSQL database systems, Annales Univ. Sci. Budapest, Sect. Comp. 42. 173-198 2014, 2014
R. Beck, L. Dobos, I. Csabai, CW. Yip, AS Szalay: Quantifying correlations between galaxy emission lines and stellar continua, Mon. Not. R. Astron. Soc submitted, 2015
J. Szalai-Gindl, T. Budavari, TJ. Loredo, BC. Kelly, I. Csabai, L. Dobos: Hierarchical Bayesian Method for Estimating Luminosity Function, to be submitted to Journal of Computational and Graphical Statistics, 2015
Csabai István: Adat-intenzív megközelítés a modern természettudományokban1, Magyar Tudomány, 2015




 

Events of the project

  
2014-04-02 14:43:35
Résztvevők változása
2013-11-05 13:33:51
Résztvevők változása



Back »