-
By:
- Faseweb
- 69 Comments
- Tags: DATA, Data analysis, FUTURE OF ASTRONOMY
FUTURE OF ASTRONOMY WITH BIG DATA – මහා දත්ත සමඟ තාරකා විද්යාවේ අනාගතය
Abstract
In the last few decades, the technology has evolved and developed rapidly. As a result, almost every field in our world has changed dramatically in very short time period. With all of those changes human kind is now stepping in to a new era on its history, “The Big Data Era”. Maybe, the era of big data is already here. Reason to say so is, The Big Data is already pushing astronomy in a new direction as well as other fields. So, in this article we attempt give a short description about big data and how it helps us to uncover the secrets of universe.
Introduction
About 400 years separate between Galileo’s two-inch telescope and the huge nowadays sophisticated telescopes, The role of modern telescopes in gathering astronomical big data is significant. Massive amount of data about galaxies, stars, planets, comets, asteroids collected by space telescopes, satellites, and space probes are already amounting to petabytes (one Petabyte equals to one million Gigabytes), and continue to increase with the advancement of new instruments. Scientist are now facing a data tsunami that needed to analyzed. For an instance, “Sloan Digital Sky Survey” (SDSS) telescope produce 200GB of data every night.
Big Data
The term “big data” refers to data that is so large, fast or complex that it’s difficult or impossible to process using traditional methods. Scientists define the big data characteristics as the big data 10 V’s.
- Volume
- Variety
- Velocity
- Veracity
- Validity
- Value
- Variability
- Venue
- Vocabulary
- Vagueness
however, we pay more attention to the four Vs of astronomical data: Volume, Variety, Velocity, and Value in this article.
- Volume
Volume is the amount of data. They are measured in terabytes (103 GB), petabytes (106 GB) and even exabytes (109 GB). Thus, big data pose challenges for capture, cleaning, storage, processing, indexing, sharing, transferring, mining, analyzing and visualization. Traditional tools cannot deal with such large amounts of data. Following are data volumes of different sky survey projects.
- DPOSS (The Palomar Digital Sky Survey) – 3 TB
- 2MASS (The Two Micron All-Sky Survey) -10 TB
- GBT (Green Bank Telescope) -20 PB
- GALEX (The Galaxy Evolution Explorer) -30 TB
- SDSS (The Sloan Digital Sky Survey) -40 TB
- SkyMapper Southern Sky Survey -500 TB
- PanSTARRS (The Panoramic Survey Telescope
and Rapid Response System) – 40 PB expected - LSST (The Large Synoptic Survey Telescope) – 200 PB expected
- SKA (The Square Kilometer Array) – 4.6 EB expected
- Variety
Variety points to data complexity. Astronomical data mainly in forms like images, spectra, time series and simulation data. Most of the data are saved in catalogues or databases.
- Velocity
Velocity means the speed of producing, transmitting and analyzing data.
- Value
Value characterizes the high value to astronomy of the data. It is interesting and inspiring in astronomy to discover surprising, rare, unexpected, and new objects or phenomena
Instruments use to collect astronomical big data
The role of modern telescopes in gathering astronomical big data in significant. Super telescopes like Hubble space telescope and LSST telescope collect huge amounts of data daily. Radio telescopes in recent times have evolved rapidly. Radio telescopes provide us with answers of several questions in the field of astrophysics. Large radio telescopes like SKA provide us with better understanding of the nature of black holes and the evaluation of galaxies at radio wavelengths.
statistics and mathematics behind astronomical big data
Statistics is an essential in big data analysis. The main goal of using statistics in big data science is to analyze the sample in order to estimate the population. It is impossible to analyze the entire big data due to its huge volume. Scientist identify the big data sample set using advanced computing systems. One of the strategies to handle and to analyze big data is to shrink it by identifying a subset of the entire data which keeps its mathematical relationships
Data Mining
Data mining is of great importance in the big data era. It helps researchers to efficiently and effectively discover potential and useful information or knowledge from the large amounts of data that are stored in databases and other information repositories for data management, analysis, and decision support. According to the type of patterns being mined, data mining tasks mainly consist of summarization, classification, regression, clustering, association and time-series analysis
Machine Learning
As we talked over and over again, as the data volume increase, analysis become harder. Therefore, it is important to develop new techniques for processing the amount and variety of astronomical big data to be capable of answering scientific questions based on the data. Machine learning is among those techniques, that can be used to find the relation between input data (e.g., galaxy images) and outputs (e.g., physical properties of galaxies).For example, distances from Earth to galaxies, relative velocities of receding galaxies, and chemical compositions are measured by their redshifts which can be done using machine learning.
Conclusion
Future advanced facilities will produce unprecedented massive data. Data from different surveys are unique. Integrating distributed datasets from various projects, different times, and different wavelengths will provide large new challenges and opportunities.
—————————————————————————————————————
සාරාංශය
පසුගිය දශක කිහිපය තුළ තාක්ෂණය වේගයෙන් දියුණු වී තිබේ. එහි ප්රතිඵලයක් වශයෙන්, අප ලෝකයේ සෑම ක්ෂේත්රයක්ම පාහේ ඉතා කෙටි කාලයක් තුළ විශාල ලෙස වෙනස් වී ඇත. මේ සියලු වෙනස්කම් සමඟ මානව වර්ගයා දැන් තම ඉතිහාසයේ නව යුගයක් කරා “මහා දත්ත යුගය” කරා ගමන් කරමින් සිටී. මහා දත්ත දැනටමත් තාරකා විද්යාව නව දිශාවකට යොමු කරමින් සිටී. මෙම ලිපියෙන් අපි උත්සාහ කරන්නේ මහා දත්ත සහ එය විශ්වයේ රහස් අනාවරණය කර ගැනීමට උපකාරී වන ආකාරය පිළිබඳ කෙටි විස්තරයක් ලබා දීමට ය.
හැදින්වීම
ගැලීලියෝගේ දුරේක්ෂය සහ වර්තමානයේ අති නවීන දුරේක්ෂ අතර වසර 400 ක් පමණ වෙනස සැලකීමේ දී තාරකා විද්යාත්මක මහා දත්ත එක්රැස් කිරීමේදී නවීන දුරේක්ෂවල කාර්යභාරය අති මහත්ය. අභ්යවකාශ දුරේක්ෂ, චන්ද්රිකා සහ අභ්යවකාශ ගවේෂණ මගින් එකතු කරන ලද මන්දාකිණි, තාරකා, ග්රහලෝක, වල්ගා තරු, ග්රාහක පිළිබඳ දත්ත ප්රමාණයන් දැනටමත් පෙටබයිට් සීමාව පසු කර ඇත (එක් පෙටබයිට්යක්, ගිගාබයිට් මිලියනයකට සමාන වේ). මෙම අගය නව උපකරණවල දියුණුවත් සමඟ අඛණ්ඩව වැඩි වේ. විද්යාඥයන් දැන් විශ්ලේෂණය කිරීමට අවශ්ය දත්ත සුනාමියකට මුහුණ දී සිටී. උදාහරණයක් ලෙස, “Sloan Digital Sky Survey” (SDSS) දුරේක්ෂය සෑම රාත්රියකම 200GB දත්ත නිපදවයි.
මහා දත්ත
“මහා දත්ත” යන්නෙන් අදහස් කරන්නේ සාම්ප්රදායික ක්රම භාවිතයෙන් සැකසීමට අපහසු හෝ කළ නොහැකි තරම් විශාල, වේගවත් හෝ සංකීර්ණ දත්ත ය. විද්යාඥයින් මහා දත්ත ලක්ෂණ 10 V ලෙස අර්ථ දක්වයි.
- පරිමාව – Volume
- විවිධත්වය – Variety
- ප්රවේගය – Velocity
- නිරවද්යතාවය – Veracity
- වලංගුභාවය – Validity
- වටිනාකම – Value
- විචල්යතාව – Variability
- ස්ථානය – Venue
- වාග් මාලාව – Venue
- නොපැහැදිලි බව – Vagueness
කෙසේ වෙතත්, මෙම ලිපියේ අපි වැඩි අවධානයක් යොමු කරන්නේ ලක්ෂණ හතරට ය. පරිමාව, විවිධත්වය, ප්රවේගය සහ වටිනාකම.
පරිමාව
පරිමාව යනු දත්ත ප්රමාණයයි. ඒවා මනිනු ලබන්නේ ටෙරාබයිට් (103 GB), පෙටබයිට් (106 GB) සහ එක්සබයිට් (109 GB) වලින් ය. මේ අනුව, මහා දත්ත පරිමාව වැඩි වන විට ග්රහණය කර ගැනීම, පිරිසිදු කිරීම, ගබඩා කිරීම, සැකසීම, සුචිගත කිරීම, බෙදාගැනීම, මාරු කිරීම, පතල් කැණීම, විශ්ලේෂණය සහ දෘශ්යකරණය අපහසුවේ. සාම්ප්රදායික මෙවලම්වලට එතරම් මහා දත්ත ප්රමාණයක් සමඟ කටයුතු කළ නොහැක. විවිධ අහස සමීක්ෂණ ව්යාපෘතිවල දත්ත පරිමාවන් පහත දැක්වේ.
- DPOSS (The Palomar Digital Sky Survey) – 3 TB
- 2MASS (The Two Micron All-Sky Survey) – 10 TB
- GBT (Green Bank Telescope) – 20 PB
- GALEX (The Galaxy Evolution Explorer) – 30 TB
- SDSS (The Sloan Digital Sky Survey) – 40 TB
- SkyMapper Southern Sky Survey – 500 TB
- PanSTARRS (The Panoramic Survey Telescope
and Rapid Response System) – 40 PB expected - LSST (The Large Synoptic Survey Telescope) – 200 PB expected
විවිධත්වය
තාරකා විද්යාත්මක දත්ත ප්රධාන වශයෙන් රූප, වර්ණාවලීක්ෂ, කාල ශ්රේණි සහ සමාකරණ දත්ත වැනි ආකාර වලින්. බොහෝ දත්ත නාමාවලි හෝ දත්ත සමුදායන් තුළ සුරකිනු ලැබේ.
ප්රවේගය
ප්රවේගය යනු දත්ත නිෂ්පාදනය, සම්ප්රේෂණය සහ විශ්ලේෂණය කිරීමේ වේගයයි.
වටිනාකම
දත්තවල තාරකා විද්යාවට ඇති වටිනාකමයි. පුදුම සහගත, දුර්ලභ, අනපේක්ෂිත හා නව වස්තූන් හෝ සංසිද්ධි සොයා ගැනීම තාරකා විද්යාවේ සිත්ගන්නාසුළු හා වටිනා දත්ත වේ.
දත්ත කැණීම
මහා දත්ත යුගයේ දත්ත කැණීම ඉතා වැදගත් වේ. දත්ත කළමනාකරණය, විශ්ලේෂණය සහ තීරණ ගැනීමේ සහාය සඳහා දත්ත සමුදායන් සහ වෙනත් තොරතුරු ගබඩාවල ගබඩා කර ඇති මහා දත්ත වලින් ප්රයෝජනවත් තොරතුරු හෝ දැනුම කාර්යක්ෂමව ඵලලදායී ලෙස සොයා ගැනීමට පර්යේෂකයන්ට එය උපකාරී වේ. කැණීම් කරන රටාවන් අනුව, දත්ත කැණීමේ කාර්යයන් ප්රධාන වශයෙන් සාරාංශකරණය, වර්ගීකරණය, ප්රතිගාමීත්වය, පොකුරුකරණය, ඇසුර සහ කාල ශ්රේණි විශ්ලේෂණයන්ගෙන් සමන්විත වේ.
තාරකා විද්යාත්මක මහා දත්ත හා සංඛ්යාලේඛන සහ ගණිතය
මහා දත්ත විශ්ලේෂණයේ දී සංඛ්යාලේඛන අත්යවශ්ය වේ. මහා දත්ත විද්යාවේ සංඛ්යාලේඛන භාවිතා කිරීමේ ප්රධාන පරමාර්ථය වන්නේ ජනගහනය තක්සේරු කිරීම සඳහා නියැදිය විශ්ලේෂණය කිරීමයි. එහි විශාල පරිමාව නිසා සමස්ත මහා දත්ත නියැදියම විශ්ලේෂණය කළ නොහැක. උසස් පරිගණක පද්ධති භාවිතයෙන් මහා දත්ත නියැදි කට්ටලයන් හදුනා ගනී. මහා දත්ත හැසිරවීමට හා විශ්ලේෂණය කිරීමට එක් උපාය මාර්ගයක් වන්නේ එහි ගණිතමය සම්බන්ධතා පවත්වා ගෙන යන සමස්ත දත්තවල උප කුලකයක් හඳුනා ගැනීමෙන් එය හැකිලීමයි.
තාරකා විද්යාත්මක මහා දත්ත රැස් කිරීම සඳහා උපකරණ භාවිතය
තාරකා විද්යාත්මක මහා දත්ත එක්රැස් කිරීමේදී නවීන දුරේක්ෂවල කාර්යභාරය සැලකිය යුතු ය. හබල් දුරේක්ෂය සහ LSST දුරේක්ෂය වැනි සුපිරි දුරේක්ෂ මගින් දිනපතා විශාල දත්ත ප්රමාණයක් රැස් කරයි. මෑත කාලයේ ගුවන් විදුලි දුරේක්ෂ වේගයෙන් පරිණාමය වී ඇත. ගුවන්විදුලි දුරේක්ෂ මගින් තාරකා භෞතික විද්යා ක්ෂේත්රයේ ප්රශ්න කිහිපයකට පිළිතුරු සපයයි. SKA වැනි විශාල ගුවන් විදුලි දුරේක්ෂ මගින් කළු කුහරවල ස්වභාවය සහ ගුවන් විදුලි තරංග ආයාමයන්හි මන්දාකිණි තක්සේරු කිරීම පිළිබඳව වඩා හොඳ අවබෝධයක් ලබා දෙයි.
යන්ත්ර ඉගෙනීම
අප නැවත නැවතත් සාගච්ඡා කල පරිදි, දත්ත පරිමාව වැඩි වන විට විශ්ලේෂණය වඩාත් අපහසු වේ. එබැවින්, දත්ත මත පදනම්ව විද්යාත්මක ප්රශ්නවලට පිළිතුරු සැපයීමට හැකි වන පරිදි තාරකා විද්යාත්මක මහා දත්තවල ප්රමාණය හා විවිධත්වය සැකසීම සඳහා නව තාක්ෂණික ක්රම දියුණු කිරීම වැදගත් ය. යන්ත්ර ඉගෙනීම එවැනි ක්රමවේදයක් වන අතර, ආදාන දත්ත (උදා: මන්දාකිණි රූප) සහ ප්රතිදානයන් (උදා: මන්දාකිණි වල භෞතික ගුණාංග) අතර සම්බන්ධතාවය සොයා ගැනීමට භාවිතා කළ හැකිය. නිදසුනක් ලෙස, පෘථිවියේ සිට මන්දාකිණි දක්වා දුර, මන්දාකිණි පසුබෑමේ සාපේක්ෂ ප්රවේග, රසායනික සංයුතිය ඒවායේ රතු මාරුව මගින් යන්ත ඉගෙනුම් භාවිතයෙන් ලබාගත හැකි ය.
නිගමනය
නුදුරු අනාගතයේ දී දියුණු තාක්ෂනයන් මගින් පෙර නොවූ විරූ දැවැන්ත දත්ත ප්රමාණයක් නිපදවනු ඇත. විවිධ සමීක්ෂණ වල දත්ත අද්විතීය වේ. විවිධ ව්යාපෘති, විවිධ වේලාවන් සහ විවිධ තරංග ආයාමයන්ගෙන් බෙදා හරින ලද දත්ත කට්ටල ඒකාබද්ධ කිරීම මගින් නව අභියෝග සහ අවස්ථාවන් නිර්මාණය වනු ඇත.
For Further Reading
LSST large telescope – https://www.lsst.org/
Automation offers big solution to big data in astronomy – https://phys.org/news/2015-03-automation-big-solution-astronomy.html
https://en.wikipedia.org/wiki/Big_data?wprov=sfla1
https://en.wikipedia.org/wiki/Data_science?wprov=sfla1
https://en.wikipedia.org/wiki/Machine_learning?wprov=sfla1
-Written by,
Janith Yapa
69 comments
-
-
stromectol msd Acheter Veritable Cialis
-
What are the differences between Cialis and Viagra buy cialis without prescription Elimination of dapoxetine was rapid and biphasic, with an initial half-life of 1
-
Early short- term doxycycline therapy in patients with acute myocardial infarction and left ventricular dysfunction to prevent the ominous progression to adverse remodelling the TIPTOP trial. pet doxycyline where to buy
-
lasix classification com 20 E2 AD 90 20Blue 20Viagra 20Online 20 20Viagra 2050 20Mg 20Cena blue viagra online Novak s first field goal capped a drive that went 79 yards in 17 plays
-
When used by women, it allows ovulation lasix side effects in elderly gov, the US Centers for Disease Control and Prevention CDC www
-
Nolvadex, officially known as tamoxifen citrate, was first developed in 1961 by ICI, now AstraZeneca, under the trade name Nolvadex can you buy cialis online
-
cialis 20 mg levitra vigora red pill A spokeswoman added We have significant concerns about why domestic abuse continues to be routinely prosecuted in summary courts, and intend to raise this with the Scottish government and the Crown Office
-
ivermectin 3mg price Immunohistochemical staining of the mammary tumor tissues showed the expression of ERО± proteins in the tumor tissues Fig
-
stromectol ivermectin for humans 20 25 However, most study participants have been younger women
-
Zhou S, Chan E, Pan SQ, Huang M, Lee EJ how to take nolvadex pct These data suggest that C DIM compounds activated autophagic cell death pathways in MDA MB 231 and MDA MB 453 cells
-
tamoxifen withdrawal symptoms Chris, USA 2022 05 19 14 38 24
-
Heya! I’m at work browsing your blog from my new iphone 4! Just wanted to say I love reading through your blog and look forward to all your posts! Carry on the great work!
-
This really answered my downside, thank you!
-
It’s the best time to make a few plans for the long run and it’s time to be happy. I have learn this post and if I could I want to recommend you some fascinating issues or tips. Perhaps you can write subsequent articles referring to this article. I wish to learn even more issues about it!
-
dog on lasix still coughing Modulation of tamoxifen specific binding sites and estrogen receptors by estradiol and progesterone in the neonatal uterus of guinea pig
-
finasteride 1 mg Prolonged blockade of platelet adhesion by antibodies against GPIbО± significantly attenuated atherosclerotic lesion formation in these animals, indicating that platelet GPIbО± interaction with its ligands VWF and P selectin, which are found on activated endothelial cells, 8, 14 might be responsible for platelet binding
-
Thank you for the sensible critique. Me & my neighbor were just preparing to do some research about this. We got a grab a book from our local library but I think I learned more clear from this post. I am very glad to see such wonderful info being shared freely out there.
-
Hi fasesl.com administrator, You always provide great examples and real-world applications.
-
[url=https://vermox.icu/]vermox 500mg price[/url]
-
This cyst will continue to expand over a period of time and progressively destroy the surrounding bone cialis vs viagra To generate a large knock in, the use of a donor construct is required
-
There are those who are not afraid of death lasix definition
-
She is also trained in Gynecological Endocrinology, granted by AMEGIN Gynecological Endocrinology Mexican Association buy accutane 20mg online europe
-
Jayson GLqyPkcroteLXT 6 4 2022 priligy premature ejaculation pills Smoking Infection Trauma Breastfeeding Diabetes
-
These mature data from the meta analysis regarding a well established treatment such as tamoxifen give both clinicians and patients confidence in the beneficial effects of endocrine therapy on improving overall survival from breast cancer so how long do patients need to take tamoxifen how long is viagra in your system
-
Dear fasesl.com admin, Your posts are always well-formatted and easy to read.
-
tamoxifen gyno before and after Indeed, a phase III trial NCT02330926 is currently ongoing to test whether a multimodal intervention, including exercise, nutritional support, and anti inflammatory medication, plus standard care can improve the treatment outcome of patients with cancer, the results of which are awaited
-
Hello fasesl.com administrator, Your posts are always well-delivered and engaging.
-
The FTC sought information on a wide range of issues in the PBM market, including contract terms, rebates, fees, pricing policies, steering methods, conflicts of interest and consolidation buy cialis usa dapsone sumatriptan sandoz 50 mg tabletti Our Classified websites Photos, Motors, Jobs and Property Today use cookies to ensure you get the correct local newspaper branding and content when you visit them
-
priligy tablets online He and another Rider, Seneca County Auxiliary President Martha Grela, said the chapter raised 7, 000 last year for charitable causes, including the Legion s Operation Comfort Warriors, National Emergency Fund and Legacy Scholarship
-
These in silico trials have obvious limitations, such as their retrospective nature, the possibly confounding influence of multiple diseases in an individual patient, and technical challenges inherent to data mining for example, non standardized terminology and difficulties in querying free text data elements clomid instructions Mix Your Own Essiac Herbs
-
To the fasesl.com administrator, Your posts are always on point.
-
how to buy clomid on line Sir, it s Wu Huan ayurvedic medicines for high does smoking weed make you lower your blood pressure blood pressure s granddaughter, and the old man treats her like his life
-
cheap lasix order Click protein names to check details of the GPCRs
-
Humor and the company of loved ones helped keep her fears at bay and her spirits up during some dark hours cialis prescription online Horan, Difficulties in measuring the effect of testosterone replacement therapy on muscle function in older men, International Journal of Andrology, vol
-
priligy reviews It may be you have a low grade fungal or other infection left over from chemo
-
viagra cialis online Alpha, who was continuing to suck blood, couldn t help but snorted, and can you get liver failure from diet pills the day s eating stopped
-
Tremors, numbness, tingling, and disorientation buy cialis 5mg daily use
-
lasix order online A Responses to single shock nerve stimulation and to exogenously applied acetylcholine ACH and carbachol car
-
Their results indicate that the protective effect of statins cannot be explained by their lipid lowering effect buy propecia 5mg
-
To the fasesl.com administrator, Thanks for the well-researched post!
-
To the fasesl.com administrator, Thanks for the well-written and informative post!
-
My temps are very much all over the place but usually up and down with in a range real cialis online Incidence rates per 1000 person years were calculated for 10 studies that assessed the risk of future endometrial cancer and reported mean or median follow up time Table 2
-
soft tab cialis We retrieved all preoperative oncology trials, defined as preoperative trials having a PD end point
-
Thiotepa Fine, white, crystalline flakes, having a faint odor buy cialis without prescription
-
Still and if only for reassurance it s a good idea to get any new breast lump you notice checked out by your practitioner cialis generic online
-
Hi fasesl.com webmaster, Keep up the great work!
-
To the fasesl.com webmaster, Your posts are always informative.
-
To the fasesl.com owner, Your posts are always well-referenced and credible.
-
buying cheap cialis online Patients receiving ibuprofen who may be adversely affected by alterations in platelet function, such as those with coagulation disorders or patients receiving anticoagulants, should be carefully monitored
-
Hi fasesl.com webmaster, You always provide in-depth analysis and understanding.
-
Dear fasesl.com admin, You always provide helpful information.
-
Hi fasesl.com owner, Your posts are always well-referenced and credible.
-
Dear fasesl.com owner, Your posts are always well researched.
-
Hello fasesl.com webmaster, Your posts are always well-received by the community.
-
Dear fasesl.com administrator, Thanks for the detailed post!
-
To the fasesl.com admin, Thanks for the well-organized post!
-
Hello fasesl.com administrator, Your posts are always informative and up-to-date.
-
Hello fasesl.com webmaster, Thanks for sharing your thoughts!
-
Hi fasesl.com admin, You always provide helpful diagrams and illustrations.
-
Hi fasesl.com admin, Your posts are always on point.
-
Hi fasesl.com owner, Keep the good content coming!
-
Hi fasesl.com owner, Your posts are always insightful and valuable.
-
To the fasesl.com admin, You always provide useful information.
-
Hello fasesl.com webmaster, You always provide helpful information.
-
Hi fasesl.com owner, Thanks for the well-researched and well-written post!
-
To the fasesl.com admin, Your posts are always a great source of information.
-
Dear fasesl.com admin, Thanks for the educational content!
-
Hello fasesl.com administrator, Keep up the good work, admin!
Great Job Janith Yapa.💪