Великий синоптичний оглядовий телескоп і наука великих даних

LSST and big data 0Для нового типу телескопа потрібен новий тип астронома.

Будівництво Великого синоптичного оглядового телескопа (Large Synoptic Survey Telescope, LSST) в Чилі зараз (наприкінці 2017 р. — Ред.) перебуває приблизно на півшляху між першим каменем, закладеним в фундамент, та першим світлом. Його 3-тонна камера, побудована за підтримки Національного наукового фонду, стане найбільшим цифровим інструментом, який коли-небудь був створений для наземної астрономії. Вона робитиме знімки так швидко, що буде отримувати кожні три ночі зображення всього південного неба. Еді Конноллі (Andy Connolly), професор астрономії в Університеті штату Вашингтон і керівник групи моделювання для LSST, заявив в одному з своїх публічних виступів, що Космічному телескопу імені Габбла знадобилося б 120 років для отримання зображення такої ділянки неба.

Зйомка з такою швидкістю дає приблизно 15 терабайтів (15 трильйонів байт) необроблених («сирих») даних за ніч і 30 петабайт за 10-річний період спостереження. (Петабайт — це приблизно кількість даних на 200 тисячах DVD-дисків з кінофільмами). Навіть після обробки, це все ще 15 Pб (15 000 Тб).

Завдяки такому величезному обсягу даних астрономи отримають десятирічний «фільм» про південне небо, який уможливить нові дослідження на великих відтинках часу та глибше розуміння динамічної поведінки Всесвіту. Це також змінить розвиток науки — давній метод «астроном і телескоп» поступається місцем новому методу «астроном і дані», що стане двигуном до нових знань.

Підготовка інформації

Найефективнішим LSST може бути для реєстрації перехідних процесів — рідкісних або змінних явищ, які зазвичай не вдається спостерігати на вузьких полях небесної сфери та статичних зображеннях. Хороша новина полягає в тому, що програмне забезпечення буде майже відразу після виявлення швидкоплинного явища попереджати астрономів для швидкого спостереження з допомогою інших інструментів. Не дуже гарна новина полягає в тому, що кожну добу можливі понад 10 мільйонів таких подій. З такими показниками реєстрації важливо правильно обробляти дані.

LSST and big data 1

Інноваційний метод, розроблений командою LSST Data Management, дозволить зберігати великі обсяги даних для швидкого доступу. Фото з сайту http://astronomy.com.

Команда управління даними LSST (The LSST Data Management Team) розробляє інструменти для користувачів, які можуть працювати на різних обчислювальних системах, без потреби великих завантажень, що базуються на програмному забезпеченні з відкритим кодом. Їх система буде давати два основних види продукції: ту, що створена для потреб нічних спостережень, і ту, що підготовлена для щорічних наукових повідомлень (релізів — Ред.).

Під час нічної обробки будуть отримувати різницю між двома експозиціями кожного поля зображення, щоб швидко виділити зміни. Потік даних з камери оброблятиметься і постійно оновлюватиметься в режимі реального часу. У разі реєстрації швидкоплинного явища — протягом 60 секунд після завершення формування зображення.

Дані, які будуть готувати для запланованих наукових релізів, суттєво опрацюють, щоб гарантувати, що весь вміст сумісний, що хибні реєстрації відфільтровано і що слабкі джерела сигналів підтверджені. Програма попередньої обробки даних також класифікує об’єкти, використовуючи обидві стандартні категорії (положення, рух, яскравість тощо) та розміри, отримані математично з самих даних. Продукти будуть оброблятися з інтервалами часу від нічного до щорічного, що означає, — їх якість покращуватиметься, коли будуть накопичені додаткові спостереження.

Підготовка науки

Програма створення LSST передбачає наукову співпрацю, різні команди вчених та технічних фахівців, які працюватимуть над розширенням наукових завдань обсерваторії. Нині існує вісім груп для співробітництва в таких галузях, як галактики, темна енергія та активні ядра галактик. Проте, одна з найунікальніших, — співпраця з інформатики та статистики в галузі наук (the Informatics and Statistics Science Collaboration, ISSC). Ця група, на відміну від інших команд, не зосереджується на конкретній темі астрономії, а перетинає їх усіх. Нові методи будуть потрібні для обробки великих обчислювальних навантажень, для оптимізації представлень даних та для гідування телескопа під час астрономічних спостережень. ISSC зосереджує увагу на такі нові підходи, які б гарантували астрономам найкращий результат від очікуваного напливу нових даних.

«Аналіз даних змінюється, бо зростає їх обсяг», — зауважив Кірк Борне (Kirk Borne), астрофізик та фахівець з обробки даних з Booz Allen Hamilton (велика американська консалтингова фірма — Ред.) і основний учасник ISSC. «Традиційний аналіз даних — це більше про пристосування фізичної моделі до спостережуваних даних. Коли я ріс, у нас таких обсягів даних не було. Ми намагалися зрозуміти певне явище, аналізуючи малу кількість даних. Тепер цього вже недостатньо. Замість того, щоб запитати “розкажіть мені про мою модель”, ви запитаєте “скажіть мені, що ви знаєте”. Дані стають моделлю, а це означає, що ситуація змінилася».

Дані LSST майже напевно розширять шанси на несподіванку. «Коли ми починаємо використовувати для досліджень нові спостережні напрями, такі як гравітаційна астрономія та астрофізика нейтрино», додає Борн, «ми починаємо бачити цікаві нові зв’язки. Яскраві інфрачервоні галактики пов’язані, наприклад, із зоряними вибухами в процесі зіткнення галактик. Але це відкриття відбулося тоді, коли об’єднали оптичне випромінювання з інфрачервоним діапазоном. Квазари виявили, коли порівняли яскраві радіоспостереження галактик з оптичними зображеннями галактик».

LSST and big data 3

Зображення внутрішнього облаштування обсерваторії. Фото з сайту http://astronomy.com.

Підготовка людей

Команда управління даними LSST почала інформувати астрономічну громадськість про те, як відбувається процес підготовки до використання майбутнього телескопа, під час конференцій та семінарів. «Ми намагаємося охопити якомога більше засідань, щоб провести переговори та семінари», — наголосив Вільям О’Муллане (William O’Mullane), керівник проекту.

Наукові ноутбуки (ідеться про проект «Юпітер» (Jupyter)Ред.), що дозволяють користувачам співпрацювати, аналізувати дані та публікувати свої результати в Інтернеті, стануть невід’ємним інструментом для дослідницьких спільнот LSST, і тим, який буде запроваджено на ранній стадії. «Ми перевірили Jupyterlab (оновлений тип наукового ноутбука) на нещодавньому семінарі», — додає він — «це значно швидший спосіб залучення людей до роботи в групі (для розробки коду обробки зображень)».

Наступне покоління астрономів для справи великих даних також готують з випускників та за спеціальною програмою стипендій. «Залучення студентів на ранній стадії — це дуже гарна справа як для нас, так і для них», — говорить Маріо Юріч (Mario Juric), доцент кафедри астрономії Вашингтонського університету та координатор наукової групи системи управління даними LSST. «Студенти мають якомога раніше зрозуміти, як робити масштабні експерименти, розробляти обладнання і програмне забезпечення та співпрацювати з дуже великими командами. Астрономія нині входить в епоху великих даних так само, як це зробила фізика елементарних частинок 20 або 30 років тому.

«У нас також є програма співучасті в наукових даних (Data Science Fellowship Program), — додає Юріч, — кооперація зусиль, яку ми ініціювали в 2015 р. для навчання нового покоління астрономів з наукових даних шляхом проведення дворічної серії семінарів». Програму фінансує корпорація LSST, неприбуткова організація, завдання якої — уможливити наукову роботу з телескопом та стимулювати до неї студентів. Лише близько десяти чоловік було зараховано з числа 200 кандидатів у нещодавньому циклі відбору.

LSST and big data 4

Уявлення художника про оптику телескопа. Фігури людей показано для масштабу. Фото з сайту http://astronomy.com.

Дані телескопа також будуть формувати для широкої аудиторії. Програма LSST Education and Public Outreach (EPO) передбачає залучення навчальних закладів, громадських вчених та широкої спільноти до астрономії великих даних настільки, наскільки вони матимуть охоту (або наважаться) нею займатися. Перша ціль ЕРО — допомогти педагогам інтегрувати реальні дані LSST у навчальні класи та початкові курси астрономії, а також неспеціалістам отримувати доступ до даних LSST так само, як це будуть робити професійні астрономи. Працюючи через такі платформи, як Zooniverse, майже кожен зможе виконати серйозні дослідницькі проекти. «Громадських волонтерів треба розглядати як учасників наукової співпраці», — наголосила Аманда Бауер (Amanda Bauer), керівник LSST EPO.

Майбутні IS дані

LSST ознаменує епоху, де програмне забезпечення буде таким важливим для астрономії, як і телескоп. «Коли я закінчив аспірантуру, — сказав Юріч — я працював з Слоанівським цифровим оглядом неба (Sloan Digital Sky Survey, SDSS), і я не торкнувся телескопа. Я виконав все своє дослідження на підставі результатів з бази даних. Я знаю багато студентів, які зробили те ж саме. Отже, ми вже бачимо таку зміну».

О’Муллане погоджується. «Великі огляди, такі як SDSS, «Гайя» (Gaia) і тепер LSST, дають достатньо даних для іншого підходу», — зауважив він. «Астрономи не завжди підходять до телескопа. Справді, місії, подібні до LSST, головно пропонують вам лише архів; ви навіть не можете просити обсерваторію зробити конкретне спостереження».

LSST and big data 5

Стан будівництва обсерваторії на вершині Ель Пеньон (Чилі) на листопад 2017 року. Фото з сайту http://astronomy.com.

Зважаючи на величезні інформаційні потоки, які забезпечить LSST, науковці скоро не зможуть прямо переглядати навіть характерну частину отриманих даних. Натомість, вони все більше будуть розраховувати на майстерне використання алгоритмів для вивчення взаємозв’язків всередині набору даних. Краще розуміння отримають ті, хто маючи усі ці цифри зуміє поставити найкращі запитання.

І тому, що більше людей матимуть доступ до цих даних, то значні відкриття зможуть зробити не тільки професіонали, але й віддані аматори астрономії, які працюють вдома на своїх ноутбуках.

За інф. з сайту http://astronomy.com

Докладніше про «Наше небо»

Це науково-популярний астрономічний інтернет-журнал для широкого загалу, створений у 2016 році. Назва «НАШЕ НЕБО» виникла у 1998 р. під час обговорення з директором Головної астрономічної обсерваторії Національної академії наук України академіком Я.С. Яцківим ідеї щодо заснування Київським республіканським планетарієм науково-популярного видання астрономічного змісту.

Упродовж 2006—2009 рр. я видавав малим накладом журнал «НАШЕ НЕБО.observer», а з 2010 р. веду блог «Ми і Всесвіт». Далі науково-популярні матеріали вміщуватиму головно на цьому сайті.

Іван Крячко

Написати електронний лист

Ви маєте змогу написати електронного листа з будь-якого питання щодо астрономії та інтернет-журналу «Наше небо»

Дякуємо за Вашу увагу до «Нашого неба»!

Please publish modules in offcanvas position.