Grid dziedzinowy AstroGrid-PL
Grid dziedzinowy AstroGrid-PL powstaje w ramach projektu PLGrid+. Projekt otrzymał finansowanie na okres 1.10.2011 - 30.09.2014 z funduszy POIG. PLGrid+ jest realizowany przez polskie ośrodki KDM przy czym w pracach nad gridami dziedzinowymi uczestniczą ośrodki naukowe - w przypadku AstroGrid-PL są to:
Dodatkowe informacje można znaleźć na stronach projektu PLGrid+ .
Głównym celem projektu jest wprowadzenie istotnie nowej jakości w badaniach astronomicznych z wykorzystaniem nowoczesnych technik komputerowych w skali całego kraju. Zostanie to osiągnięte poprzez następujące działania:
Poniżej opisano zadania, które będą realizowane w ramach projektu. Szczególnie istotne są 'usługi gridowe', tzn. publicznie dostępne serwisy, z których może korzystać każdy badacz po zarejestrowaniu się przez portal PLGrid. Usługi gridowe będą utrzymywane na wysokim poziomie dostępności oraz zapewnione będzie wsparcie techniczne przy ich wykorzystaniu. W miarę udostępniania prototypów tych usług, co jest planowane do połowy 2013r., będzie się zwiększał udział prac o charakterze wsparcia technicznego i merytorycznego przy adaptacji kodów użytkowników do pracy w środowisku gridowym oraz prowadzona będzie rozbudowa prototypów usług zgodnie z pojawiającymi się potrzebami użytkowników.
Zadanie ma na celu wsparcie ośrodków przy integracji lokalnych zasobów komputerowych z gridem oraz udostępnienie portalu informacyjno-dostępowego do wszystkich usług AstroGrid-PL.
Celem tego zadania jest udostępnienie usług maksymalnie upraszczających procesy zachowywania, katalogowania, archiwizacji oraz współdzielenia wszelkiego rodzaju danych astronomicznych. Integracja tych usług w gridzie pozwoli wykorzystać istniejące i sprawdzone mechanizmy kontroli dostępu oraz umożliwi łatwy dostęp do danych w innych usługach AstroGrid-PL.
Usługa gridowa: "Zarządzanie danymi astronomicznymi".
Usługa będzie oferowała, poprzez portal WWW i linię komend, zorientowany dziedzinowo system przechowywania, udostępniania i zarządzania danymi oraz metadanymi (tzn. danymi opisującymi dane) z możliwością tworzenia i przeszukiwania własnych katalogów danych. Ponieważ praca z danymi jest podstawą badań naukowych, usługę można określić jako bazową dla pozostałych usług tworzonych w ramach Astrogrid-PL. Najbardziej nowatorską funkcją będzie możliwość łatwego definiowania metadanych i udostępniania przeszukiwalnych katalogów. Bardzo istotne jest też wykorzystanie profesjonalnie zarządzanej infrastruktury gridowej co zapewni bezpieczeństwo, dostępność i trwałość przechowywanych danych. Funkcjonalność usługi obejmuje kopiowanie danych do i z gridu, określenie ich retencji, praw dostępu i publiczną publikację, definiowanie i zachowywanie indywidualnych metadanych oraz publikację katalogów. Usługa będzie zorientowana przede wszystkim na indywidualnych użytkowników i projekty badawcze z danymi prywatnymi lub współdzielonymi w ramach zdefiniowanej grupy badawczej choć możliwe będzie też pełne upublicznienie danych w internecie.
Usługa gridowa: "Wirtualne Obserwatorium".
Wirtualne Obserwatorium (VObs) to platforma do współdzielenia danych astronomicznych oraz narzędzi do ich analizy. W pewnym sensie jest to dedykowany grid astronomiczny (choć standardowo nie wykorzystuje technologii gridowych) stworzony przez międzynarodowe środowisko astronomiczne. Na VObs składają się niezależne centra danych (najczęściej o skali narodowej) np. AstroGrid, Euro-VO, NVO, GAVO. Współdziałanie wszystkich lokalnych centrów danych jest możliwe dzięki pełnej standaryzacji formatów danych, protokołów komunikacji i wymiany danych, centralnego rejestru zasobów VObs, itp. w ramach International Virtual Observatory Alliance.
Z punktu widzenia astronoma VObs udostępnia olbrzymie zasoby danych, które można ze sobą kros-korelować (np. dane o obiekcie w różnych długościach fal) i analizować przy użyciu udostępnionych, standardowych narzędzi. W ramach AstroGrid-PL planowane jest:
stworzenie polskiego centrum danych VObs (oraz prace badawcze w zakresie integracji wybranych funkcji z infrastrukturą PLGrid)
udostępnianie wybranych zestawów danych; ważnym elementem jest tu plan zeskanowania archiwalnych płyt szklanych i ewentualna digitalizacja/konwersja z innych (starych) nośników danych celem udostępnienia w VObs; ponadto będziemy bezpośrednio wspierać osoby chcące udostępnić jakiekolwiek inne dane w ramach tej platformy.
Prace w tym zadaniu mają na celu przede wszystkim udostępnienie w środowisku gridowym narzędzi do redukcji i analizy danych obserwacyjnych. Ponadto prowadzone będą prace badawcze nad technikami integracji instrumentów obserwacyjnych w gridzie.
Usługa gridowa: "Środowisko workflow dla astronomii".
Proces redukcji i analizy danych obserwacyjnych najczęściej wymaga wykonania kilku osobnych kroków. Jednym ze sposobów jego realizacji są skrypty w różnych językach. W przypadku bardziej złożonych zadań o wielu zależnościach warto jednak użyć środowiska workflow, które umożliwia tworzenie bardzo skomplikowanych sieci połączeń pomiędzy modułami ('krokami') przy czym najczęściej sieci te są budowane i prezentowane w postaci graficznej. Możliwe jest więc proste, wizualne tworzenie zadań o skomplikowanych zależnościach pomiędzy poszczególnymi krokami.
W ramach niniejszej usługi zostanie wybrane najlepsze dla potrzeb astronomów oprogramowanie workflow umożliwiające pracę w środowisku gridowym. Następnie zostaną zaimplementowane wybrane moduły i całe sieci realizujące typowe w pracy astronoma zadania. Najpierw będą implementowane ogólnie dostępne, otwarte narzędzia jak np. pakiet do fotometrii metodą odejmowania obrazów DIAPL (W. Pych). W dalszej kolejności możliwe będzie wsparcie użytkowników w zakresie implementacji ich prywatnych narzędzi. Zadania z publicznej biblioteki będą mogły być modyfikowane do konkretnych potrzeb użytkownika i współdzielone publicznie lub tylko z grupą badawczą. Przykładowe scenariusze implementowane w pierwszej kolejności:
Inne przykładowe funkcje, które będą implementowane jako moduły: publikacja wyników na serwerze danych lub w Wirtualnym Obserwatorium, powiadomienia email/sms.
Usługi wsparcia planowania obserwacji.
Na początku tego podzadania powstanie wstępny projekt platformy opartej o technologie gridowe i umożliwiającej dynamiczne organizowanie teleskopów w sieci wirtualne dla potrzeb realizacji określonego programu obserwacyjnego (lecz z zachowaniem autonomiczności teleskopów w równoległej realizacji innych programów). Serwisy rozwijane w dalszej części zadania będą projektowane tak aby w przyszłości umożliwić ich ewentualną integrację w ramach zaprojektowanej platformy. Na potrzeby projektu Solaris powstanie zestaw mikroserwisów webowych wspomagających proces planowania listy zadań obserwacyjnych dla sieci teleskopów, przy czym większość z nich będzie publicznie dostępna (również poprzez interfejsy użytkownika na portalu).
Prace w tym podzadaniu mają charakter innowacyjno-eksperymentalny i nie muszą zakończyć się stworzeniem oficjalnej usługi gridowej.
Usługa gridowa: "Wielozadaniowy kod płynowy - Piernik".
Symulacje płynowe stanowią jedną z głównych technik modelowania złożonych procesów astrofizycznych, w których istotną rolę odgrywa dynamika ośrodka gazowego, pola magnetycznego oraz promieniowania. Badania oparte na technice symulacji płynowych wymagają ciągłego tworzenia narzędzi programistycznych (kodów) dostosowanych do bieżących potrzeb badawczych.
Powstanie gridu dziedzinowego AstroGrid-PL stwarza niepowtarzalną okazję udostępnienia środowisku polskich astrofizyków wielozadaniowego kodu magnetohydrodynamicznego Piernik tworzonego od kilku lat przez kilkuosobowy zespół w Centrum Astronomii UMK w Toruniu. Funkcjonalność Piernika wykracza poza możliwości wielu innych publicznie dostępnych kodów płynowych, ponieważ w trakcie jego rozwoju położony został nacisk na modelowanie zjawisk fizycznych w ośrodkach wielopłynowych. Piernik jest kodem uniwersalnym, efektywnie zrównoleglonym i korzystającym z wydajnych algorytmów płynowych. Piernik jest aktualnie przygotowywany do pracy w środowisku gridowym. Jego obecna funkcjonalność umożliwia modelowanie: procesów magnetohydrodynamicznych w ośrodku międzygwiazdowym z udziałem samograwitacji, dysków akrecyjnych, gazowo-pyłowych dysków protoplanetarnych, fal uderzeniowych, turbulencji, transportu promieniowania kosmicznego oraz wielu innych procesów astrofizycznych. Obecny rozwój Piernika obejmuje implementację techniki siatek adaptywnych, implementacje nowych algorytmów hydrodynamicznych oraz rozbudowę modułów rozszerzających zakres modelowanych procesów fizycznych.
W ramach projektu PLGrid+ planowane jest przygotowanie środowiska obliczeniowego tak, żeby każdy użytkownik mógł wykonać obliczenia związane z własnym problemem badawczym oraz przeprowadzić opracowanie wyników bez konieczności samodzielnego konfigurowania środowiska obliczeniowego. Przewidujemy różne scenariusze korzystania z kodu Piernik w zależności od poziomu zaawansowania użytkowników:
Scenariusz dla nowych użytkowników pragnących zapoznać się z podstawami techniki symulacji płynowych lub z przebiegiem zjawiska, którego model został zaimplementowany w jednym z predefiniowanych problemów testowych.
Scenariusz dla użytkowników średnio-zaawansowanych polegający na wykorzystaniu kodu do badań niewymagających rozszerzania funkcjonalności kodu, a jedynie przygotowania procedury generującej warunek początkowy oraz dostosowania parametrów symulacji.
Scenariusz dla użytkowników zaawansowanych polegający wykorzystaniu kodu do badań z dziedziny astrofizyki obliczeniowej wiążącym się z koniecznością rozbudowy kodu poprzez dodanie nowych modułów dedykowanych konkretnemu zagadnieniu badawczemu.
Usługi wsparcia projektów obliczeniowych.
Usługa ma na celu przede wszystkim włączenie nowych użytkowników infrastruktury PLGrid poprzez wsparcie w zakresie adaptacji i optymalizacji kodów numerycznych do pracy w środowisku gridowym. Choć ośrodki KDM świadczą już profesjonalne usługi tego typu, to docierają one przede wszystkim do zaawansowanych użytkowników. Nowością tej usługi będzie wsparcie mniej zaawansowanych użytkowników, świadczone przez kompetentne osoby z różnych ośrodków astronomicznych, które jednocześnie mają podstawową wiedzę merytoryczną z zakresu astrofizyki. Spodziewamy się, że niektóre z prowadzonych prac zakończą się powstaniem pełnych usług na platformie PLGrid+.
Celem tego zadania jest ułatwienie komunikacji pomiędzy polskimi ośrodkami astronomicznymi. Obejmuje to opracowanie projektu stosunkowo taniej platformy wideokonferencyjnej, jej testowe wdrożenie w wybranych ośrodkach oraz integrację z usługami gridowymi. Platforma będzie umożliwiała korzystanie z usług kolaboracyjnych tworzonych w ramach projektu PLGrid+ (w tym dostęp do platformy PLATON).
