Mapa burz czyli oprogramowanie astro w służbie meteorologii

[WojtasSP320]

Od jakiegoś czasu nurtowało mnie pewne zagadnienie, mianowicie przez lata obserwacji byłem święcie przekonany, że wszelkie burze i ulewy omijały moje miasto.

Zawsze na wszelkiej maści mapach pogodowych, radarach, itp. burze i ulewne deszcze albo mnie omijały (skręcając w bok w ostatniej chwili), albo wygasały przede mną (czasami wznawiając aktywność kilkadziesiąt km dalej), albo front burzowy rozdzielał się na dwa skutecznie pozbawiając mnie możliwości złapania większej ilości wyładowań na zdjęciach.

 

Postanowiłem sprawdzić, czy tylko mi się wydaje, czy jednak jest coś na rzeczy.

 

Napisałem sobie skrypt, który ściąga ze strony https://www.blitzortung.org/pl/live_lightning_maps.php archiwalne obrazy z zaznaczonymi wyładowaniami. Każdy obraz zawiera wyładowania z ostatnich 120 minut z podziałem na 6 grup czasowych (aktualnie, -20min, -40min, -60min, -80min, -100min i -120min) oznaczonych różnymi kolorami.
Ściąganie danych z rozdzielczością 1 minuty po pierwsze zajęłoby za dużo czasu (i mógłbym dostać jakiegoś bana na IP), po drugie byłoby zbyt dużo materiału do obróbki i po trzecie dane na kolejnych "zdjęciach" pokrywałyby się co zaciemniłoby dodatkowo obraz. Postanowiłem pobierać dane z rozdzielczością 120 minut.

W ten sposób pobrałem 20 256 obrazów z okresu 2019-01-01 00:00 do 2023-08-15 23:00:00.

 

Przed stackiem musiałem wykonać jeszcze jedną, niezbędną akcję, żeby wyniki były jako tako miarodajne. Poszczególne serie czasowe na ściągniętych PNGach były oznaczane kolorami od białego, żółtego, przez pomarańczowy i czerwony aż do brązowego (czy karamazynowego jak kto woli). Zestackowanie takich danych spowodowałoby, że wyładowania starsze (sprzed 100 minut) będą miały ciemniejszy kolor, a co za tym idzie dadzą mniejszy wkład w ostateczny obraz. Trzeba było to jakoś znormalizować. Wykonałem na paczce 20k obrazów w Irfan View akcję batch conversion podnosząc saturację każdego obrazu. W ten sposób zestaw kolorów pomniejszył się do bieli, żółtego, pomarańczowego i czerwonego. W każdym z tych kolorów składowa R miała wartość 255.

 

Kolejnym krokiem było zestackowanie.

Próbowałem w APP, ale przy tej ilości materiału wysypał się gdzieś chyba w 2/3 pracy, więc spróbowałem w Sirilu.

Krótki tutorial, załadowałem pliki png, przekonwertowałem na .fits (taki jest chyba wymóg, nie wiem, nie znam się) i następnie pomijając kalibrację, rejestrację i normalizację po prostu zestackowałem algorytmem sumacyjnym.
Tak wyplutego stacka wrzuciłem do APP, żeby go rozciągnąć (nie jestem biegły w Sirilu, a w APP wiedziałem jak to zrobić). Rozciągnąłem na oko, tak, żeby niczego nie przyciąć (za bardzo) ale żeby uwydatnić różnice w poszczególnych rejonach.
Rozciągnięty obraz zapisałem jako 16 bitowy TIFF RGB. 

 

Kolejnym etapem było wrzucenie TIFFa do Photoshopa, żeby nanieść maskę granic i rzek, poprawić jeszcze poziomy i nanieść mapę gradientu (kolorowanie zamiast od czerni do bieli kolorami przypominającymi widmo promieniowania ciała doskonale czarnego). Mapa gradientu ma za zadanie uwypuklić jeszcze bardziej różnice pomiędzy poszczególnymi poziomami danych.
Przed naniesieniem mapy gradientu sklonowałem kanał R na pozostałe G i B uzyskując skalę szarości z kanału R.

W ten sposób powstał obraz, który (jak wierzę) pokazuje pewien jakościowy rozkład wyładowań atmosferycznych w naszym kraju na przestrzeni ostatnich 4,5 lat (~56 miesięcy).

Jest to jak dotąd mój najdłuższy stack .



Załączam do posta oryginalnego zestackowanego fitsa bez rozciągnięć gdyby ktoś chciał się pobawić sam danymi i rozciągnąć go sobie inaczej (nie wiem dlaczego, ale Siril odbił go w osi X).

BTW, moja teza się chyba potwierdziła - widać znacznie ciemniejszy obszar na północ od Torunia i na wschód od Bydgoszczy (ale przyczyny nie znam nadal).

 

blitz_stacked.fit

[Mateusz Libner]

Ciekawy projekt, i gratulacje ukończenia go 

[Herbert West]

Bardzo interesujący pomysł i ciekawe wykonanie!

[Artur-bramy-teleskopowe]

Kawał dobrej roboty! Naukowej.

[Krzysztof z Bagien]

Super!

Teraz jeszcze fajnie by było zrozumieć dlaczego ten rozkład wygląda jak wygląda - ale to pewnie nawet najstarsi meteorolodzy nie ogarniają.

[licho52]

1 godzinę temu, Krzysztof z Bagien napisał(a):

Super!

Teraz jeszcze fajnie by było zrozumieć dlaczego ten rozkład wygląda jak wygląda - ale to pewnie nawet najstarsi meteorolodzy nie ogarniają.

 

Mój ojciec jest takowym więc go zapytam.

[micropoint]

A jak z Twoim podejrzeniem? Burze omijają Twoje miasto?

[WojtasSP320]

17 minut temu, micropoint napisał(a):

A jak z Twoim podejrzeniem? Burze omijają Twoje miasto?

 

12 godzin temu, WojtasSP320 napisał(a):

BTW, moja teza się chyba potwierdziła - widać znacznie ciemniejszy obszar na północ od Torunia i na wschód od Bydgoszczy (ale przyczyny nie znam nadal).

 

[holeris]

Ukształtowanie terenu, rzeki, wilgotność, może skład gleby, lokalne uwarunkowania temperaturowe (wynikające z poprzednich punktów), etc. Takie rzeczy bym obstawiał.

[Michal_IAUZ]

Cześć,

 

bardzo ciekawy pomysł!

15 godzin temu, WojtasSP320 napisał(a):

Wykonałem na paczce 20k obrazów w Irfan View akcję batch conversion podnosząc saturację każdego obrazu. W ten sposób zestaw kolorów pomniejszył się do bieli, żółtego, pomarańczowego i czerwonego. W każdym z tych kolorów składowa R miała wartość 255.

Tutaj chyba lepiej byłoby sprowadzić wszystkie kolory do jednego. Masz może paczkę tych png gdzieś?

Edit: teraz doczytałem "W każdym z tych kolorów składowa R miała wartość 255. " czyli powinno być poprawnie.
Tak czy inaczej możesz udostępnić paczkę png?
 

Edytowane 31 Sierpnia 2023 przez Michal_IAUZ

[WojtasSP320]

Jasne, proszę.
Pojedyncza klatka wygląda tak (jeszcze przed normalizacją kolorów):

 

Po "normalizacji" tak:

 

A po wyciągnięciu tylko kanału R wygląda tak:

 

Paczka PNGów:

blitz.zip

Edytowane 31 Sierpnia 2023 przez WojtasSP320

[fornax]

17 godzin temu, Krzysztof z Bagien napisał(a):

Super!

Teraz jeszcze fajnie by było zrozumieć dlaczego ten rozkład wygląda jak wygląda - ale to pewnie nawet najstarsi meteorolodzy nie ogarniają.

@Krzysztof z Bagien mapa pokazuje częstotliwość występowania burz w Polsce .Ciekaw jestem czy to są wszystkie wyładowania czy tylko chmura -chmura  albo chmura -ziemia?

[Mareg]

Słyszałem, że gdzieś, kiedyś, ktoś robił risercz na temat geograficznego rozkładu opadów. I mu wyszło, że najczęściej pada w dużych miastach.

Po latach badań i iluś tam doktoratach udało się to wyjaśnić. Okazało się, że w dużych miastach jest po prostu więcej stacji pomiarowych niż gdzie indziej.

 

Dobrze jest wiedzieć, czy jakość użytych danych pozwala na wyciąganie jakichś głębszych wniosków. Do tego pasowałoby zrobić na nich jakiś test, którego wynik jest z góry wiadomy. Niestety, nie znam się na meteorologii i takiego testu nie umiem zaproponować. Jednak bez takiego testu jak dla mnie wyjaśnienie uzyskanych wyników może być podobne jak w przypadku opadów.

 

To wszystko piszę z całym szacunkiem dla pomysłu i pracy @WojtasSP320, które uważam za bardzo wartościowe. Chciałbym jedynie, aby w dyskusji wyników nie podchodzić bezkrytycznie do użytych danych wejściowych.

 

Edytowane 31 Sierpnia 2023 przez Mareg

[Kajetan]

Godzinę temu, fornax napisał(a):

@Krzysztof z Bagien mapa pokazuje częstotliwość występowania burz w Polsce .Ciekaw jestem czy to są wszystkie wyładowania czy tylko chmura -chmura  albo chmura -ziemia?

Blitzortung wykrywa tylko wyładowania CG (doziemne), wyładowań CC (międzychmurowych) nie wykrywa, te wykrywa za to polski system Perun. 

Z tego względu na tej mapie nie ma pełnych danych, niektóre burze generują tylko wyładowania CC. 

Swoją drogą mapka nie pokazuje częstotliwości występowania burz a raczej rozkład wyładowań doziemnych na przestrzeni tego czasu (co nie musi się równać z częstotliwością burz). 

Edytowane 31 Sierpnia 2023 przez Kajetan

[fornax]

2 godziny temu, Kajetan napisał(a):

Blitzortung wykrywa tylko wyładowania CG (doziemne), wyładowań CC (międzychmurowych) nie wykrywa, te wykrywa za to polski system Perun. 

Z tego względu na tej mapie nie ma pełnych danych, niektóre burze generują tylko wyładowania CC. 

Swoją drogą mapka nie pokazuje częstotliwości występowania burz a raczej rozkład wyładowań doziemnych na przestrzeni tego czasu (co nie musi się równać z częstotliwością burz). 

W sumie  najbardziej niebezpieczne są wyładowania doziemne  więc mapa pokazuje regiony w Polsce które są najbardziej  zagrożone tym typem wyładowań.Wyładowania typu C-C nie stanowią aż tak potencjalnego zagrożenia dla ludzi. 

[WojtasSP320]

6 godzin temu, Kajetan napisał(a):

Swoją drogą mapka nie pokazuje częstotliwości występowania burz a raczej rozkład wyładowań doziemnych na przestrzeni tego czasu (co nie musi się równać z częstotliwością burz).

Jest dokładnie jak piszesz, "mapa burz" jest tylko chwytliwym i krótkim tytułem (sam widzisz, że Twój opis choć poprawniej oddaje istotę sprawy zajmuje dużo więcej miejsca).

 

7 godzin temu, Mareg napisał(a):

Dobrze jest wiedzieć, czy jakość użytych danych pozwala na wyciąganie jakichś głębszych wniosków. Do tego pasowałoby zrobić na nich jakiś test, którego wynik jest z góry wiadomy. Niestety, nie znam się na meteorologii i takiego testu nie umiem zaproponować. Jednak bez takiego testu jak dla mnie wyjaśnienie uzyskanych wyników może być podobne jak w przypadku opadów.

Nie śmiałbym wyciągać na podstawie tych danych żadnych wniosków, projekt traktuję jako zwykłą internetową ciekawostkę (choć starałem się przyłożyć do obróbki danych, żeby nie popełnić żadnego głupiego błędu). Ot taka ciekawość dziecka, coś na zasadzie "ciekawe czy jak wejdę do ciemnej studni w dzień i spojrzę w niebo to czy zobaczę gwiazdy...". Zastanawiałem się tylko, czy mi się wydaje czy rzeczywiście jest coś na rzeczy.

Chyba sam fakt, że pojedyncze wyładowanie jest reprezentowane jako krzyżyk już w istotny sposób zaburza obraz (należałoby coś z tym zrobić, ale jak już wspominałem był to dla mnie projekt na max 2h pracy a nie poważna analiza ilościowa).

 

Z takich ciekawych błędów poznawczych (chyba tak można to nazwać, choć nie jestem pewien) mój ulubiony to https://pl.wikipedia.org/wiki/Błąd_przeżywalności (ten o samolotach)

Inna mapa (dostępna gdzieś na stronie https://klimat.imgw.pl/pl/climate-maps/#Mean_Temperature/Monthly/2010/1/Winter) zdaje się potwierdzać tezę, że obszar Doliny Dolnej Wisły jest dość skąpo podlewany przez deszcze co pewnie koreluje z ilością burz/wyładowań atmosferycznych.
 

Edytowane 31 Sierpnia 2023 przez WojtasSP320

[licho52]

Najstarsi meterolodzy stwierdzili że może za tym stać większa ilość burz związana z frontami z południa oraz zróżnicowanie rzeźby terenu na południu Polski która dodatkowo zwiększa częstotliwość burz i wyładowań.

 

Niemniej kolega @Krzysztof z Bagien ma racje i nie mają na tą mapkę ostatecznej i autorytatywnej odpowiedzi.

Edytowane 1 Września 2023 przez licho52