Kolejność wykonywania działań - czyli zrozumieć stackowanie w PIXie

everr · 20 Sierpnia 2021

Chciałem poznać jakie mechanizmy siedzą w PIXowych auto-stackowaniach/kalibracjach/alignacjach itp. a do tego uzupełnić wiedzę z tych procesów.

Do tej pory robiłem wszystko za pomocą skryptu WBPP. Czyli wrzuciłem wszystko do termomixa i prawie na defaultach otrzymywałem materiał do wyciągania i edycji. Teraz głód wiedzy powoduje, że może jednak coś da się zrobić lepiej.

Podsumuję co wiem (ogólnikowo):

Kalibracja - z pomocą BIASów, DARKów i FLATów nanosimy pewne poprawki związane z charakterystyką działania elektroniki oraz toru optycznego

Stackowanie - "łączenie" wszystkich klatek LIGHT w jeden wynikowy plik

Alignacja - dopasowanie poszczególnych klatek(?) lub grup klatek np z danego filtra do siebie aby przy nałożeniu pokrywały się elementy ze zdjęcia

Teraz niewiadome:

Normalizacja - wiem, że pomocna ale nie czuje się na siłach aby powiedzieć co dokładnie wykonuje.

Drizzle - o ile dobrze zrozumiałem jest po to aby "naprawić" obraz po ditheringu lub po to aby sam dithering zadziałał przy usuwaniu szumu?

I najważniejsze - Kolejność działań.

Do tej pory ustaliłem, że:

1) Selekcja - wizualna BLINK, "matematyczna" SubFrameSelector.

2) Wybór klatki referencyjnej (potrzebna będzie tylko do alignacji?) - SNR, FWHM -manualnie z listy wyników SFS?

3) Wykonanie masterów klatek kalibracyjnych? - ImageIntegration

4) Kalibracja - i tutaj zagwozdka bo znaczy to, że kalibrujemy każdą klatkę z osobna odpowiednimi masterami (jesteśmy jeszcze przed stackowaniem)? - ImageCalibration?

5) Alignacja - StarAligment

6) Normalizacja (?) - do stackowania są chyba potrzebne wygenerowane pliki normalizacji, a tworzy się je po alignacji?

6) Stackowanie - ImageIntegration

Przy zdobywaniu tej "wiedzy" korzystałem z tematu naszego forum oraz kilku różnych wątków z sieci.

Ustawienia w każdym z tych procesów to trochę odrębny temat.

Wiem, że wielu z Was wykonuje niektóre te działania także w Maximie ale nie mam takiej możliwości i chcę to wyrobić sobie proces to stackowania w Pixie.

Przemek Majewski · 20 Sierpnia 2021

3 minuty temu, everr napisał:

Chciałem poznać jakie mechanizmy siedzą w PIXowych auto-stackowaniach/kalibracjach/alignacjach itp. a do tego uzupełnić wiedzę z tych procesów.

Do tej pory robiłem wszystko za pomocą skryptu WBPP. Czyli wrzuciłem wszystko do termomixa i prawie na defaultach otrzymywałem materiał do wyciągania i edycji. Teraz głód wiedzy powoduje, że może jednak coś da się zrobić lepiej.

Podsumuję co wiem (ogólnikowo):

Kalibracja - z pomocą BIASów, DARKów i FLATów nanosimy pewne poprawki związane z charakterystyką działania elektroniki oraz toru optycznego

Stackowanie - "łączenie" wszystkich klatek LIGHT w jeden wynikowy plik

Alignacja - dopasowanie poszczególnych klatek(?) lub grup klatek np z danego filtra do siebie aby przy nałożeniu pokrywały się elementy ze zdjęcia

Teraz niewiadome:

Normalizacja - wiem, że pomocna ale nie czuje się na siłach aby powiedzieć co dokładnie wykonuje.

Drizzle - o ile dobrze zrozumiałem jest po to aby "naprawić" obraz po ditheringu lub po to aby sam dithering zadziałał przy usuwaniu szumu?

I najważniejsze - Kolejność działań.

Do tej pory ustaliłem, że:

1) Selekcja - wizualna BLINK, "matematyczna" SubFrameSelector.

2) Wybór klatki referencyjnej (potrzebna będzie tylko do alignacji?) - SNR, FWHM -manualnie z listy wyników SFS?

3) Wykonanie masterów klatek kalibracyjnych? - ImageIntegration

4) Kalibracja - i tutaj zagwozdka bo znaczy to, że kalibrujemy każdą klatkę z osobna odpowiednimi masterami (jesteśmy jeszcze przed stackowaniem)? - ImageCalibration?

5) Alignacja - StarAligment

6) Normalizacja (?) - do stackowania są chyba potrzebne wygenerowane pliki normalizacji, a tworzy się je po alignacji?

6) Stackowanie - ImageIntegration

Przy zdobywaniu tej "wiedzy" korzystałem z tematu naszego forum oraz kilku różnych wątków z sieci.

Ustawienia w każdym z tych procesów to trochę odrębny temat.

Wiem, że wielu z Was wykonuje niektóre te działania także w Maximie ale nie mam takiej możliwości i chcę to wyrobić sobie proces to stackowania w Pixie.

Niektóre rzeczy maja mniejszą istotność i komutują swobodnie, inne większą. Nie sądzę, że ja to wiem akurat jakoś super dobrze, czy "lepiej", ale mogę powiedzieć jak robię, albo co sądzę.

Kalibruje klatki od razu, tego samego dnia najczęściej.
Zatem kalibracja na początek, przed blink, może zmarnuję trochę CPU na kalibrowanie odrzutów, ale skalibrowane klatki wyglądają lepiej.
Na wzmocnienie, moje szerokie pole w Irysie
nieskalibrowana najlepsza 240 s:
skalibrowana najlepsza 240 s:
wolę blinkować skalibrowane
Co do normalizacji -- jeśli mowa o "local normalization" to przed całkowaniem po Align. Zwykle jednak Normalizacja w procesie integracji wystarczy.
Jaka to normalizacja?

multiplicative -- dla integracji skalibrowanych flatów (flat -darkFlat) lub (flat - superbias), ogólnie stosowalne kiedy "zero jest w zerze"
no normalization -- dla biasów, darków
addtive+scaling (jak proces Linear Fit, proces, nie opcja odrzucania) -- dla skalibrowanych lightów (light-dark)/masterFlat
equalize fluxes -- normalizacja przy odrzucaniu dla flatów, mapuje piki histogramów na siebie
scale+zero offset = additive + scaling, w pixie to samo występuje zwykle pod kilkoma nazwami, taka niekonsystencja

Na zakończenie stack 112 x 240 s z klatek, które pokazywałem:

stackflow: kalibracja, debayer (bilinear), blink, subframe select, star align (generate drizzle), integration (generate drizzle, additive+scaling, linear fit clip, scale+offset), CFA drizzle (integration x1, drop shrink 1.0 (none)), crop, DBE, photometric calibration

I to uważam za koniec procesu stackowania. Od teraz jest obróbka. Oczywiście kroki związane z CFA należy wymazać z workflowu dla mono. Wystarczy: wykreślic debayer, CFA, zmienić x1 na x2, lub całkowicie wykreślić drizzle, crop (nie wiadomo jaki crop bedzie póki nie ma wszystkich masterow), photometric (rzecz jasna)

Kalibracja MONO i CFA jest IDENTYCZNA. Wszelkie bzdury na ten temat to bzdury. Kalibrujemy surowe klatki przed demozaikowaniem. Surowymi flatami, bez demozaikowania.

Wiesiek1952 · 20 Sierpnia 2021

To co robi skrypt WBPP 2.x to nic innego jak kolejne "wołanie" poszczególnych procesów - tyle, że z ustawieniami defaultowymi czyli jakieś "auto". Oczywiście automatyzacja nie zawsze jest najlepsza ale... sprawdza się w 99% przypadków. Nawet nie próbuję odpowiadać na wszystkie pytania :-). Tylko ciut na temat najważniejszych rzeczy.

Kalibracja to nic innego jak usuwanie defektów z surowego obrazka. Najpierw jest odejmowanie Dark i Bias i w tym momencie mamy (prawie) czysty sygnał zarejestrowany przez kamerę. Potem wykonujemy dzielenie przez Flats i dostajemy skalibrowaną klatkę z usuniętą winietą, paprochami i innymi podobnymi defektami obrazu. Ot i cała kalibracja w skrócie. Tak trzeba ją robić dla każdej klatki osobno bo te mogą być naświetlane z różnymi czasami, różnymi filtrami (czyli różnymi paprochami) i mogą wymagać odrębnych Flatów czy Darków.

Co do wyboru klatki referencyjnej to wbrew obiegowym opiniom nie jest on tak strasznie ważny. Jeśli materiał jest w miarę przyzwoity bez "hantli" zamiar gwiazd to wybór praktycznie nie ma znaczenia. Przy rotacji pola, przesunięciach klatek względem siebie (np bo z różnych nocy) wybieramy tą, którą chcemy żeby tworzyła finalny kadr. To wcale nie musi być klatka z najmniejszym FWHM.

Normalizacja - w ostatnim PI pojawił się świetny skrypt "NormalizeScaleGradient" - naprawdę super (jest w zakładce Batch Processing). Rzecz polega na tym, że jeśli normalizujemy wszystko tak samo to mamy w wyniku również sumę błędów a tą może być trudno usunąć. Lepiej normalizować każdą klatkę osobno bo usuwamy błędy na wczesnym etapie. Błędy to np. przechodzące chmurki, smuga kondensacyjna samolotu (chemitrails ;-) ) czy inne podobne. Dodatkowo skrypt ładnie "podpowiada" które klatki są 'be" jeszcze przed integracją.

isset · 20 Sierpnia 2021

A drizzle? Często widzę ten wyraz ale nie do końca wiem co dokładnie robi. Poprawia szczegóły? Ok ale jak?

Wiesiek1952 · 20 Sierpnia 2021

Drizzle to algorytm do, swego rodzaju, rekonstrukcji obrazu z "undersampled & dithered data". Algorytm wymyślony dla zdjęć z Hubbla. Jeśli zdjęcia są poprawnie samplowane albo oversampled to drizzle nic nie da. W dużym skrócie algorytm wylicza co powinno być w pixelach jeśli obraz byłby poprawnie samplowany - warunki są dwa - undersampling i dithering plus im więcej zdjąć tym lepiej - z reguły mniej 20 może dawać nieprzewidywalne rezultaty a te mogą być zdumiewająco dobre

EDIT: Chyba muszę dodać co to jest under i over sampling ;-) Undersampling jest wtedy gdy mamy za mało pixeli na matrycy, żeby zobrazować rozdzielczość, którą daje teleskop. Oversampling to na odwrót "kropka" rozlewa się na okoliczne piksele czyli mamy więcej pixeli niż "daje" nam teleskop.

EDIT2: przyjmuje się, że poprawny sampling jest wtedy jak rozmiar piksela jest na poziomie ½ do ⅓ Twojego typowego seeingu. Mam seeing 2.4" to piksel zbierający z ok. 0.8" do 1.2" jest "all OK". :-)

Edytowane 20 Sierpnia 2021 przez Wiesiek1952

Behlur_Olderys · 20 Sierpnia 2021

1 godzinę temu, everr napisał:

Drizzle - o ile dobrze zrozumiałem jest po to aby "naprawić" obraz po ditheringu lub po to aby sam dithering zadziałał przy usuwaniu szumu?

Drizzle to algorytm służący do "sztucznego" zwiększenia rozdzielczości stacka. W najprostszym przypadku można sobie wyobrazić, że każdą ekspozycję resize-ujemy np. x2 przed stackowaniem - i poddajemy normalnemu procesowi stackowania.

Zysk jest taki, że ekspozycje z reguły są wobec siebie minimalnie przesunięte i w sprzyjających warunkach można w ten sposób uzyskać teoretycznie lepszy szczegół, zwłaszcza gdy pojedyncze klatki są undersamplowane (a najczęściej tak jest w estetycznych zdjęciach astrofoto). Czyli skala "/px jest dużo mniejsza niż teoretyczna rozdzielczość teleskopu. W praktyce jeszcze trzeba brać pod uwagę seeing.

Jest zatem rozsądne oczekiwać efektów gdy robimy zdjęcia ze skalą 10"/px teleskopem 100mm średnicy przy idealnym seeingu, ale raczej wiele nie ugramy gdy nasza skala to 0.75"/px a seeing jest na poziomie 2.5".

Edited: piszę o wiele za wolno ale teraz temat chyba już wyczerpany

Przemek Majewski · 20 Sierpnia 2021

@Wiesiek1952 ... najs. I już na nic nie muszę odpowiadać

dla @isset dodam tylko uwagę nt. CFA drizzle, ktora tyczy sie tylko OSC i na ma związku z undersamplingiem. można dać krotność x1, czyli bez zmiany rozdzielczości, ale za to pikselki z matrycy CFA (np. RGGB) zbiorą się w zdjęcie bez interpolowania czy debajerowania

Przemek Majewski · 20 Sierpnia 2021

@Behlur_Olderys No i może jeszcze wrzucę, że nie nazwałbym drizzle "sztucznym", nawet w cudzysłowie (moje małe czepialstwo). To realny efekt. Pod warunkiem, że poprawnie przygotowany.

Metoda "fachowo" nazywa się

variable-pixel linear reconstruction

i pod takim hasłem można znaleźć więcej technikaliów.

Wiesiek1952 · 20 Sierpnia 2021

Tak jeszcze dodam: w astrofotografii amatorskiej w Polsce większość najpewniej zdjęć jest oversampled i to mocno zwłaszcza na ogniskowych dłuższych od 600-1000 mm. Zestaw z ogniskową 600 mm i typową mono kamerą (ASI1600) daje skalę obrazu ok. 1.35 arcsec/pix. Seeing u nas to 2.5 do 3" czyli skala jeszcze się mieści w granicach przyzwoitości ale takie 3200 mm ogniskowej (np. mój RCT 1600 mm z Barlowem x2) daje skalę na poziomie 0.25 arcsec/pix. W obu wypadkach ~~dithering~~ EDIT: drizzling raczej nic nie da. W tym drugim przypadku to binning 2x2 albo i 3x3 jest całkiem sensowny. Drizzle raczej nic nie da.

Edytowane 20 Sierpnia 2021 przez Wiesiek1952

isset · 20 Sierpnia 2021

I chyba :scratchhead: wszystko jasne, dziękuję.

Tayson · 21 Sierpnia 2021

Polecam wszystkie odcinki, a nawet cala darmowa zawartosc Adama z YT

everr · 21 Sierpnia 2021

Dziękuję za pomoc...przetrawiam dzisiaj wszystko.

Zaczynam od racjonalnego wykorzystania WBPP...tylko w części klatek mam inaczej nazwane pliki ze względu na filtr. Część mam jako H, część jako 1 a część bez tego członu. Zmiana samej nazwy nie pomaga.

Jest szansa to połączyć?

Wiesiek1952 · 21 Sierpnia 2021

13 minut temu, everr napisał:

Dziękuję za pomoc...przetrawiam dzisiaj wszystko.

Zaczynam od racjonalnego wykorzystania WBPP...tylko w części klatek mam inaczej nazwane pliki ze względu na filtr. Część mam jako H, część jako 1 a część bez tego członu. Zmiana samej nazwy nie pomaga.

Jest szansa to połączyć?

W WBPP 2.x masz u dołu przycisk "Add Custom" i tam Ty definiujesz wszystko co trzeba.

EDIT: Tak ogólnie to przynajmniej na początek nie używaj wszystkich opcji włącznie z "Image Integration" a zacznij od samej kalibracji.

Edytowane 21 Sierpnia 2021 przez Wiesiek1952