MureDenoise - efekty, przykłady ustawień, wnioski i uwagi

[Herbert West]

W związku z krótką dyskusją z @Tayson  w statusie @Tuvoc dziś postanowiłem zrobić wątek o MureDenoise- skrypcie, z który wydaje się dawać dla mnie dobre efekty. Dodatkowo, @Przemek Majewski napisał kiedyś, że nie lubi tego skryptu, więc nie mogę przegapić okazji do dokuczenia mu trochę :-)

 

Funkcja ta, w PIX, podobno modeluje szum kamery i go usuwa ze zdjęcia. Mniejsza czy robią to krasnoludki czy elfy- liczą się efekty.

 

Użycie DrizzleIntegration wyklucza późniejsze wykorzystane MD. Efekty redukcji szumu dzięki użyciu DrizzleIntegration poruszyłem tutaj:

 

https://astropolis.pl/topic/81887-drizzle-zajmuje-tyle-co-gotowanie-obiadu-dwudaniowego-albo-dłużej/?do=findComment&comment=937501

 

Aby wprowadzić parametry do modelowania, trzeba użyć skryptu MureDenoiseDetectorSettings. Otwieramy w PIX dwa nieskalibrowane, surowe suby flaty- nie master flata, nie flata po odjęciu bias/dark dla danego konkretnego kanału oraz dwa surowe suby darki dla czasu ekspozycji identycznego jak odszumiany master, z identycznym gain oraz offset i temperaturą. Klikamy Estimate i dostajemy dwa parametry: Gain oraz Gaussian noise*, które następnie przepisujemy do okienka skryptu MureDenoise.

* czytałem sugestię Jona Risty, że dla sensorów stosowanych w ASI1600MMP, która jest tutaj na warsztacie, dystrybucja szumu być może jest bliższa Poisson noise a nie Gaussian noise, ale się tym nie przejmuję.

 

 

W okienku wybieramy nasz master- koniecznie przed jakimikolwiek inną obróbką, wedle instrukcji. To, co wychodzi z procesu integracji.

 

 

Flatfield nie używam, uzupełniam tylko Gain, Gaussian Noise (wedle poprzedniego skryptu) oraz zmieniam Variance Scale i Cycle-spin count.

 

Istotna uwaga. To jest proces, który daje lepsze rezultaty i mniej artefaktów, jeżeli używamy umiarkowanej Variance scale oraz dużej ilości cykli- Cycle-spin count.

 

Natomiast jest kompletnie niezoptymalizowany. Tak to wygląda. Efektywnie jednowątkowy:

 

 

STAN DOMYŚLNY- BEZ ODSZUMIANIA:

 

Dane to fragmenty kanału S z IC1848 w przyzwoitej ilości 92x300s spod nieba Bortle 4. Rejon z tłem i rejon z mocnym sygnałem:

 

 

 

 

Próba pierwsza- ustawienia cykli i siły domyślne (variance scale 1.0, cycle-spin count 8):

 

 

 

 

Rezultat tragiczny. Rozciapane i pogubione małe gwiazdy, tło nieakceptowalne. Jeżeli byśmy pojechali jeszcze mocniej, to dookoła jasnych gwiazd powstałyby obrączki. Winny jest domyślny parametr Variance Scale = 1. Jak w każdym przypadku procesu odszumiania w Pixie, domyślne ustawienia dewastują zdjęcia. Rozwiązaniem jest znaczne zmniejszenie Variance Scale oraz znaczne zwiększenie liczby cykli. Jedziemy po kolei:

 

Próba 2:

 

 

 

 

 

Zwróćcie uwagę na odczyty NoiseEvaluation i porównajcie z oryginalnym i próbą 1.

 

Próba 3:

 

 

 

 

 

Próba 4- zwiększenie Variance scale do 0.3, cykli- 24.

 

 

 

 

 

 

Odnośnie Cycle-spin count

Im więcej tym lepiej, w pewnym sensie. Lepiej zwiększyć liczbę cykli i zmniejszyć intensywność. Natomiast, z tego co widzę. liczba cykli większa niż 25 w zasadzie nic nie zmienia. Ja używam 20-25 i reguluję efekt kolejnym parametrem.

 

Variance Scale

Dla mojej kamery ASI1600MMP i mojego materiału, Variance Scale większa o włos od 0.45 powoduje powstanie artefaktów wokół dużych gwiazd. Standardowo używam nie większej niż 0.3, a to i tak nieczęsto. Staram się zachować szum wysokiej częstotliwości w rozsądnej ilości.

 

Różne kamery, różne materiały

Nie mam pojęcia jakie skrypt daje efekty dla innych kamer CMOS czy CCD. Dla ASI1600MMP, używany rozsądnie, wydaje się dawać dobre efekty bez istotnych problemów. Możliwe, że są matryce, dla których jest on bezużyteczny, ale, jak zawsze, trzeba spróbować samemu.

 

Pliki do pobrania:

 

Moje OneDrive: https://1drv.ms/u/s!AjNBHKkQrQLmhLlm1LhgIQGSH09vuA?e=psDgLX Link aktywny przez miesiąc.

Bezpośrednio z forum: 

Są wszystkie zamieszczone obrazki w formacie png a także oryginalny stack, po dwa suby flatów i dwa suby darków, których użyłem. Ponadto proces HistogramTransformation, którego użyłem do delinearyzacji obrazków.

 

EDIT: Słowo ostrzeżenia. Po agresywnym użyciu MD proces STF czasami wariuje i drastycznie rozciąga zdjęcie. Kalkulacja rozciągania bierze pod uwagę szum, więc efekt zrozumiały.

 

DISCUSS!

 

Edytowane 10 Grudnia 2021 przez Herbert West
Dodałem info o braku kompatybilności z Drizzle.

[Tayson]

Dzięki!!!!!

Nie doczytałem o regulacji parametrów w sekcji Denoise.

 

Nadal mam jednak mieszane uczucia.

W ostatnim screenie tla widac sporo CZARNYCH, POJEDYNCZYCH pixeli.

Przyglądam sie na ten wycinek i niby jest odszumiony, ale dla mnie jakis taki dziwny.... nie bardzo wiem ja nazwać odczucia. 

 

Z drugiej strony uzyłes zapewne STF do rozciągania podglądu, to agresywna metoda, wiec moze pozostac po sobiewiele artefaktów.

Inny temat to, ze ja mam CCD. Dam znac co mi wyjdzie z testów.

 

 

edit.

polecam wrzucic TU pliki, to temat bedzie mial sens nawet za kilka lat.

 

Edytowane 9 Grudnia 2021 przez Tayson

[Herbert West]

@Tayson Zgadza się, czarne pixele się pojawiają i wynika to zapewne z nadmiernego odejmowania wartości. Nie zabrałem się jeszcze do testowania parametru Offset ale może coś tutaj da.

Wariant finalny jest celowo zbyt (moim zdaniem) agresywny.

Do Ha nie używam tego w ogóle. W S i O robi dużą różnicę i zwykle około 25 cykli ze skalą 0.2 - 0.25 to max na co mogę sobie pozwolić.

Rozciągane STF przeniesionym do HistoTransf. Załączyłem też ikonę tego procesu.

[Herbert West]

Dodam, że ten skrypt jest interesujący z innego jeszcze powodu- ścina szum na samym początku obróbki. Im wcześniej tym lepiej i łatwiej.

Edytowane 9 Grudnia 2021 przez Herbert West

[Renioo]

Ciekawostka, odpaliłem, pomielił 10 minut i nic się nie stało ze stackiem  

Na dalsze testy trzeba się wstrzymać, jest strasznie zoptymalizowany (wykorzystanie CPU 12%)  

[Herbert West]

@Renioo I, jeżeli dobrze rozumiem zasadę działania, nie zrobisz testu na preview, żeby było śmiesznie :-)

[Renioo]

Miałem trochę nadzieję, bo się średnio lubię z MMT. Ale chyba będę musiał.

Jak coś wypluje to wkleje rezultaty z ICX694  

[Herbert West]

3 minutes ago, Renioo said:

Miałem trochę nadzieję, bo się średnio lubię z MMT. Ale chyba będę musiał.

Jak coś wypluje to wkleje rezultaty z ICX694  

Do testów użyj cycle 8-10 i scale 0.2. Następnie zwiększaj cykle do 20 a później zwiększaj scale aż ci się przestanie podobać. Trzymaj oryginał otwarty i zawsze porównuj rezultaty.

[Tayson]

Informacyjnie.

Zmiany na prev dotycza zawsze oryfinalu, a nie zmiany juz wygenerowanego podglądu. 

[Herbert West]

9 minutes ago, Tayson said:

Informacyjnie.

Zmiany na prev dotycza zawsze oryfinalu, a nie zmiany juz wygenerowanego podglądu. 

Dokładnie tak. Wycinki to preview wytyczone na stacku poddanym MD. Ze względów praktycznych nie wklejałem całości - umożliwia to porównanie w dużym powiększeniu.

[OBERON RD]

15 godzin temu, Renioo napisał:

wykorzystanie CPU 12%

Specjalnie do pracy w tle! Nie zabierze ci zasobów i uczy cierpliwości. A ta w astrohobby jest bezcenna!

[Herbert West]

9 minutes ago, OBERON RD said:

Specjalnie do pracy w tle! Nie zabierze ci zasobów i uczy cierpliwości. A ta w astrohobby jest bezcenna!

 

Mam 32 wątki, mogę odpalić ze 30 instancji tego skryptu ;-) Ale, szczerze mówiąc, idzie dość szybko- może 3 minuty przy 25 cyklach, bo pojedyncze rdzenie w tym procku i tak są obłędnie szybkie. Co innego Drizzle, które zajęło kilka godzin z gazem do dechy na 5950x.

[Renioo]

Powiem tak, pewnie dla potomności wrzucę różne rezultaty kilku ustawień i na pewno da się uzyskać całkiem dobre wyniki. Ale dla mnie czas pracy tego skryptu jest dyskwalifikujący do użytku codziennego (pracuje nad tym jeden rdzeń i to nie cały czas na 100%!). Poszło finalnie 60 minut na kanał na kilka zaledwie ustawień.

 

Pod nóż rzuciłem stack 12x600s z kanału H i matrycy ICX694 (dokładnie Trius-694). Materiał mógł być lepszy, ale rzeźbie w tym co mam.

Użyłem biasów zamiast darków i otrzymałem parametry 0.325e-/DN oraz 16.89DN noise. 

 

Zaczynałem Variance 0.3 i cycle 24 jak ostatnie u @Herbert West. Rozciągnięte STF.

 

Potem skończyłem na Variance 0.5 i Cycles 40. Chyba ciut za dużo. Dalej są czarne piksele ale to pewnie zasługa STF.

 

 

 

Finalne noise evaluation

 

 

 

 

[Herbert West]

@Renioo, nie napisałem, ale oficjalnie, MD nie działa, przynajmniej nie tak, jak powinien, jeżeli się wykorzysta plik po DrizzleIntegration.

 

Edit: rachunek za prąd wyślij mi na PW :-P

Edytowane 10 Grudnia 2021 przez Herbert West

[Renioo]

[Herbert West]

@Renioo  Ja bym odstawił Drizzle na półkę do momentu aż NormalizeScaleGradient zacznie działać z DrizzleIntegration, nawiasem mówiąc. Chyba że masz poważny undersampling i małe gwiazdki są dosłownie kwadratowe.

[Renioo]

Zawsze mam dwa pliki - to tylko jedno kliknięcie. Skale mam 2.2" i gwiazdy przypominają nawet okręgi.

 

Organoleptycznie działa dla mnie tak samo na drizzle jak i materiale bez drizzle. Pewnie kwestia dostosowania wartości, mam wrażenie że na drizzle trzeba mocniej suwakiem machać, a ja mało suwakami machałem do tej pory przy jakimkolwiek noise reduction.

 

Bez drizzle idzie szybciej:

 

 

Variance 0.75 Cycles 40

 

Variance 0.5, 40 Cycles

 

 

 

Variance 0.3 Cycles 40 tutaj dość subtelnie

 

 

 

PS dzięki @Herbert West bo przynajmniej przysiadłem do Pix'a

Edytowane 10 Grudnia 2021 przez Renioo

[Herbert West]

Ciekawe, jak duże różnice w Variance scale są dla mojej i twojej matrycy. 0.75 nawet przy 10 cyklach to u mnie masakra. Jaka ogniskowa i f u ciebie?

[Renioo]

Skala 2.2", 420mm ogniskowej, f6.5.

Mamy też inne wyniki Gaussian Noise, u mnie to 16.89DN. Ale o czym to faktycznie świadczy nawet nie próbuje teoretyzować. Jeszcze potem to zweryfikuje z innym materiałem.

[Herbert West]

Może to wynikać z matrycy ale chyba główne z faktu pomiarów na bias (pewnie kilkusekundowy) a nie subie dark równej długości co ekspozycja...

Edytowane 10 Grudnia 2021 przez Herbert West

[Renioo]

Czemu bias miałby być kilkusekundowy?  Użyłem darka 300s i innego zestawu flatów przy temperaturze -15 (wcześniej -20) z wynikiem 17.69DN.

 

EDIT: W pierwszych postach użyłem biasów z wynikiem 16.89DN. Test z darkiem pokazał wynik zbliżony.

Edytowane 10 Grudnia 2021 przez Renioo

[Herbert West]

Aa, ok. Czyli w sumie dark :-) Ciekawe jak Taysonowi z CCD wyjdzie.