Dithering, Drizzling, metody stackowania

piotrs · 27 Września 2009

Offtop do ew. wydzielenia:

Pojawiło się tu hasło "dithering". Niewinne słowo, kilka krótkich postów zaawansowanych astrofotografów. Myślę że warto ten temat pogłębić, bo to wygląda na ważny krok w (przyspieszajacym ostatnio) postępie astrofotografii amatorskiej.

Poprzez kamerkę DSI III Pro spotkałem się z drizzlingiem. Póki co teoretycznie (niestety). W sofcie do obsługi kamerek Meade jest opcja drizzle. Jej działanie polega na tym, że przed rozpoczęciem sesji zaznaczyć należy prostokąt po którym poruszać się będzie montaż robiąc kolejne fotki ( http://lib.store.yahoo.net/lib/opticsplanet/meade-dsi-how-to.pdf ). Piszę o tym dlatego, że w tej instrukcji drizzling jest opisany jako metoda składania tak specjalnie przesuwanych względem siebie zdjec w celu zwiększenia ich rozdzielczości.

Dithering jest opisywany jako porusznie montażem (np. losowo) w celu zrobienie drizzlingu (np. tu: http://www.weasner.com/etx/astrophotography/2007/dither.html ).

Teraz pojawia się moje pytanie: skoro dithering robi się w celu wykonania drizzlingu aby uzyskać większą rozdzielczość zdjęcia, to czy to co napisaliście Panowie powyżej oznacza że robicie dithering w innym celu - aby potem złożyć zdjęcia z użyciem SD Mask lub Sigmy i w ten sposób nie używać darków, flatów itp?

Adam_Jesion · 27 Września 2009

Przede wszystkim porządek w nazewnictwie. Drizzling to metoda zwiększania rozdzielczości. Daje lepsze efekty niż zwykły resampling. Natomiast dithering dotyczy kwestii hardwerowej, czyli w tym wypadku montażu. Jest to zwykłe bujanie montażem pomiędzy każdą klatką w określonym limicie. Tak przesunięte klatki można wykorzystać do paru różnych rzeczy, jak choćby stackowanie Sigmą/SDMask/Median (eliminacja różnic między klatkami jak np. hoty, patterny, etc.), czy wspomniany drizzling.

To co opisujesz w przypadku softu Meade to dokładnie to samo, czyli bujanie montażem w określonym promieniu. Takie klatki możesz stackować, albo użyć do resamplowania algorytmem drizzle.

Podsumowując, dithering tyczy się tylko metody zbierania materiału, natomiast drizzle to technika powiększania zdjęć. W obydwu przypadkach (stackowanie z medianą, sigmą) jak i resamplowanie musimy mieć klatki, które są względem siebie delikatnie przesunięte.

PS. Uwaga do flatów, dithering nie ma żadnego wpływu na flaty. Ani nie pomoże, ani nie zaszkodzi. Dyskusja ta dotyczy tylko samych darków (ew. patternów, bo na to też lekarstwem może być dithering).

piotrs · 27 Września 2009

Przede wszystkim porządek w nazewnictwie. Drizzling to metoda zwiększania rozdzielczości. Daje lepsze efekty niż zwykły resampling. Natomiast dithering dotyczy kwestii hardwerowej, czyli w tym wypadku montażu. Jest to zwykłe bujanie montażem pomiędzy każdą klatką w określonym limicie. Tak przesunięte klatki można wykorzystać do paru różnych rzeczy, jak choćby stackowanie Sigmą/SDMask/Median (eliminacja różnic między klatkami jak np. hoty, patterny, etc.), czy wspomniany drizzling.

To co opisujesz w przypadku softu Meade to dokładnie to samo, czyli bujanie montażem w określonym promieniu. Takie klatki możesz stackować, albo użyć do resamplowania algorytmem drizzle.

Podsumowując, dithering tyczy się tylko metody zbierania materiału, natomiast drizzle to technika powiększania zdjęć. W obydwu przypadkach (stackowanie z medianą, sigmą) jak i resamplowanie musimy mieć klatki, które są względem siebie delikatnie przesunięte.

OK, tak samo to rozumiem. Teraz pytania pogłębiające sprawę: czy jeśli mam powiedzmy 50 klatek które są "zditheringowane" ( :rolleyes: ) i jeśli stackuje je np. SD Maskiem, to jak bardzo mogę rozluźnić dyscyplinę doboru darków względem temperatury i czasu? Piszecie powyżej że nie ma co zbierać dużej biblioteki darków, wystarczy kilka. To można aż tak sobie ułatwić życie?

Moja DSI nie ma stabilizacji temp., ma zaświetlenie w dwóch miejscach. Takie ułatwienia są też przy niej możliwe?

Misiekc: masz setup podobny do mojego. Używasz Nebulosity z DSI III. Gdybyś dodał do tego PHD, to można by popróbować ditheringu (Nebulosity i PHD mają wspólnie taką funkcję). A może już próbowałeś?

Edytowane 27 Września 2009 przez piotrs

misiekc · 27 Września 2009

W przypadku DSI III ten pomysl z ditheringiem nie zadziala, poniewaz szum nie jest jednorodny - niektore fragmenty matrycy szumia bardziej niz inne. Jesli szum jest jednorodny, to rzeczywiscie problemem sa tylko hot pixele, bo szum szum spowoduje po prostu podniesienie jasnosci calego zdjecia o stala wartosc.

Probowalem bawic sie z ditheringiem w celu zwiekszenia rozdzielczosci zdjecia, ale nie zauwazylem jakis wielkich efektow. Pewnie dlatego, ze te efekty widac glownie jesli ma sie tzw. undersampling, czyli rozmiar pixela wiekszy niz efektywna zdolnosc rozdzielcza wynikajaca z optyki i warunkow atmosferycznych. DSI III ma stosunkowo maly pixel, wiec ten problem moglby sie pojawiac ewentualnie przy stosunkowo krotkich ogniskowych (200 mm).

Adam_Jesion · 28 Września 2009

Szum tła nie ma tu znaczenia, wszystko co różni klatki zostanie w Sigmie wyeliminowane. Ruch jest rzędu 1-2 pikseli, więc na pewno nie podniesie to średniej jasności zdjęcia. Gwarantuję, że przy np. 10 klatkach hotpiksele znikną. Jasność tła, a więc także i jego zróżnicowanie pozostanie na takim poziomie, na jakim było - to oczywiste.

Co do ilości darków, jak już je używamy, to starajmy się zrobić mastera z dużej ilości (np. 10-20). Dlaczego? Już tłumaczę. Nie ma to znaczenia na usuwanie samych hotów, bo te znikną nawet przy jednym dark frame'ie. Problem w tym, że sam dark ma też szum tła. Jeżeli odejmiemy takiego darka od zdjęcia, to po prostu doda on swój szum do szumu zdjęcia, a to niekoniecznie jest naszym celem . Chcemy odjąć tylko hot'y więc stackując dużą ilość darków uzyskujemy mapę gorących pikseli, ale z mocno wygładzonym (uśrednionym) tłem, przez co nie wprowadzamy do zdjęcia nowych szumów.

JaLe · 2 Października 2009

Ten sam materiał czyli bez ditheringu złożony Sigma cliping, bez darkow i flatów. Czy jest różnica :unsure:

Adam_Jesion · 2 Października 2009

Zgodnie z oczekiwaniem, jest gorzej. Dużo hotów etc. Czemu miałby ten test służyć?

JaLe · 3 Października 2009

Zgodnie z oczekiwaniem, jest gorzej. Dużo hotów etc. Czemu miałby ten test służyć?

Wypróbowaniu metody SC (do tej pory zawsze składałem medianą).

misiekc · 3 Października 2009

Ten sam materiał czyli bez ditheringu złożony Sigma cliping, bez darkow i flatów. Czy jest różnica

Jale, napisz jak ustawiles wartosc sigma i ile klatek skladales. Poza tym napisales, ze pierwsze zdjecie jest "prawie bez darkow i flatow" a drugie "bez darkow i flatow". Mysle, ze jako umysl techniczny wiesz znacznie lepiej ode mnie na czym polegaja roznice miedzy sredniowaniem, mediana i sigma clipping.

JaLe · 3 Października 2009

Wcześniej zastosowałem: 1 flat z przed kilku miesięcy, podobnie z l.darków których było tak z 70 % w stosunku do l.klatek, nie pamiętam ile było klatek, ale sumarycznie 100[min]. Do nowszej wersji M33 nie stosowałem żadnych darków i flatów.

"roznice miedzy sredniowaniem, mediana i sigma clipping"

Do tej pory stosowałem tylko medianę,jako metodę która najlepiej radzi sobie z odszumianiem, jednak w tym wątku został poruszony temat SC, więc stad te próby. Co do ustawień to odpowiednio: SF = 0.5 Norm.- linear Norm. area =80% ignore pixels over 1 ignore black pixel L.klatek = 11

Adam_Jesion · 3 Października 2009

Najmniej szumu będziesz miał stackując poprzez uśrednianie. To oczywiste. Potem ew. mediana. Sigma Clip stosujemy po to, żeby poradzić sobie np. z hotpikselami, czy cosmic rayami, ale kosztem pogorszenia SN w tle. Najnowszym wynalazkiem jest SDMask, który teoretycznie działa jak Sigma Clip, ale daje jakość SN na poziomie metody "uśredniania" (złoty grall?).

To tak w uproszczeniu. Stosowanie SDMask, czy Sigma Clip bez ditheringu jest "poza sensem". Wtedy lepiej pozostać przy Average, ew. Median.

Adam_Jesion · 3 Października 2009

Wspomnę jeszcze o Ray'u Gralaku (swoją drogą twórca softu CCDWare - CCDAutopilot, CCDInspector, PEMpro, etc.). Stworzył on SDMask i całkiem dobrze opisał jego działanie na tej stronie:

http://www.gralak.com/Sigma/index.html

Myślę, że to powinno wystarczyć w zrozumieniu tej metody.

Algorytm SIGMA został wdrożony przez Cyanogen w MaximDL pod nazwą SDMask.

misiekc · 3 Października 2009

... Stosowanie SDMask, czy Sigma Clip bez ditheringu jest "poza sensem". Wtedy lepiej pozostać przy Average, ew. Median.

Osobiscie mam inne zdanie na ten temat, ale po kolei. Najpierw napisze co wg mojej wiedzy robia poszczegolne algorytmy, zeby wiadomo bylo o czym rozmawiamy.

Average - wynikowa wartosc pixela jest srednia z wartosci na skladanych zdjeciach. Przyklad (1, 2, 6) -> 3

Median - wynikowa wartosc pixela jest srodkowa z wartosci na skladanych zdjeciach. Przyklad (1, 2, 6) -> 2

Sigma Clipping (parametr sigma) - oprocz wyliczenia wartosci sredniej liczymy takze odchylenie standardowe. Nastepnie wyliczamy srednia tylko z tych punktow, ktore nie roznia sie od wartosci sredniej o wiecej niz "odchylenie standardowe" * sigma. Przyklad (1, 2, 6) -> srednia = 3, odchylenie = 2.65. Jesli np. sigma = 1 do sredniej bierzemy tylko (1, 2) -> 1.5

SDMask (parametr sigma) - Rowniez liczymy odchylenie standardowe. Jesli jest ono mniejsze od parametru sigma to wynikiem jest srednia, jesli wieksze to mediana. W naszym pzykladzie dla sigma = 1 wynikiem byloby wiec 2. Warto zwrocic uwage, ze parametr sigma w metodzie Sigma Clipping i SD-Mask ma inne znaczenie.

Generalnie tak jak napisal Adam, najlepsza metoda ze wzgledu na S/N to sredniowanie. Jednak jak wiadomo nie radzi sobie ona z promieniami kosmicznymi, satelitami itp. Mediana jest skuteczna, ale daje nizsze S/N. Dlatego wymyslono dwie pozostale metody. Sigma Clipping odrzuca skrajne wartosci (artefakty), a z pozostalych liczy srednia (bo srednia jest najlepsza), natomiast SD-Mask w zaleznosci od okolicznosci stosuje sredniowanie lub mediane.

Powyzsze algorytmy nie maja nic wspolnego w goracymi pixelami i ditheringiem i nie taki byl ich sens. Mozna powiedziec, ze kasowanie hot'ow przez mediane, SC czy SD-Mask, pzy skladaniu klatek rejestrowanych z ditheringiem, to taki efekt uboczny. Przeciez dzialajac w ten sposob efektywnie zwiekszamy w tych rejonach S/N. Pewnie lepsza metoda byloby juz usrednienie sasiednich pixeli, albo jakis prosty filtr odszumiajacy. Dlatego generalnie do usuwania hotow sluza darki, a to ze obecnie liderzy moga w tym celu pozwolic sobie na stosowanie ditheringu wynika wylacznie z jakosci kamer, ktorych uzywaja.

Edytowane 3 Października 2009 przez misiekc

Adam_Jesion · 3 Października 2009

Michał, ale napisałeś generalnie to samo, a wygląda, jakbyś na ten sam argument odpowiedział cyframi - mówiąc i myśląc dokładnie o tym samym. Różnica w tym, że ja jestem zwolennikiem mówienia obrazowymi argumentami, nie zaś wzorami. Ray Gralak, z którym osobiście rozmawiałem dziesiątki razy, opracował algorytm SD Mask przede wszystkim dlatego, że normalna Sigma Rejection średnio radzi sobie z małą ilością klatek. Powyżej np. 20-30 różnicy w efekcie nie ma. Problem pojawiał się głównie przy łączeniu darków w mastery, bo tam raczej nikt nie robi 30 klatek, a czasami potrzebował zrobić np. 5. Tu sigma leżała, bo zwiększała szum wynikowy, natomiast uśrednianie nie radziło sobie z cosmic rayami. Potem okazało się, że dobrze radzi sobie z samymi hotpikselami.

Nie mogę się natomiast zgodzić z ostatnim akapitem, że stosowanie ditheringu jest zastrzeżone dla wysokiej jakości kamer. Co więcej uważam, że pisząc to szkodzisz potencjalnym zainteresowanym z niskim kapitałem, bo to dla nich jest wybawienie. Sytuacja jest dokładnie odwrotna. Mając drogą kamerę jej liniowość i powtarzalność oznacza, że z darków korzysta się łatwo i przyjemnie, dzięki czemu można olać dithering. Natomiast przy gorszym sprzęcie trudno zrobić taką bibliotekę darków, żeby zawsze dała idealny efekt. Powiem więcej - uważam, że w low budget dithering + SDmask jest jedyną sensowną drogą i to nie koncypując tylko ze wzorów, ale popieram to swoimi doświadczeniami, włącznie z DSLR, który szumi hotami jak... do tego nieregularnie. Nie stosując ditheringu i sigmy nie byłbym w stanie w ogóle obrobić materiału, bo nie miałem w ogóle darków.

Żeby była jasność, ja nikogo nie odciągam od "nierobienia" darków, ale zachęcam do ditheringu i sigmy przy stackowaniu skalibrowanych wcześniej klatek. Wtedy efekt będzie najlepszy.

I jeszcze pytanie, czy ty kiedykolwiek stosowałeś dithering w połączeniu z SDMask? Szczerze mówiąc, mam wrażenie, że nie. W przeciwnym wypadku nie zniechęcałbyś do niego ludzi.

Za chwilę wrzucę Wam empiryczne dowody na to, o czym piszę. Stratą czasu jest udowadnianie, że dithering + SD mask jest stratą prądu

JaLe · 3 Października 2009

Padło tutaj stwierdzenie o celowości stosowania masterdarka. W jaki sposób go wykonujemy ?

Adam_Jesion · 3 Października 2009

Pogadaliśmy "akademicko" a teraz czas na przykłady. Tak się składa, że dysponuję dobrym, w sensie dydaktyki, materiałem. Jest to przysłowiowy syf z czasu, kiedy miałem "szczęście" kupić kamerę z uszkodzoną matrycą, która siała hotami jak wściekła.

Oto surowa klatka. Makabra - prawda? To tylko 600 sek.

Z czegoś takiego powstał mój pelikan, który nie miałby szans wygrać plebiscytu, gdyby nie sigma. Do tej kamery nie byłem w stanie zrobić darków, bo co chwilę zmieniała się ich charakterystyka, coś jak w DSLR . Idźmy dalej.

Tak wygląda klatka zestackowana average, bez odejmowania darków:

Zapewne w ten sposób powstaje sporo pierwszych zdjęć z tanich kamer, gdzie ludzie nie robią darków tylko od razu stackują. Oczywiście jest to trochę przerysowane, ale zapewne każdy kto zaczynał kiedyś pamięta tę chwilę zażenowania

Co się dzieję, kiedy odejmiemy darka, który nie bardzo przystaje do oryginału, bo kamera nie jest stabilna, Oto efekt po zestackowaniu average + odjęty dark:

No i grande finale, stackowanie metodą SD MASK, ale uwaga - BEZ UŻYCIA jakiekolwiek darka!

Podsumowanie. Zestackowałem TYLKO 4 klatki. Przy większej ilości efekt syfów zniknął by całkowicie. Użyta kamera bardziej syfiła, niż DSLR przeciętny, a mimo to, zrobiłem parę satysfakcjonujących zdjęć - tylko dzięki temu, że ktoś stworzył ten algorytm. Jak widzicie po surowej klatce, zrobienie z tego czegokolwiek bez znajomości tricków nie dałoby żadnego sensownego efektu.

Nie było tu typowego ditheringu. Setup się giął, co powodowało dryf, a dzięki temu każda klatka wypadała w innymi miejscu , choć to nie jest dobre, bo w efekcie pojawią się zawsze lekkie smugi. Najlepiej, jak różnice między klatkami nie mają żadnego konkretnego charakteru/trendu, tylko są losowe.

Zachęcam do zabawy w dithering i SDMask.

Adam_Jesion · 3 Października 2009

Padło tutaj stwierdzenie o celowości stosowania masterdarka. W jaki sposób go wykonujemy ?

On zawsze powstaje. W maximie jeżeli masz bibliotekę, to na początku pierwsze odjęcie darka potrwa, bo będzie musiał system zestackować te X pojedynczych darków. Możesz zrobić to za niego i stworzyć sobie sam takiego mastera. Jest też opcja wygenerowania mastera z opcjach kalibracji.

Czasami możesz nie chcieć trzymać setek pojedynczych klatek darkowych. Wtedy generujesz dane mastery, a resztę możesz pożegnać

sumas · 3 Października 2009

Padło tutaj stwierdzenie o celowości stosowania masterdarka. W jaki sposób go wykonujemy ?

master dark to po prostu uśredniony stack wielu darkfarame'ów wykonanych w jednakowej (/zbliżonej) temperaturze i czasie expozycji

heh dopiero master flat to już niezła jazda

JaLe · 3 Października 2009

Adamie, w jaki sposób wygenerować master darka ?

Adam_Jesion · 3 Października 2009

Przepraszam, muszę wychodzić, bo mnie zaraz czekająca żona zastrzeli. Jak wrócę to opiszę temat szerzej, o ile nie zrobi tego ktoś wcześniej.

piotrs · 3 Października 2009

Zrobiłem doświadczenie i porównałem Sigmę z SDMask w przypadku mojej DSI III i M27.

Dithering był oczywiście niezamierzony i wynikał z błędów montażu.

W zał porównania SDMask i Sigmy dla tła i dla mgławicy.

Różnice są b.nieznaczne, ale chyba na korzyść SDMask. (We wcześniejszej wersji tego postu - który wyedytowałem - użyłem obrobionych już zdjęć i wyciągąłem błędne wnioski)

Edytowane 3 Października 2009 przez piotrs

misiekc · 3 Października 2009

Adamie, jestem niemal pewien, ze piszemy o tym samym, tylko stawiamy akcenty w roznych miejscach. Twoj post z przykladami jest swietny, wiec i ja pozwole sobie zrobic cos podobnego. Moj "dithering" wynika z niedokladnego ustawienia kadru po poprawianiu ostrosci. Skladalem 5 klatek z mojej DSI III Pro bez darkow i flatow.

Sredniowanie:

Standard. Widac troszke hotow jak rowniez pojasnienia (amp glow'y) w w lewym gornym rogu i na gorze na srodku.

Kappa-Sigma (sigma=1.0)

Hotow zdecydowanie ubylo. Pojasnienia zostaly. Wlasnie to mialem na mysli piszac, ze aby moc sobie pozwolic na nierobienie darkow trzeba miec jednorodny szum.

Na zakonczenie jeszcze mediana:

Z punktu widzenia hotow: ideal. Jednak wydaje sie, ze w jasniejszych partiach zdjecia jest minimalnie slabszy kontrast. Oczywiscie pojasnienia nadal wystepuja.

SD-Mask nie robilem, bo w DSS'ie go nie ma .

Nie jestem przeciwnikiem Sigma Clipping i SD-Mask. Przeciwnie. Uwazam, ze to najlepsze, znane mi, popularne metody do skladania zdjec i nalezy wlasnie ich uzywac. Co wiecej mam nadzieje, ze taki wlasnie bedzie efekt tej dyskusji. Natomiast nie chce, zeby powstalo mylne wrazenie, ze te metody skladania plus dithering zastapia darki w kazdym setupie.

Edit:

Obrobka: do wszystkich fotek zastosowalem jednokorotnie ta sama krzywa.

Przy okazji, patrzac na miniaturki zdjec odnioslem wrazenie, ze widac iz najwiekszy kontrast (S/N) ma zdjecie sredniowane, a najgorszy to, gdze zastosowano mediane.

Edytowane 3 Października 2009 przez misiekc

Adam_Jesion · 4 Października 2009

Tak, jak wcześniej pisałem, oczywistym jest to, że w ten sposób nie pozbędziemy się stałych plam na zdjęciu - no chyba, że dithering będzie wielkości tej plamy . Mówiąc szczerze, nie widziałem takiej drugiej kamery astro, która by robiłem takie rozświetlenia. Dziwne to jest, tym bardziej, że w kamerach innych producentów, ale z tą samą matrycą, nic takiego nie występuje. Szkoda.

Zgadzam się, że jedyną sensowną metodą jest zrobienie kilku darków i używanie ich do odjęcia tego "zaświetlenia".

To po prostu bardzo charakterystyczny problem dotyczący Twojej kamery. Nie można wysnuć wniosku, że tanie kamery tak mają, drogie nie. Po prostu DSI3 tak ma, więc nie możemy uogólniać. Swoją drogą, ciekawe czy każda?

Nie mniej, jak sam piszesz, Sigma będzie przydatna do "pozostałości" po nieregularnym darku. Ja darki odejmuję, ale mam jedną, starą bibliotekę. Zawsze coś na zdjęciu zostanie, a SD Mask to usunie.

Adam_Jesion · 4 Października 2009

Zrobiłem doświadczenie i porównałem Sigmę z SDMask w przypadku mojej DSI III i M27.

Dithering był oczywiście niezamierzony i wynikał z błędów montażu.

W zał porównania SDMask i Sigmy dla tła i dla mgławicy.

Różnice są b.nieznaczne, ale chyba na korzyść SDMask. (We wcześniejszej wersji tego postu - który wyedytowałem - użyłem obrobionych już zdjęć i wyciągąłem błędne wnioski)

Piotrze, a ile zestackowałeś klatek? Zrób taki test np. na bardzo małej ilości klatek (np. 3-4 sztuki). Powinno być wtedy bardziej widać. Najlepiej dokonaj pomiaru szumu w Maximie. Czasami te subtelności są na granicy percepcji.

Ja osobiście nie testowałem aż tak dokładnie różnic sigma vs sd mask. Zdałem się na rekomendację innych i używałem zawsze SDMask.

JaLe · 4 Października 2009

Przy okazji, patrzac na miniaturki zdjec odnioslem wrazenie, ze widac iz najwiekszy kontrast (S/N) ma zdjecie sredniowane, a najgorszy to, gdze zastosowano mediane.

Właśnie ćwiczę i porównuje różne metody i dochodzę do tego samego wniosku

Co do metody sigma cliping to czytałem, że do osiągnięcia przyzwoitych rezultatów należy zastosować nim 11 - 15 klatek.

Edytowane 4 Października 2009 przez JaLe