Jakie ISO w lustrzankach?

astroccd · 7 Listopada 2011

Pozwoli kolega że nie ze wszystkim się zgodzę, hot-piksele to nie prąd ciemny, określił bym je popsutymi pikselami dla których wartość prądu ciemnego jest tysiące razy większa niż normalnie.

Warto kupować astro-kamerki nie dlatego że są chłodzone, tylko dla tego że mają specjalnie wyselekcjonowane matryce pod względem małej ilości hot-pikseli, natomiast do aparatów cyfrowych pchane jest byle co, przykład z Nikona 995 i jego matryca ICX252AK posiadająca tak dużo hot-pikseli że nie sposób znaleźć choćby fragmentu 2x2 czystego od nich w porównaniu do identycznej pod względem rozmiaru i gęstości matrycy ICX262AQ z astro kamerki gdzie ilość hot-pikseli jest tak mała że spokojnie można odszukać fragmenty 100x100, a nawet 400x300 bez nich. Taka matryca z astro-kamerki naświetla się jednolicie od prądu ciemnego zupełnie jak by to było światło light pollution, właśnie po to jest chłodzona by ten prąd ciemny zmniejszyć, gdyż nie da się go zmniejszyć poprzez darki, bo jest to szum identyczny do tego od światła, który na każdej klatce jest inny, więc darkiem się go nie odejmie.

Na matrycach z bardzo małą ilością hot-pikseli nie polecam odejmowania darków, gdyż z powodzeniem można je zamapować, natomiast odjęcie darka zawsze spowoduje wzrost szumu odczytu o 1.41x.

Hot-piksele określam jako popsute piksele dla których wartość prądu ciemnego jest tysiące razy większa niż normalnie z tendencją do zmiany tej wartości, przykładowo przez kilka sekund może być to wartość 100x większa, a przez kilka następnych 1000x większa nie dając nam szans na poprawne odjęcie darka. Od jakości matrycy zależy nie tylko liczba hot-pikseli, ale też procent tych trzymających stałą wartość prądu ciemnego w stosunku do tych zmieniających tą wartość. Podobno w nowszych wersjach lustrzanek Canona wprowadzono odejmowanie darków 2 generacji, polegającej na nie resetowaniu matrycy przed odjęciem darka, gdyż po resecie za każdym razem układ hot pikseli mógłby być nieco inny.

Napiszę o szumie białym gdyż taki jest generowany przez fluktuacje fotonów i szumy odczytu, można poczytać o nim na Wikipedii czym się różni od np.: różowego. Szum biały ma taki sam rozkład dla każdej częstotliwości, rozpatrywanej liniowo, przykładowo w próbce dźwięku o zakresie 10Hz-20Hz jest tyle samo szumu białego co w zakresie 100Hz-110Hz. Jednak nasze zmysły postrzegają częstotliwości logarytmicznie nie liniowo, dlatego zmiana częstotliwości z 10Hz na 20Hz będzie równoznaczna ze zmianą 100Hz na 200Hz byśmy odczuli zmianę częstotliwości o taki sam stopień. Zauważmy że zakres częstotliwości 100-200Hz pomieści więcej szumu niż zakres 10-20Hz dlatego szum biały wydaje się nam zawierać więcej częstotliwości wysokich. Moc szumu białego w muzyce rośnie o 3db z każdym 2 krotnym wzrostem częstotliwości. Jeszcze inaczej jest z obrazem gdyż na obrazie mamy dwie osie x i y, każdy 2 krotny wzrost częstotliwości generuje szum o 6db większy czyli o amplitudzie 2x większej. Nasze oczy słabo jednak widzą wysokie częstotliwości, znacznie lepiej niższe, jeśli na obrazie mamy duży przedmiot nie uda nam się go zamazać wysokimi częstotliwościami, aby zupełnie przestał być widoczny, należy do tego użyć niższych częstotliwości. Szum biały na obrazie zawiera 2x mniej szumu dla każdego 2 krotnego obniżenia częstotliwości, czy zatem uda nam się zamazać kwadrat o boku 100x100 i jasności 100 szumem białym o wartości standard deviation 100? Otóż nie, kwadrat dalej będzie widoczny. Metoda pomiaru szumu przy pomocy algorytmu standard deviation, nie jest zbyt trafiona gdyż nie odnosi się do częstotliwości.

Hot-pikseli nie zaliczał bym do szumu białego, moim skromnym zdaniem zawierają tylko wysokie częstotliwości, choć niezbyt ładnie wyglądają, nie są w stanie całkowicie zamazać obiektu, można się ich całkowicie pozbyć stosując filtr dolnoprzepustowy, czego nie uda nam się w przypadku szumu białego.

Kilka algorytmów dodawania szumów białych, sqrt(X1^2 + X2^2 + X3^2 + ... + Xn^2)

Jeśli na obrazie mamy szum odczytu o wartości 30, szum prądu ciemnego 10 i szum fotonowy 20 to łączna wartość szumu wyniesie:

sqrt(30^2+10^2+20^2)=sqrt(900+100+400)=sqrt(1400)=37,41.

Dodając 100 klatek o szumie odczytu 30 otrzymamy:

sqrt(30^2*100)=sqrt(900*100)=sqrt(90000)=300

Co prawda szum zwiększył się 10-cio krotnie, ale sygnał z obiektu wzrośnie 100 krotnie, więc mamy 10-cio krotną poprawę stosunku sygnał szum.

W wyniku stackowania często też dochodzi do redukcji wysokich częstotliwości bez zmniejszania wartości niskich, jeśli ktoś używa tego samego darka dla wszystkich klatek co nie jest prawidłowe, a przypadkowo posiada duże błędy prowadzenia, które próbuje software'owo korygować to mimo używana tego samego darka doprowadzi do uśrednienia wysokich częstotliwości bez redukcji niskich.

Podobna sytuacja dla planeciarzy nie stosujących flatów, minimalne różnice nanoszenia ilości kolorowego pigmentu w mikro filterkach w pikselach prowadzi do powstania swoistego szumu, który można by zredukować flatem. Jeśli planeciarz nie stosuje flatów, a uśrednia dużą ilość klatek minimalnie przesuniętych względem siebie, pozbywa się szumu na wysokich częstotliwościach nie redukując go na niskich.

Dyoda · 7 Listopada 2011

O Matko głowa mnie już rozbolała. Jeśli dobrze rozumiem to:

-zestackować do master darka tyle darków co lightów najlepiej ok 30

-zestackować do master biasa tyle biasów ile mam zrobione

-odjąć od każdego lighta zrobionego master darka

-odjąć od każdego lighta zrobionego master biasa

-i dopiero na koniec zestackować lighty

Wszystko po to żeby nie odejmować od zestackowanej gotowej foty darków a żeby już na wstępie odjąć od każdego lighta wartość uśrednioną darków.

Tylko niech mi ktoś napisze który program to tak zrobi bo ręcznie to ja się z tym pierniczył nie będę.

A jak z tymi darkami jak wielką trzeba by stworzyć bibliotekę do każdego ISO i co stopień Celsjusza czy wystarczy co 2,3 a nawet 5 ?

Mądre głowy wyjaśnijcie mi to proszę po ludzku nie mam magistra z fizyki :Boink:

ZbyT · 7 Listopada 2011

Tylko niech mi ktoś napisze który program to tak zrobi bo ręcznie to ja się z tym pierniczył nie będę.

wszystkie programy tak to właśnie robią, a całe zamieszanie było tylko po to by wyjaśnić jak to działa i jakie stosować czułości oraz dlaczego należy robić dużo darków zamiast jednego

do stackowania można używać różnych algorytmów, które lepiej lub gorzej radzą sobie z szumami i wydobywaniem informacji. Ja dla przejrzystości opisałem najprostszy z możliwych bo jest intuicyjnie zrozumiały

chciałem uniknąć skrótów i nudnych, nic nie mówiących wzorów

mogłem oczywiście posłużyć się dyskretną transformatą Fouriera by opisać widmo szumów, omówić związek charakteru szumów ze statystyką lub twierdzenia Shannona i Nyquista tylko kto by to zrozumiał? ... sam tego nie rozumiem :szczerbaty:

szumów możemy się pozbyć jeszcze innymi metodami. Ostatnio bardzo popularna jest dekonwolucja czyli oddzielenie szumów od sygnału przez ich "rozplątanie". Ta metoda również opiera się na statystycznych własnościach szumu

standard deviation

tak trudno napisać odchylenie standardowe?

pozdrawiam

astroccd · 10 Listopada 2011

tak trudno napisać odchylenie standardowe?

Nie ma zbyt dużo spolszczonych programów do takiej analizy, ani polskich stron WWW z taką analizą, lepiej używać angielskich terminów.

Chciałem jeszcze napisać że niema różnicy między odejmowaniem sumy np.: 100 darków od każdej pojedyńczej fotki ze 100 fotek, a odejmowaniem od jednej fotki (ze 100) za każdym razem innego pojedynczego darka. Więc warto używać funkcji aparatu do automatycznego odejmowania darków, te powinno się robić natychmiast po zrobieniu fotki.

W przypadku gdy na fotce mamy dosłownie 1 lub kilka hot-pikseli straty jakości wynikłe z odejmowania darków są równoznaczne z utratą połowy materiału, przykładowo stackując 100 fotek w przypadku odjęcia 100 darków będziemy mieli jakość jak po zestackowaniu 50 fotek, gdyż standard deviation wzrośnie o 1.41x. Inna sprawa to czas potrzebny na uzyskanie darków, który spowoduje że spadnie nam ilość fotek do połowy, uzyskamy 50 fotek i 50 darków o jakości stackowania 25 klatek. Czyli mamy 4 krotne straty materiału. A nawet jak za chwilę wyjaśnię większe, gdyż po odjęciu darka połowa jego zawartości osiąga ujemne wartości i potrzeba specjalnego softu żeby ujemne wartości nie zostały obcięte, w przypadku obcięcia wartości ujemnych stracimy połowę informacji z tych 25% co mieliśmy. Istnieją co prawda specjalne 16 bitowe pliki FITS składające się z 15 bit ujemnych i 15 bit dodatnich, ale są ciężkie do stosowania, gdyż ograniczają nam połowę dynamiki 16 bitowej kamery.

Jeden lub kilka hot-pikseli moglibyśmy z powodzeniem zamapować, gdyby nie bias, co prawda występuje on tylko na CCD, ale to właśnie CCD charakteryzują się małą ilością hot-pikseli z możliwością ich zamapowania. Taki oto sposób na master bias znalazłem w sieci: należy darka o rozdzielczości np.: 640x480 przeskalować bindując do 640x1 i potem z powrotem do 640x480 otrzymamy uśrednione wartości linii pionowych z jednego tylko darka.

milosz · 10 Listopada 2011

Nie ma zbyt dużo spolszczonych programów do takiej analizy, ani polskich stron WWW z taką analizą, lepiej używać angielskich terminów.

Chciałem jeszcze napisać że niema różnicy między odejmowaniem sumy np.: 100 darków od każdej pojedyńczej fotki ze 100 fotek, a odejmowaniem od jednej fotki (ze 100) za każdym razem innego pojedynczego darka. Więc warto używać funkcji aparatu do automatycznego odejmowania darków, te powinno się robić natychmiast po zrobieniu fotki.

Różnica jest zasadnicza. Odejmując 'dark frame' chcemy usunąć szum termiczny, który z natury będzie losowy. Więc odejmując jedną ciemna klatkę spowodujemy że wynikowy szum wzrośnie a SNR spadnie.

W przypadku gdy na fotce mamy dosłownie 1 lub kilka hot-pikseli straty jakości wynikłe z odejmowania darków są równoznaczne z utratą połowy materiału, przykładowo stackując 100 fotek w przypadku odjęcia 100 darków będziemy mieli jakość jak po zestackowaniu 50 fotek, gdyż standard deviation wzrośnie o 1.41x. Inna sprawa to czas potrzebny na uzyskanie darków, który spowoduje że spadnie nam ilość fotek do połowy, uzyskamy 50 fotek i 50 darków o jakości stackowania 25 klatek. Czyli mamy 4 krotne straty materiału. A nawet jak za chwilę wyjaśnię większe, gdyż po odjęciu darka połowa jego zawartości osiąga ujemne wartości i potrzeba specjalnego softu żeby ujemne wartości nie zostały obcięte, w przypadku obcięcia wartości ujemnych stracimy połowę informacji z tych 25% co mieliśmy. Istnieją co prawda specjalne 16 bitowe pliki FITS składające się z 15 bit ujemnych i 15 bit dodatnich, ale są ciężkie do stosowania, gdyż ograniczają nam połowę dynamiki 16 bitowej kamery.

Dark frame nie służy do usuwania hot pixeli. To dzieję się 'przy okazji'.

FITS w standardzie stosuje zapis ze znakiem. Jeżeli chce się uzyskać 16 bitowy zapis bez znaku (0-65k) to trzeba stosować shift, czyli ustawiać 'zero' na wartość różną od zera. W nagłówku pliku FITS jest keyword 'BZERO', który za to odpowiada.

Jeden lub kilka hot-pikseli moglibyśmy z powodzeniem zamapować, gdyby nie bias, co prawda występuje on tylko na CCD, ale to właśnie CCD charakteryzują się małą ilością hot-pikseli z możliwością ich zamapowania. Taki oto sposób na master bias znalazłem w sieci: należy darka o rozdzielczości np.: 640x480 przeskalować bindując do 640x1 i potem z powrotem do 640x480 otrzymamy uśrednione wartości linii pionowych z jednego tylko darka.

Bias - czyli szum odczytu - występuje we wszystkich matrycach, nie tylko w CCD. Można sie spierać, czy odejmując dark frame odejmujemy równocześnie bias. Niemniej bias występuje zawsze.

Pozdrawiam,

milosz

Adam_Jesion · 10 Listopada 2011

Ja od dawna nie używam darków. W przypadku przyzwoitych kamer wystarczy robić klatki z lekkim przesunięciem i potem stackować metodami z redukcją (median, SD-mask, etc.). Wtedy nie trzeba wpadać w dylematy

milosz · 10 Listopada 2011

Ja od dawna nie używam darków. W przypadku przyzwoitych kamer wystarczy robić klatki z lekkim przesunięciem i potem stackować metodami z redukcją (median, SD-mask, etc.). Wtedy nie trzeba wpadać w dylematy

To samo zauważyłem u siebie. Najważniejszy jest bias, bo ma znaczący 'wzór' (żeby nie napisać 'pattern' ). Przy krótszych czasach nie widze znaczącej różnicy między darkiem a biasem. Przy naświetlaniu powyżej 10 minut, średni poziom darka jest wyższy, ale poza tym dark nic nie wnosi.

Pozdrawiam,

milosz

ZbyT · 10 Listopada 2011

wcale się nie dziwię

macie chłodzone kamery więc szumy termiczne są znacząco mniejsze niż w lustrzankach bez chłodzenia

gęstość swobodnych nośników bardzo silnie zależy od temperatury bo im jest niższa tym mniej atomów ma wystarczającą energię termiczną by nadać elektronom energię wystarczającą do przeniesienia ich ponad pasmo zabronione

do tego czułość kamer mono jest większa, a przetwornik A/D ma 16 bitów

trudno się dziwić, że stosujecie inne strategie fotografowania i obróbki zdjęć

każdy sprzęt ma swoją specyfikę i stąd inne podejście

pozdrawiam

bamus · 10 Listopada 2011

no to rozumiem, że w lustrzankach dalej walimy darków najwięcej jak się da?

ZbyT · 10 Listopada 2011

weźmy jakiś jeden piksel, powiedzmy X

na każdej klatce light oprócz sygnału na tym pikselu zarejestrował się szum, a szum jak to szum to na każdej klatce ma inną wartość

na darku też jest szum i na pikselu X też ma jakąś wartość

przyjmijmy, że na darku ta wartość to D

na kolejnych klatkach na pikselu X niech to będzie X_i

od każdej klatki odejmujemy darka wiec mamy X_i - D

policzmy teraz średnią

(X₁ - D + X₂ - D + ... + X_n - D)/n = (X₁ + X₂ + ... + X_n - nD)/n =

=(X₁ + X₂ + ... + X_n)/n - nD/n = (X₁ + X₂ + ... + X_n)/n - D

od średniej (lub innej wartości zależnej od algorytmu stackowania) odejmujemy losową wartość piksela z darka

na sąsiednim pikselu ta wartość będzie również losowa czyli od naszej zestackowanej fotki odejmujemy szum z jednego darka, a nie wartość średnią szumu czyli wartość stałego tła termicznego, a przecież na zestackowanej fotce mamy już nie szum ale jego uśrednioną wartość

rzeczywiste algorytmy nie liczą średniej ale np. medianę czyli taką wartość, dla której jest tyle samo pikseli zawierających wartość niższą jak i wyższą co pozwala zmniejszyć wpływ ekstremalnych niepowtarzalnych wartości (np. jeśli większość wartości oscyluje wokół 50 a jedna wynosi 1000 co może poważnie zawyżyć średnią ale nie wpływa na medianę)

pozdrawiam

PS

to też było w uproszczeniu by było łatwiej zrozumieć

astroccd · 14 Listopada 2011

Bias - czyli szum odczytu - występuje we wszystkich matrycach, nie tylko w CCD. Można sie spierać, czy odejmując dark frame odejmujemy równocześnie bias. Niemniej bias występuje zawsze.

Moim zdaniem im więcej uśrednimy darków tym mniej mamy szumu odczytu, a więcej Biasu, na CCD widać charakterystyczne pionowe linie oraz pionowy gradient, powstające podczas wędrówki elektronów. Ładunek w matrycach CMOS nie wędruje, jednak występują różnice pomiędzy "miernikami" sygnału, których jest tyle samo co pikseli, co widać na zdjęciach ze strony http://www.starlight-xpress.co.uk/CoStar.htm Nie ma tam gradientu za to są poziome linie.

Chociaż tak na prawdę podawany szum odczytu jest sumą biasu i szumu odczytu.

Samego biasu w szumie odczytu od CCD jest mało, najbardziej wartości szumu odczytu podnosi gradient, wystarczy się przyjrzeć metodzie pomiaru stadard deviation http://en.wikipedia.org/wiki/Standard_deviation by wywnioskować że sam gradient nie zawierający szumu da nam duże wartości tak jak by było tam dużo szumu. Dlatego występują tak duże różnice między "total noise" czyli szumowi z całej matrycy, a tylko małym fragmentem gdzie udział gradientu jest znikomy.

Edytowane 14 Listopada 2011 przez astroccd