Sygnał poniżej szumu - dywagacje

[Kapitan Cook]

@Behlur_Olderys Znalazłem gdzieś Twój stary wątek o SNR i szumie i mam takie pytanie.

 

Dałbyś radę wyliczyć  jak będzie kształtował SNR fragmentu jakiegoś obiektu gdzie jego sygnał jest słabszy od szumu? Kiedy jego SNR zbliży się do poziomu jasnych mgławic.

 

Fajnie gdyby zrobić to na prawdziwym przykładzie, Teleskop 300mm f4.0

 

1) Laguna, ASI2600MM -15C, Bortle 0, klatki 300s, gain z mozliwie najniższym szumem odczytu

 

2) Simeis 147, Canon 1100D, Bortle 6, klatki 30s, ISO1600

 

Byłbym bardzo wdzięczny gdybyś rozpisał całe równanie tak abym sam mógł później mniej lub bardziej nieudolnie wyliczyć SNR.

 

Chodzi mi głównie o odpowiedź czy w ogóle da się dojść do takiego samego poziomu SNR i ile to zajmie łącznego czasu.

 

Boję się o odpowiedź w stylu 100 000h

[ProTerran]

Z samej natury problemu jeżeli sygnał jest poniżej szumu to nie można go odczytać. Fajnie, że mogłem pomóc!

[Kapitan Cook]

@ProTerran No właśnie jak zacząłem czytam różne źródła to nie wiem jak jest. Na tą chwilę przyjmuję że na pojedynczej klatce to nie możliwe ale jeśli tych klatek będzie dostatecznie dużo to w końcu się ujawni.

[ProTerran]

Tak, jest sporo metod poprawiania SNR, między innymi stackowanie zdjęć lub wydłużanie ekspozycji lub odfiltrowywanie szumu tła itd. Generalnie co do zasady, jeżeli chcesz odczytać jakiś dowolny sygnał to musi on być powyżej poziomu szumu zastosowanej metody.

Edytowane 7 Grudnia 2021 przez ProTerran

[Behlur_Olderys]

@Kapitan Cook  

żądasz ode mnie niemożliwego

 

Pamiętaj, że SNR to tylko taka liczba: nikt się tym nie kieruje bezpośrednio w planowaniu sesji. Dużo prościej jest pooglądać zdjęcia z różnych zestawów i różnych miejscówek żeby gdzieś tam intuicyjnie sobie to mniej więcej określić: ile muszę palić

 

Jedyne, co można oszacować to stosunek SNR między tymi dwoma przykładami.

Ale trzeba byłoby znać stosunek jasności Laguny do Simeisa oraz specyfikację aparatu - bo ISO1600 to mi nic nie mówi.

Bortle 6 to też nie do końca wiem, co to znaczy w wartościach bezwzględnych.

 

koniec końców dużo się naliczysz, a i tak nie będzie do końca wiadomo, czy to ma związek z rzeczywistością.

 

A jeszcze dochodzi fakt, że teoretycznie robiąc resize 0.5x powodujesz wzrost SNR x2. Potrafisz to zauważyć?

 

BTW: lepiej nie grzeb w moich starych postach, bo wtedy nie miałem dzieci, za to miałem dużo czasu a mało kasy (bo bez 500+) więc stać mnie było tylko na teoretyzowanie 

 

[Kapitan Cook]

@Behlur_OlderysAle ty jesteś ostatnią nadzieją ! Co się stanie z sygnałem w obliczu większego od niego poziomu szumu ? Mamy klatkę 60s i tylko 1 elektron na 1 pikselu, szum niech będzie 5 elektronów na sekundę.

Czy ten 1 elektron będzie dodany do szumu i spowoduje podniesienie wartości piksela o 1 i tym samym zostanie ujawniony w stacku ?

[Behlur_Olderys]

4 minuty temu, Kapitan Cook napisał:

@Behlur_OlderysAle ty jesteś ostatnią nadzieją ! Co się stanie z sygnałem w obliczu większego od niego poziomu szumu ? Mamy klatkę 60s i tylko 1 elektron na 1 pikselu, szum niech będzie 5 elektronów na sekundę.

Czy ten 1 elektron będzie dodany do szumu i spowoduje podniesienie wartości piksela o 1 i tym samym zostanie ujawniony w stacku ?

 

Nie można szumu fotonowego sobie zakładać w kategoriach 5e/s. Liczy się tylko sygnał, a szum jest jego pochodną.

 

Masz źródło emitujące 1 foton na minutę - średnio. Możesz sobie łatwo wyobrazić, że robiąc 60s klatki na niektórych będziesz miał tego fotona, na niektórych nie, a nawet zdarzy się kilka z dwoma fotonami. Już darujmy sobie prawdopodobieństwo 3 na raz

Załóżmy też dla uproszczenia QE=100%.

 

Powiedzmy, że 40% będzie klatek "pustych", 50% z jednym fotonem a 10% z dwoma.

Szum przejawia się na dwa sposoby:

1. na niektórych klatkach będziesz miał 0, a na innych 1 albo 2 fotony (czasowo)

2. na niektórych pikselach będziesz miał 0, a na innych 1 albo 2 fotony (przestrzennie).

Zrób 100 klatek i dodaj do siebie (stackowanie). Otrzymasz sygnał około 70, a więc SNR będzie ok. 8.3 - całkiem niezły, w sensie: już coś tam będzie widać.

Pytanie ile tam będzie jeszcze LP?

Jeśli LP będzie dostarczało 5000e/s to nawet na tych 100 klatkach sygnał obiektu (70) nie wyjdzie poza szum LP (70,7).

 

I akurat takie rzeczy (ile e/s rejestruje kamera) można łatwo zmierzyć naświetlając klatkę przez minutę i badając wartości pikseli

Dochodzi oczywiście jeszcze offset i szumy termiczne itp. ale to już dużo bliższe rzeczywistości niż to, o co wcześniej pytałeś

 

 

[Kapitan Cook]

Wielkie Dzięki za odpowiedź ! A teraz dodajmy szumy termiczne i offset i niech wyjdzie nawet 10 000e/s

Czy koniec końców sygnał na stacku się ujawni ?

[kubaman]

Pytanie praktyczne - intresuje Cię czy sygnał się ostatecznie ujawni czy się ujawni na tyle byś go mógł ciągnąć za włosy na maksa by uzyskać efekt estetyczny? Jeśli to drugie to kieruj się zdrowymb rozsądkiem przy dobieraniu  ustawień sesji, bo za dużo masz zmiennych nieobiektwnych.

[Behlur_Olderys]

6 godzin temu, Kapitan Cook napisał:

Wielkie Dzięki za odpowiedź ! A teraz dodajmy szumy termiczne i offset i niech wyjdzie nawet 10 000e/s

Czy koniec końców sygnał na stacku się ujawni ?

 

Dziwne pytanie. A jak myślisz?

 

Przy poziomie wszystkich dodatkowych sygnałów na poziomie 5000e/s sygnał od obiektu "przebije" się dopiero po zrobieniu 100klatek.

Jeśli będzie to 10000e/s (czyli 2x więcej) to oczywiście osiągniesz ten efekt po około 140 klatkach (100x1.4, pierwiastek z 2)

 

Ale ogólnie to @kubamanma rację choć zdrowy rozsądek to w tym przypadku głównie doświadczenie

 

Offset to taka stała dodawana do wszystkich pixeli. Trzeba go znać, jeśli chce się później coś liczyć na podstawie zdjęć.

 

 

[szuu]

10 godzin temu, ProTerran napisał:

Z samej natury problemu jeżeli sygnał jest poniżej szumu to nie można go odczytać. Fajnie, że mogłem pomóc!

sygnały jakie odbieramy od satelitów GPS są poniżej szumu.

z samej natury problemu system GPS nie może działać.

fajnie że mogłem pomóc! 

[ProTerran]

5 minut temu, szuu napisał:

sygnały jakie odbieramy od satelitów GPS są poniżej szumu.

z samej natury problemu system GPS nie może działać.

fajnie że mogłem pomóc! 

@szuuMógłbyś to rozwinąć? Moim zdaniem taka rewelacja klasyfikuje się do przyznania nagrody Nobla. Jeżeli coś jest poniżej szumów to jak niby chcesz ten sygnał wykryć? Nie widzisz tutaj pewnej logicznej sprzeczności?

Edytowane 8 Grudnia 2021 przez ProTerran

[Kapitan Cook]

@kubaman Chodzi mi o to czy dysponując ograniczonym czasem 1 klatki 120s wyciągnę tak samo estetyczne zdjęcie jak ktoś naświetlając 30min suby. Ze wzórów na SNR wychodzi że tak, więc wg mnie musi być zmienna która jest pominięta w obliczeniach. W ogóle ze wzorów wychodzi na to że wszelkie szumy są praktycznie nie istotne. A już najbardziej dziwi mnie że na całym cloudynights nigdzie nie ma wątku np 10-30s w NB. Naprawdę nikogo na świecie to nie interesuje ?

 

[Behlur_Olderys]

8 minut temu, Kapitan Cook napisał:

nigdzie nie ma wątku np 10-30s w NB

Próbowałem M27 w OIII robić 10s teleskopem 130/650. Nic nie było widać  

[Kapitan Cook]

@Behlur_Olderys Musimy zaraz stworzyć pod excela prawidłową formułę uwzględniającą co się da ! Póki co próbowałem na 2 plikach. Zmodowanym od @count.neverest i od ClarkVision. W tym pierwszym wychodziły bardziej sensowne rzeczy, w drugim w zasadzie 6s subami możesz zrobić to samo co 3600s bez względu na wszelkie szumy.

 

z tymi 30s NB zupełnie nic nie wyszło, żadnego najmniejszego śladu ?

 

 

 

 

Skrajnie różne podejścia . Matematycznie wychodzi że wyjdzie to samo po określonym czasie. Czy wszystko się tu zgadza ?

 

 

 

Tutaj wychodzi że w takich samych warunkach wystarczy zrobić 2 x więcej 10 s klatek i mamy materiał jak z 1200s subów. Widzę ale nie wierzę

Edytowane 8 Grudnia 2021 przez Kapitan Cook

[Behlur_Olderys]

37 minut temu, Kapitan Cook napisał:

wystarczy zrobić 2 x więcej 10 s klatek i mamy materiał jak z 1200s subów. Widzę ale nie wierzę

Nie przekonuje Cię oczywisty zysk z możliwości palenia materiału 2x krócej?

 

30s może przesadzam, majaczyło już coś po rozciągnięciu histogramu. Ale na 10s klatce było czarno. Dopiero jak się nazbierało godzinkę to było ładnie widać na stacku...

 

PS na papierze tak wychodzi a w rzeczywistości.... no powodzenia ze stackowaniem 14800 klatek po 20MB

[Kapitan Cook]

Teraz, Behlur_Olderys napisał:

Nie przekonuje Cię oczywisty zysk z możliwości palenia materiału 2x krócej?

 

30s może przesadzam, majaczyło już coś po rozciągnięciu histogramu. Ale na 10s klatce było czarno. Dopiero jak się nazbierało godzinkę to było ładnie widać na stacku...

 

A widzisz, czyli jednak mleko samo się nie rozlało tylko kot mu pomógł

 

I to jest właśnie sedno problemu. Wzory swoje, nierzetelne obserwacje swoje a później mity się szerzą

 

Chodzi mi o to że jednak coś tam się zarejestrowało Czy mnie nie przekonuje zysk z możliwości palenia krócej materiału? Przekonuje, ale jeszcze bardziej przekonuje mnie że przy 10s vs 1200s różnica wynosi tylko 2 razy. Czyli w teorii po co kupować drogie montaże skoro EQ5 pociągnie przez 10s w zasadzie każdą użyteczną skalę w naszych warunkach.

[rambro]

9 minut temu, szuu napisał:

sygnały jakie odbieramy od satelitów GPS są poniżej szumu.

z samej natury problemu system GPS nie może działać.

fajnie że mogłem pomóc! 

W GPS jest stosowane rozpraszanie widma a po stronie odbiornika sygnał odpowiednio odtwarzany. Tutaj mamy sygnał, na którego emisję nie mamy wpływu. Stackowanie np. średnią to w praktyce dodawanie. Sygnał się dodaje, a losowy szum uśrednia. Jak dodamy odpowiednio dużo klatek to S/N wzrośnie na tyle, że zobaczymy słaby obiekt, który był poniżej poziomu szumu na pojedynczej ekspozycji.

 

3 minuty temu, Kapitan Cook napisał:

@kubaman Chodzi mi o to czy dysponując ograniczonym czasem 1 klatki 120s wyciągnę tak samo estetyczne zdjęcie jak ktoś naświetlając 30min suby. Ze wzórów na SNR wychodzi że tak, więc wg mnie musi być zmienna która jest pominięta w obliczeniach. W ogóle ze wzorów wychodzi na to że wszelkie szumy są praktycznie nie istotne. A już najbardziej dziwi mnie że na całym cloudynights nigdzie nie ma wątku np 10-30s w NB. Naprawdę nikogo na świecie to nie interesuje ?

 

Jeżeli filtr ma np. 3nm a całe pasmo 400-700nm wynosi 300nm to LP zmaleje około 100 razy. Nie ma sensu palić w NB 10-30 sekund bo mamy bardzo mało LP i dużo tracilibyśmy na SN pojedynczej klatki.

 

Co do tych exceli to SN stacka jest równy SN stack= sqrt (n) * SN pojedynczej klatki, n  - ilość klatek. W podpisie widać wzór bez pierwiastka. Nie ma tak dobrze że SN rośnie liniowo z ilością klatek. Jak to dla pierwiastka zysk jest coraz mniejszy. Aby zwiększyć SN dwukrotnie trzeba wypalić 4 x więcej materiału.

[Kapitan Cook]

15 minut temu, rambro napisał:

Co do tych exceli to SN stacka jest równy SN stack= sqrt (n) * SN pojedynczej klatki, n  - ilość klatek. W podpisie widać wzór bez pierwiastka. Nie ma tak dobrze że SN rośnie liniowo z ilością klatek. Jak to dla pierwiastka zysk jest coraz mniejszy. Aby zwiększyć SN dwukrotnie trzeba wypalić 4 x więcej materiału.

 

Właśnie o to mi chodzi tylko teraz excelu nie mogę tego ustawić. Czy ktoś mógłby pomóc ?

 

kalkulator szumu.ods

[MateuszW]

3 godziny temu, Kapitan Cook napisał:

Tutaj wychodzi że w takich samych warunkach wystarczy zrobić 2 x więcej 10 s klatek i mamy materiał jak z 1200s subów. Widzę ale nie wierzę

Z punktu widzenia szumu tak. Ale są inne istotne kwestie. Po pierwsze, np na klatce 10 s w Ha nie będzie widać nic, program stackujący nie będzie w stanie wykryć gwiazd i nie będzie się dało nic z tym zrobić. Po drugie będziesz miał terabajt danych zajmujący dysk i wiele godzin na stackowanie. Po trzecie, na krótkich klatkach uwidaczniają się też inne defekty matrycy, jak np FPN, których trudno się pozbyć w obróbce.

Ogólnie rzecz biorąc, długość czasu ekspozycji to zawsze kwestia kompromisu zależnego od mnóstwa czynników.

Edytowane 8 Grudnia 2021 przez MateuszW

[zaratustra1569]

W dniu 8.12.2021 o 00:30, ProTerran napisał:

Z samej natury problemu jeżeli sygnał jest poniżej szumu to nie można go odczytać. Fajnie, że mogłem pomóc!

To jakiś absurd. Wtedy GPS by nie działał. Ponadto nie odczytujemy ani sygnału, ani szumu, tylko ich sumę. I znowu, zawsze mozna odczytać, bo jakby nie bylo mozna odczytac, to by nie było odczytu. (fajnie, że mogłem pomóc)

 

Sygnał rośnie liniowo, szum jak pierwiastek. ZAWSZE można wydobyć sygnał z szumu. 

 

Przykład: szum o sredniej 0 i wariancji 100. Sygnał o wartości 1 (10x mniejszy od odchylenia szumu). I co?

 

Jedna paczka: SNR = 1/10.

100 paczek: SNR = 1.

10000 paczek: SNR = 10

etc.

 

Głównym problemem w tym zagadnieniu w astrofotografii  jest estymacja średniego szumu, który trzeba później odjąć. I wszelkie nielosowe problemy oraz kwantyzacja. Jednakże astrofotografowie wyciągają CIĄGLE sygnał "spod szumu". Wystarczy spojrzec na klatki, które nie pokazują nawet śladu np IFN-u, a stack uwidacznia go dobrze.

 

(fajnie, że mogłem pomóc)

[ProTerran]

@zaratustra1569Myślę, że kolega po prostu nie wie o czym pisze. Jeżeli w danym ustawieniu sygnał jest poniżej szumu to znaczy, że nie da się tego sygnału wydobyć i trzeba zmienić coś w ustawieniach, tak aby stosunek sygnału do szumu umożliwiał jego detekcję. Zostało już tutaj i w wielu innym miejscach napisane jak to się robi, czyli np. wydłuża ekspozycję, składa obraz z wielu ekspozycji, używa lepszych kamer z chłodzeniem i mniejszym szumem odczytu, stosuje się filtry, które wycinają niepożądane spektrum widma, przenosi obserwacje w takie miejsca gdzie zaszumienie tła/nieba jest mniejsze.

 

Zatem nie jest to żaden absurd tylko definicja zjawiska, którego generalnie 99% osób tutaj nie rozumie, wliczając szanownego internetowego kolegę.

Edytowane 9 Grudnia 2021 przez ProTerran

[zaratustra1569]

12 minut temu, ProTerran napisał:

@zaratustra1569Myślę, że kolega po prostu nie wie o czym pisze. Jeżeli w danym ustawieniu sygnał jest poniżej szumu to znaczy, że nie da się tego sygnału wydobyć i trzeba zmienić coś w ustawieniach, tak aby stosunek sygnału do szumu umożliwiał jego detekcję. Zostało już tutaj i w wielu innym miejscach napisane jak to się robi, czyli np. wydłuża ekspozycję, składa obraz z wielu ekspozycji, używa lepszych kamer z chłodzeniem i mniejszym szumem odczytu, stosuje się filtry, które wycinają niepożądane spektrum widma, przenosi obserwacje w takie miejsca gdzie zaszumienie tła/nieba jest mniejsze.

Same mądrosci. Zaszumienie nieba? That's a thing? Wow.

 

12 minut temu, ProTerran napisał:

 

Zatem nie jest to żaden absurd tylko definicja zjawiska, którego generalnie 99% osób tutaj nie rozumie, wliczając szanownego internetowego kolegę.

 

Ja myślę, że to nowy tutejszy Szanowny Trol ma tzw. "kiepską kindersztubę". Polecam zapoznać się ze statystyką. Zawsze, podkreślam, zawsze można wydobyc powtarzajacy sie sygnał z dowolnej paczki z szumiacym tłem (czasem jest to po prostu strasznie mało efektywne).

 

Zdanie typu: "jak w szumie to sie z definicji nie da odczytać" to żenada. Wtedy nie słyszelibysmy rozmów na dyskotece czy na weselu. Bardzo proszę Pana Kolegę tak nie mówić!

 

Polecam krotki lookup i edukacje w teorii sygnałów. Moze pomoze! (ale pewnie nie, raczej regularne kompromitacje wynikają z "Kolegi" trudnosci w poprawnym przyswajaniu nauk ścislych). Wyższy SNR zawsze jest lepszy, ale takie stwierdzenia "że z definicji sie nie czyta" to profanum podstaw statystyki. Niezaleznie od wyjsciowego SNR usrednianie zawsze pozbedzie sie szumu, kiedystam. Że w astrofotografii niski SNR nie jest praktyczny... to inna sprawa.

 

[ProTerran]

58 minut temu, zaratustra1569 napisał:

Ja myślę, że to nowy tutejszy Szanowny Trol ma tzw. "kiepską kindersztubę". Polecam zapoznać się ze statystyką. Zawsze, podkreślam, zawsze można wydobyc powtarzajacy sie sygnał z dowolnej paczki z szumiacym tłem (czasem jest to po prostu strasznie mało efektywne).

 

Zdanie typu: "jak w szumie to sie z definicji nie da odczytać" to żenada. Wtedy nie słyszelibysmy rozmów na dyskotece czy na weselu. Bardzo proszę Pana Kolegę tak nie mówić!

 

Polecam krotki lookup i edukacje w teorii sygnałów. Moze pomoze! (ale pewnie nie, raczej regularne kompromitacje wynikają z "Kolegi" trudnosci w poprawnym przyswajaniu nauk ścislych). Wyższy SNR zawsze jest lepszy, ale takie stwierdzenia "że z definicji sie nie czyta" to profanum podstaw statystyki. Niezaleznie od wyjsciowego SNR usrednianie zawsze pozbedzie sie szumu, kiedystam. Że w astrofotografii niski SNR nie jest praktyczny... to inna sprawa.

@zaratustra1569Widzę, że pojawił się kolejny gość z meltdownem, który nie potrafi normalnie dyskutować, tylko musi swoją ignorancję przykryć obrażaniem innych. Trudno, można się przyzwyczaić do takich prostackich manier. A teraz do rzeczy:

Przykład z GPS w bardzo dużym skrócie polega na tym, że nadawana informacja jest emitowana poniżej poziomu szumów odczytu, natomiast jest ona nadawana stale/powtarzalnie w długim czasie, dzięki temu przez wydłużenie czasu integracji odbiornika, który nominalnie może mieć szum odczytu większy, udaje się tę informację wyłuskać i sprawić, że będzie finalnie sygnał powyżej poziomu szumu odczytu (można tak zrobić bo znamy a priori założenia dla systemu, tzn, że dana sekwencja jest właśnie nadawana długo a zjawisko szumu jest stochastyczne). To samo tyczy się każdej innej metody, która wykrywa nominalnie sygnały poniżej poziomów szumów, sprowadzają się one do tego, że dana metoda uwydatnia sygnał do poziomu powyżej szumów i dlatego umożliwia detekcję sygnału. Czego tu kolegi rozumek nie jest wstanie pojąć? Sypanie bezmyślne linkami z Internetu niczego nie zmieni. 

 

Kończąc, aby uciąć tę jałową dyskusję, bo nie rozmawiamy o detekcji sygnałów powtarzalnych tylko o astrofotografii, po prostu niech kolega pokaże jak z kompletnie zaszumionego obrazka jest wstanie wydobyć informację. Tutaj przykładowy obrazek, chętnie się dowiem jakie tam użyteczne sygnały się kryją. Może jakaś fajna nieodkryta mgławica.

Edytowane 9 Grudnia 2021 przez ProTerran

[Mnich85]

16 minut temu, ProTerran napisał:

@zaratustra1569Widzę

Kończąc, aby uciąć tę jałową dyskusję po prostu niech kolega pokaże jak z kompletnie zaszumionego obrazka jest wstanie wydobyć informację. Tutaj przykładowy obrazek, chętnie się dowiem jakie tam użyteczne sygnały się kryją. Może jakaś fajna nieodkryta mgławica.

Widzę że ciekawe tezy są rzucane. Poza tym wszak wszystkie zdjęcia stro można do tego wrzucić- niema nic a nagle pojawi się mgławica.