Jak zasymulować wpływ LP w domowych warunkach ?

[Kapitan Cook]

Chciałbym zrobić eksperyment dla porównania jak LP wpływa zmniejszenie sygnału i ile razy więcej klatek trzeba zrobić aby to ominąć.

Próbowałem w PS na stack nałożyć warstwę z białym kolorem i zmniejszyć krycie aby zasymulować LP. Doszedłem jednak do 99% krycia i nie robi to praktycznie żadnej różnicy.

Ma ktoś pomysł jak przeprowadzić taki eksperyment za pomocą aparatu albo stronę gdzie są konketne wizualne porównania bez ciężkiej mamtetyki ?

[Behlur_Olderys]

18 minut temu, Kapitan Cook napisał:

Chciałbym zrobić eksperyment dla porównania jak LP wpływa zmniejszenie sygnału i ile razy więcej klatek trzeba zrobić aby to ominąć.

Próbowałem w PS na stack nałożyć warstwę z białym kolorem i zmniejszyć krycie aby zasymulować LP. Doszedłem jednak do 99% krycia i nie robi to praktycznie żadnej różnicy.

Ma ktoś pomysł jak przeprowadzić taki eksperyment za pomocą aparatu albo stronę gdzie są konketne wizualne porównania bez ciężkiej mamtetyki ?

 

To nie jest tylko warstwa z kolorem, ale jeszcze z szumem.

Symulacja polegałaby na dołożenie do warstwy z kolorem dodatkowego szumu gaussowskiego na poziomie pierwiastka z wartości średniej.

Czyli dokładasz do każdego piksela np. wartość 100 + szum gausowski sigma=10

[Kapitan Cook]

Okej, i tu zaczyna się to czego nie lubię/nie rozumiem A czemu trzeba by było dołożyć szumu ? Ja na zdjęciu z LP widzę taki sam szum jedynie jest zmniejszony kontrast.

[Piotrek Guzik]

10 minut temu, Kapitan Cook napisał:

Okej, i tu zaczyna się to czego nie lubię/nie rozumiem A czemu trzeba by było dołożyć szumu ? Ja na zdjęciu z LP widzę taki sam szum jedynie jest zmniejszony kontrast.

Bo problemem nie jest dodatkowy stały sygnał, tylko szum. Jeśli nie lubisz matematyki i fizyki i nie masz ochoty się nad tym zastanawiać, to po prostu zaakceptuj, że tak właśnie jest. W dużym skrócie i uproszczeniu można powiedzieć, że fotony nie są emitowane w sposób równomierny tylko losowy, a co za tym idzie docierają do nas także w nierównomiernych odstępach czasu. Sygnał który odczytujesz z danego piksela reprezentuje ilość fotonów, która w niego trafiła. Tyle, że jeśli przychodzą one nierównomiernie, to choć oświetlenie jest równomierne (np. jednolite tło nieba), to w skończonym czasie może się trafić że do jednego piksela trafi ich więcej niż do innego. Ilościowo te nierównomierności są bardzo dobrze przybliżane przez szum gaussowski z odchyleniem standardowym równym pierwiastkowi z sygnału. Innymi słowy, jeśli oświetlisz matrycę w taki sposób, że do każdego piksela wpadnie średnio 100 fotonów, to jeśli weźmiesz potem liczby fotonów zarejestrowane przez wszystkie piksele, zauważysz że pochodzą one z rozkładu gaussowskiego o średniej 100 i odchyleniu standardowym 10, czyli średnio na każdy piksel rzeczywiście przypadnie 100 fotonów, ale całość będzie zaszumiona (szumem gaussowskim o odchyleniu standardowym równym 10).

[Kapitan Cook]

Nie rozumiem skąd przy LP ma być dodatkowy szum . Przecież samo LP też będzie emitowało fotony które trafią na matrycę. Nie da się prościej wytłumaczyć tego o czym mówicie ?

Wpadłem za to na pomysł aby symulować LP w taki sposób że oświetlę lampką kartkę z tekstem a drugą lampkę skieruję w obiektyw tak aby nie było flary ale aby kontrast zmalał.

Będzie trzeba popróbować eksperymentalnie co i jak ustawić, ale powinno dać jakieś ciekawe wyniki.

[Wojsa]

kurcze ja mieszkając w GOPie mam raczej problem z symulacja ciemnego nieba;)

[Kapitan Cook]

@Wojsa możemy się powymieniać stackami

[Piotrek Guzik]

30 minut temu, Kapitan Cook napisał:

Nie rozumiem skąd przy LP ma być dodatkowy szum . Przecież samo LP też będzie emitowało fotony które trafią na matrycę.

 

Każdy sygnał, który odbiera Twoja matryca jest powiązany z szumem. Nieważne, czy jest to sygnał gwiazdy, oświetlonej przez lampkę kartki, czy światła rozproszonego w atmosferze. Skoro nie lubisz matematyki/fizyki, to po prostu zaakceptuj fakt, że tak jest. Jeśli nie potrafisz tego zaakceptować, to musisz przeprosić się z fizyką i matematyką ;).

[MateuszW]

Spróbuję wytłumaczyć to prosto  W naszym zagadnieniu rozumujemy światło jako lecące fotony, takie kulki  Gwiazdy, ale też LP wysyłają ileś tych kulek w losowych kierunkach. Na jeden piksel padnie trochę więcej, na inny mniej. Teraz łopatologiczny przykład  Weź do ręki spray z farbą. Stań 5 metrów od ściany. Naciśnij spray przez 1 sekundę. Na ścianie powstanie jakiś "kleks", kropkowany wzorek. Teraz naciśnij spray dłużej. Kropkowany wzorek zaczyna się wyrównywać, wypełniać, aż plama farby robi się praktycznie jednolita. Można to sobie zasymulować w paincie aerografem. Cząstki / krople farby symbolizują fotony, ściana matrycę. Im dłużej trzymamy spray, tym dłuższy czas naświetlania, a szum spada.

Tak działa każde światło. Nawet teraz, w dzień to światło które widzimy oczami posiada szum. Ale jest go na tyle dużo, że szum jest bardzo mały, nie widać go.

Edytowane 9 Listopada 2021 przez MateuszW

[Kapitan Cook]

Godzinę temu, Piotrek Guzik napisał:

 

Każdy sygnał, który odbiera Twoja matryca jest powiązany z szumem. Nieważne, czy jest to sygnał gwiazdy, oświetlonej przez lampkę kartki, czy światła rozproszonego w atmosferze. Skoro nie lubisz matematyki/fizyki, to po prostu zaakceptuj fakt, że tak jest. Jeśli nie potrafisz tego zaakceptować, to musisz przeprosić się z fizyką i matematyką ;).

 

Zaraz chyba dostałem olśnienia. Czyli chcesz powiedzieć że gdybyśmy zabrali gwiazdy i LP szumu byłoby 0 ?

 

Najgorsze jest że i z matematyki i fizyki byłem dobry. Mam za problem ze zrozumieniem istoty jakiegoś zagadnienia.

 

[isero]

2 godziny temu, Piotrek Guzik napisał:

czyli średnio na każdy piksel rzeczywiście przypadnie 100 fotonów, ale całość będzie zaszumiona (szumem gaussowskim o odchyleniu standardowym równym 10).

To pozwolę sobie skorzystać z tej dyskusji i zapytać – czy w takim razie przy większej liczbie fotonów wzrasta też zaszumienie? Czyli jeśli robimy zdjęcie w dzień to zaszumienie jest wyższe? Bo rozumiem to tak, że właśnie tak jest, ale zwiększa się też stosunek sygnału do szumu.

[Behlur_Olderys]

5 minut temu, isero napisał:

To pozwolę sobie skorzystać z tej dyskusji i zapytać – czy w takim razie przy większej liczbie fotonów wzrasta też zaszumienie? Czyli jeśli robimy zdjęcie w dzień to zaszumienie jest wyższe? Bo rozumiem to tak, że właśnie tak jest, ale zwiększa się też stosunek sygnału do szumu.

 

 

To prawda. Ale zwiększa się stosunek sygnału LP do szumu LP

 

Jeśli sygnał LP to np. 100 to znaczy że średnio przychodzi 100 ADU, ale na jednym pikselu będzie np. 90 a na drugim 110. 

 

Przy LP na średnim poziomie 10000 na jedynym pikselu będzie 9900 a na drugim np. 10100. 

 

Wyobraź sobie teraz że Twój obiekt ma średni sygnał 500

 

Jego szum własny to będzie jakieś 12

 

Więc SNR obiektu masz 12.

 

Ale szum od LP masz 100, więc realnie SNR obiektu to nie 12, tylko trochę powyżej 5. 

 

Przy 10x ciemniejszym obiekcie SNR będzie poniżej 1, więc teoretycznie zginie w szumie.

 

Dopiero gdyby naświetlać tak długo, aż średni sygnał obiektu (który sumuje się liniowo) będzie powyżej szumu LP (który sumuje się jak pierwiastek) to "przebijesz" się przez próg detekcji wyznaczony przez poziom LP.

 

 

 

 

co do samego zjawiska szumu fotonowego:

 

Można sobie to wyobrazić jak tłum ludzi przechodzący przez jakąś bramę. Średnio w ciągu minuty przechodzi np. 100 osób ale czasem będzie to 99, czasem 102, czasem 91, a czasem 108.

 

W przypadku ludzi wynika to z tego, że ludzie rzadko kiedy chodzą w uporządkowanych  kolumnach jak wojsko tylko luźnymi grupkami.

 

w przypadku fotonów... Cóż, nie wiem dokładnie co za tym stoi. Ale efekt jest proporcjonalny do pierwiastka z ich średniej liczby

[Kapitan Cook]

2 minuty temu, Behlur_Olderys napisał:

Wyobraź sobie teraz że Twój obiekt ma średni sygnał 500

 

Jego szum własny to będzie jakieś 12

 

Więc SNR obiektu masz 12.

 

Ale szum od LP masz 100, więc realnie SNR obiektu to nie 12, tylko trochę powyżej 5. 

O i tu są w końcu jakieś praktyczne obliczenia. Jaki jest na to wzór. Jak to zastosować w praktyce ?

[Behlur_Olderys]

Wzór to pierwiastek

 

W praktyce trzeba palić jak najdłużej (sumarycznie) albo wyjechać pod ciemne niebo

 

Na mapach LP przydaje się tutaj parametr "ratio" czyli stosunek LP do naturalnego tła nieba. Jeśli u mnie jest ratio= 20 a gdzieś w Beskidach ratio wynosi 0.2, to znaczy właśnie 100x mniej LP. Więc jeśli w domu na minutowej klatce mam 10000ADU od LP to w Beskidach będzie tylko 100. Natomiast szum spadnie mi z poziomu 100 do poziomu 10, a więc znów pierwiastek

 

Pomyśl, że oznacza to w praktyce, że żeby przebić się przez szum LP musiałbym w domu palić 100x więcej materiału niż w Beskidach 

 

[Kapitan Cook]

To ja mam 0,3 ten współczynnik Mimo wszystko trzeba sporo palić żeby odczarować Canona.

[Przemek Majewski]

3 godziny temu, Kapitan Cook napisał:

Nie rozumiem skąd przy LP ma być dodatkowy szum . Przecież samo LP też będzie emitowało fotony które trafią na matrycę. Nie da się prościej wytłumaczyć tego o czym mówicie ?

Wpadłem za to na pomysł aby symulować LP w taki sposób że oświetlę lampką kartkę z tekstem a drugą lampkę skieruję w obiektyw tak aby nie było flary ale aby kontrast zmalał.

Będzie trzeba popróbować eksperymentalnie co i jak ustawić, ale powinno dać jakieś ciekawe wyniki.

Mialem o tym napisać dluzszy post, "ale pewnie byś go nie lubił".

 

Piksel (kazdy osobno), który ma pewne QE (prawdopobienstwo rejestracji), dostaje N fotonów. Średnio zarejestruje QE*N. Ale to nie koniec historii. Ile razy sie pomyli?

 

Wykonał N niezależnych prób Bernoulliego z sukcesem QE. Wlasciwym bedzie rozkład dwumianowy. Dla niego 

 

Wariancja(QE, N) = N*QE*(1-QE). (€)

 

Odchylenie jest pierwiastkiem z tej wartosci. W pierwszym rzędzie hest proporcjonalne do pierwiastek(N).

 

Warto zauważyc, że wzor (€) daje zero zarówno dla QE = 0, jak i QE= 1. Jest bowiem symetria "sukces <-> porazka".

 

Maksimum (€) jest dla QE = 50% i wynosi

 

Wariancja(50%, N) = N/4,

 

a co za tym idzie, bład wynosi 0.5*sqrt(N).

 

Dla typowego 80% = 4/5

 

Wariancja(80%, N) = N*4/25,

 

Zatem w tej sytuacji błąd  w funkcji strumienia fotonow N wynosi 0.4*sqrt(N). Ten błąd jest owym szumem, wynikiem wielu losowych doświadczeń przeprowadzonych przez każdy piksel sensora.

 

Ponadto, te procesy są splecione z sąsiednimi pikselami przez efekty bluru: seeingu, optyki, prowadzenia oraz dyfrakcji na aperturze.

 

Dlatego lepiej albo polubić, albo nie symulować.

 

Ps.1 dla zainteresowanych

Pojawia się kolejny problem, gdyz nie znamy N. Znamy tylko estymator QE*N, czyli średnio zarejestrowanych fotonów. Aby więc oszacować poprawnie wariancję naszych estymatorów trzeba wykonać nawet wiecej nielubiqnych operacji myślowych. Nie mierzymy bowiem QE*N na matrycy idealnie, tylko wlasnie z powyższym bledem. Nigdy wiec nie mamy pewnosci jakie N. Co innego, rzecz jasna, gdybysmy z gory mieli pewnosc, ile fotonow dotarlo. Ale w zyciu tak nie ma. [Podobnie dla próbki ze statystyki normalnej, zmierzona średnia nie jest idealną, zatem wariancje estymujemy dzieląc przez (N-1) a nie N. W dodatku prowadzi to do rozkladu t-studenta gdy chcemy progów ufnosci. Gdybyśmy średnią znali dokładnie, byloby latwiej i też mniej ciekawie.]

 

Ps.2

Uwaga do @Behlur_Olderys, nie kazdy proces losowy jest gaussowski! A w zasadzie... tylko gaussowski, jest gaussowski. W tym wypadku (dwumianowy, wysokie QE) histogram błędu jest raczej niesymetryczny, i sięga bardziej w dół, co powoduje, dlaczego domyślnie przy odrzucaniu lowReject jest wiekszy niz highReject. Tzn high odrzuca szybciej niz low.

[Przemek Majewski]

No.i zapomniałem dodać...

 

QE=1 i QE = 0 są naturalne, skrajne przypadki idealne, nielosowe. Ale ciekawe jest, ze ten "szum" występuje oczywiscie niezależnie od szumu odczytu, ktory się do niego "dodaje" (nie przez dzialanie +, a raczej wariancja szumu calkowitego jest sumą wariancji z rozkladu dwumianowego i wariancji odczytu piksela)

[Kapitan Cook]

Wniosek jest prosty. Idę na kasę do Biedronki. Inżynierem nie zostanę

[Przemek Majewski]

2 minuty temu, Kapitan Cook napisał:

Wniosek jest prosty. Idę na kasę do Biedronki. Inżynierem nie zostanę

no nie wiem. wystarczy się troche otworzyć na to, a nie mówić, że sie nie lubi. ja chcialbym chociaż trochę ciekawostek "odczarować".

 

co do glownego watku: kiedy w grę wchodzą szersze kadry powyzej stopnia, dwóch, na zdjęciu pojawia sie już gradient tego tla. nie jest ono stałe. estymacja tego gradientu poprawnie jest kolejną trudnoscią. ponadto, ten gradient zmienia sie z polozeniem na niebie. Bo LP jest nieruchome,  obiekt fotografowany po niebie "sie porusza" (pozornie).

 

to właśnie robi Normalize Scale Gradient, nowy skrypt w Pixie. 

[Kapitan Cook]

1 minutę temu, Przemek Majewski napisał:

no nie wiem. wystarczy się troche otworzyć na to, a nie mówić, że sie nie lubi. ja chcialbym chociaż trochę ciekawostek "odczarować".

 

Oczywiście, tylko że same podstawy są kompletnie nie zrozumiałe dla przeciętnego człowieka. Chodzi choćby o same pojęcia typu rozkład gaussa gdzie w normalnym życiu nikt ani o tym nie wie ani bym bardziej nie rozumie.

[Piotrek Guzik]

Godzinę temu, Behlur_Olderys napisał:

Wzór to pierwiastek

 

W praktyce trzeba palić jak najdłużej (sumarycznie) albo wyjechać pod ciemne niebo

 

Na mapach LP przydaje się tutaj parametr "ratio" czyli stosunek LP do naturalnego tła nieba. Jeśli u mnie jest ratio= 20 a gdzieś w Beskidach ratio wynosi 0.2, to znaczy właśnie 100x mniej LP. Więc jeśli w domu na minutowej klatce mam 10000ADU od LP to w Beskidach będzie tylko 100. Natomiast szum spadnie mi z poziomu 100 do poziomu 10, a więc znów pierwiastek

 

Pomyśl, że oznacza to w praktyce, że żeby przebić się przez szum LP musiałbym w domu palić 100x więcej materiału niż w Beskidach 

 

 

No, to nie do końca tak działa, bo LP nie jest tu jedynym źródłem szumu. Jeśli w Beskidach "ratio" wynosi 0.2, to znaczy, że jasność tła nieba (naturalna) jest pięciokrotnie wyższa niż jasność LP. Tu zatem niebo (wraz z LP) ma jasność 1.2 razy większą niż jasność nieba bez LP, u Ciebie natomiast ma jasność 21 razy większą niż w miejscu zupełnie bez LP. Oznacza to, że niebo u Ciebie jest jakieś 17.5 razy jaśniejsze niż w Beskidach, więc szum tła nieba masz jakieś 4.2 razy większy niż szum tła nieba w Beskidach. Tak więc w domu musiałbyś zebrać 17.5 razy więcej materiału, żeby dostać taki S/N jak w Beskidach. Oczywiście pomijamy tu wszelkie inne źródła szumu.

 

[apolkowski]

1 godzinę temu, Behlur_Olderys napisał:

Wyobraź sobie teraz że Twój obiekt ma średni sygnał 500

 

Jego szum własny to będzie jakieś 12

? 

Skoro szum to pierwiastek ze średniej to jak wychodzi 12?

[Przemek Majewski]

23 minuty temu, Kapitan Cook napisał:

 

Oczywiście, tylko że same podstawy są kompletnie nie zrozumiałe dla przeciętnego człowieka. Chodzi choćby o same pojęcia typu rozkład gaussa gdzie w normalnym życiu nikt ani o tym nie wie ani bym bardziej nie rozumie.

ponieważ rozklad Gaussa jest tym granicznym rozkladem w Centralnym Twierdzeniu Granicznym, występuje on w przyrodzie praktycznie wszedzie, gdzie wiele czynnikow ma wplyw na jedno zjawisko. (jest granica sredniej dowolnych zjawisk losowych)

 

Sama nazwa "rozkład normalny" wskazuje na jego centralne znaczenie w zyciu i statystyce.

 

Jest to zatem najbardziej podstawowy element statyski. Każdy średnio wyksztalcony czlowiek powinien wiedziec, co to średnia, odchylenie standardowe, i rozklad normalny. Jeśli nie wie, to jest to porażka całego systemu. Zwykle wie, ale nie wie, że to sie tak nazywa. A krzywą dzwonową widział dosłownie każdy.

 

[szuu]

5 godzin temu, Kapitan Cook napisał:

Próbowałem w PS na stack nałożyć warstwę z białym kolorem i zmniejszyć krycie aby zasymulować LP. Doszedłem jednak do 99% krycia i nie robi to praktycznie żadnej różnicy.

pomijając kwestię szumu, twój test jest nieprawidłowy bo również w nierealistycznym przypadku z idealnym stałym sygnałem LP musi on pogarszać obraz wynikowy przez to że zjada pewną część pojemności piksela, a więc na użyteczny obraz zostaje mniej "bitów".

[Kapitan Cook]

6 minut temu, Przemek Majewski napisał:

rozkład normalny" wskazuje na jego centralne znaczenie w zyciu i statystyce.

 

Jest to zatem najbardziej podstawowy element statyski. Każdy średnio wyksztalcony czlowiek powinien wiedziec, co to średnia, odchylenie standardowe, i rozklad normalny.

 

Myślę że poza gronem osób które wykorzystują takie pojęcia w pracy to zupełnie nikt nie wie o co dokładnie chodzi. Generalnie mało kto ma jakąkolwiek wiedzę specjalistyczną jeśli jej nie wykorzystuje w pracy, a nawet jak wykorzystuje taką wiedzę to na zasadzie wprowadzenia czegoś z tabeli bez zrozumienia dlaczego. W moich stronach to średnio wykształcony człowiek to wie jak kombinować, nic ponadto.