Live binning - rewolucja w amatorskiej rejestracji tranzytów egzoplanet?

LibMar · 13 Września 2018

Kolejne fajne porównanie. Ten materiał potraktowałem wieloma metodami uzyskując różne dokładności pomiarowe.

Zwykłe uśrednianie (wykres 2), co robiłem w 2017, okazało się najgorszą metodą pod względem dokładności - błąd standardowy w tym przypadku wynosi 3.2 mmag. Wszystkie klatki po normalnym zestackowaniu do tego samego czasu integracji jest lepsze - mamy 2.8 mmag (wykres 1). Trzeci i czwarty wykres to znowu uśrednianie pojedynczych pomiarów, ale z odrzutami. Najpierw 10%, potem 20%. No i te 20% wcale nie okazało się lepsze od dziesięciu A połączenie obu sposobów (wykres 5) dało 2.0 mmag - czyli stack + wywalenie 20%. Ciekawe ile wyszłoby po usunięciu tylko 10%. Dostałem wiadomość od autora Muniwina, że doda te "skróty fotometryczne", a więc będzie można to szybciej wykonywać i sprawdzać

Odpowiednie podejście do materiału tak jak w astrofotografii, daje lepsze rezultaty. Myślę, że jest szansa poprawić wynik do 1.5 mmag, co powinno być spokojnie osiągalne przez 8" teleskop (prawdopodobnie 1.0 mmag z ASI1600 oraz 8" na odpowiednim montażu).

szuu · 13 Września 2018

pojedyncza klatka też jest pomiarem (czegoś) stackowanie też jest uśrednianiem (jakimś).

czy fakt, że "stackowanie" daje inne wyniki niż "uśrednianie" nie świadczy o tym, że stosujemy błędną metodę uśredniania lub stackowania?

na wejściu mamy zbiór danych i jakąś wiedzę o analizowanym procesie i o błędach pomiaru. przy takich założeniach jest tylko jeden poprawny wynikający z matematyki wynik typu "cośtam plus minus ileśtam odchylenia standardowego". inne wyniki nie są od niego lepsze lub gorsze dlatego że nam się mniej lub bardziej podobają. inne wyniki są po prostu błędne.

oczywiście to zastrzeżenie dotyczy sytuacji, w której korzystamy z pełnego zbioru danych. w przypadkach gdzie 10 lub 20% odrzucamy, jawnie przyjmujemy inne założenie co do danych więc wynik rzeczywiście ma wyjść inny.

Gajowy · 13 Września 2018

20 minut temu, szuu napisał:

pojedyncza klatka też jest pomiarem (czegoś) stackowanie też jest uśrednianiem (jakimś).

czy fakt, że "stackowanie" daje inne wyniki niż "uśrednianie" nie świadczy o tym, że stosujemy błędną metodę uśredniania lub stackowania?

Nie. Różne estymatory dają różne wartości estymowanej wartości. Bez wiedzy (a'priori lub a'posteriori) na temat jakości próbki danych oraz spodziewanego efektu trudno powiedzieć, że średnia arytmetyczna jest lepsza od średniej ucinanej. W wypadku występowania obserwacji odstających (promienie kosmiczne, satelita, meteor w ramce itp.) średnia ucinana jest lepsza. Jeśli błędy są jednak wynikiem zdarzeń losowych, zgodnych z rozkładem normalnym, to najlepszym estymatorem jest średnia arytmetyczna.

Moim zdaniem najlepsze efekty powinny być osiągnięte poprzez:

a) odrzucenie ewidentnie zepsutych ramek (wspomniane metory, samoloty, zupełne zachmurzenie lub supernowe ).

b) określenie dla każdej z pozostałych ramek wariancji jasności gwiazd porównania (o jasnosci zbliżonej do badanej)

c) wyznaczenie krzywej jasności metodą najmniejszych kwadratów przy zastosowaniu regresji ważonej

Ważona regresja lepiej poradzi sobie z ramkami słabej jakości niż odrzucanie %% najsłabszych obserwacji lub stakowanie - bo nie tracimy informacji, tylko traktujemy ją z należną wiarygodnością.

Pzdr,

Gajowy

LibMar · 13 Września 2018

Musi być faktycznie coś na rzeczy, jeśli zwykłe uśrednianie (które jest łatwe do ogarnięcia) wcale nie pomaga. Stacki mają to do siebie, że pomiary są adekwatne do sytuacji - ta sama głębokość, wyjście i wejście o takim samym kształcie, podobny trend. Raczej niekoniecznie szum. Może zmienność obrazu gwiazdy, skoro mam małą skalę (1.65"/px) i trzymam się jak najostrzejszego obrazu, jak tylko mogę? I to wpływa na duże zmiany S/N na każdej klatce? Jak trzymam się wartości histogramu średnio 45%, to ten skacze mi między 40% a 50%, niekiedy schodząc pojedynczo do 30-35% rozlewając się na sąsiednie. To może takie wprowadzają na starcie gruby błąd.

Bardzo fajnym porównaniem byłoby też wykonanie tego samego tranzytu (albo nawet płaskiej krzywej, łatwiejsze w analizie) korzystając z długich czasów ekspozycji, czyli 120s. Tylko, że mój montaż tyle nie uprowadzi

Dopóki nie pojawi się nowa wersja Muniwina, raczej nic nie zdziałam. Sprawdzenie innymi algorytmami (np. jakość gwiazd, największa wartość ADU piksela czy któraś wartość z kolei wewnątrz apertury) na razie za każdym razem wymaga po kilka godzin pracy komputera, więc trzeba poczekać, aż będzie zajmowało to mniej niż 30 minut. Może to będzie wydajniejsza i dokładniejsza metoda, która w innych przypadkach może różnie działać. Bo taki rozrzut może być dodatkowo wywoływany np. przez kiepskie prowadzenie, gdzie jakość gwiazd będzie dobrym wyznacznikiem (która być może ma większy wpływ na rozrzut niż sam seeing). Wpływ musi być nieznaczny, skoro przy każdej obserwacji wychodzi mi praktycznie to samo, co przewiduję (jest powtarzalność). Jak seeing jest dobry, to jest ciut lepiej. Jak gorszy, no to ciut gorzej… ale mój schemat pozostaje zawsze taki sam.

Obrazując myśl odrzutów, myślę bardziej w takim kierunku: mamy grupę 100 studentów na jednym roku, z których mają wyrosnąć dobrzy stomatolodzy (a co tam ). Jedni uczą się lepiej, drudzy gorzej. Chcemy, aby w Polsce byli coraz lepsi stomatolodzy i dobrze o mówiono o ich wykonywanej pracy. Ale część stomatologów nie chodziła na zajęcia i ma pewne braki - skutkuje to częstymi skargami od strony pacjentów, że coś źle robią. No bo nie nauczyli się, nie wiedzą. Zaczyna pojawiać się opinia jakich mamy beznadziejnych młodych dentystów, więc umawiają się do tych starszych. Gdybyśmy wywalili ze studiów paru studentów, to byłoby spoko, bo nie ma tych, przez których najprawdopodobniej pojawiłaby się taka negatywna ocena. Opinia pozostaje dobra. Taka jest moja opinia pod kątem odrzucania pomiarów. Traktowanie każdego pomiaru do ostatecznego wyniku równoważnie jest czymś w stylu: każdy dentysta poprawia stan zdrowia w naszym społeczeństwie, jeden lepiej, drugi gorzej. Moglibyśmy nawet studentów po pierwszym roku zatrudniać, bo przecież coś już wnoszą i mogą sporo pomóc w środowisku! To moim zdaniem zły kierunek. A ideałem jest wypośrodkowanie ilu tych studentów (*mających studia gdzieś*) moglibyśmy wyrzucić. (sam oczywiście nie życzę nikomu powtarzania roku )

EDIT: @Gajowy, w Berlinie musimy faktycznie nad tym pogadać, wyjaśnisz mi też czym ta regresja ważona jest

Gajowy · 13 Września 2018

2 minuty temu, LibMar napisał:

Obrazując myśl odrzutów, myślę bardziej w takim kierunku: mamy grupę 100 studentów na jednym roku, z których mają wyrosnąć dobrzy stomatolodzy (a co tam ). Jedni uczą się lepiej, drudzy gorzej. Chcemy, aby w Polsce byli coraz lepsi stomatolodzy i dobrze o mówiono o ich wykonywanej pracy. Ale część stomatologów nie chodziła na zajęcia i ma pewne braki - skutkuje to częstymi skargami od strony pacjentów, że coś źle robią. No bo nie nauczyli się, nie wiedzą. Zaczyna pojawiać się opinia jakich mamy beznadziejnych młodych dentystów, więc umawiają się do tych starszych. Gdybyśmy wywalili ze studiów paru studentów, to byłoby spoko, bo nie ma tych, przez których najprawdopodobniej pojawiłaby się taka negatywna ocena. Opinia pozostaje dobra. Taka jest moja opinia pod kątem odrzucania pomiarów. Traktowanie każdego pomiaru do ostatecznego wyniku równoważnie jest czymś w stylu: każdy dentysta poprawia stan zdrowia w naszym społeczeństwie, jeden lepiej, drugi gorzej. Moglibyśmy nawet studentów po pierwszym roku zatrudniać, bo przecież coś już wnoszą i mogą sporo pomóc w środowisku! To moim zdaniem zły kierunek. A ideałem jest wypośrodkowanie ilu tych studentów (*mających studia gdzieś*) moglibyśmy wyrzucić. (sam oczywiście nie życzę nikomu powtarzania roku )

LibMar - odrzucać sie powinno tylko tych, co odstają. Założenie, że odrzucimy 10 lub 20% niezależnie od obiektywnych kryteriów jest błędem. Bo może się okazać, że odrzucamy tych co zaspali na egzamin, bo mieli mega tranzyt w nocy i dlatego mają w tym semestrze tylko 4.8, a zostawiamy kujownów ;).

Pzdr,

Gajowy

LibMar · 13 Września 2018

1 minutę temu, Gajowy napisał:

LibMar - odrzucać sie powinno tylko tych, co odstają. Założenie, że odrzucimy 10 lub 20% niezależnie od obiektywnych kryteriów jest błędem. Bo może się okazać, że odrzucamy tych co zaspali na egzamin, bo mieli mega tranzyt w nocy i dlatego mają w tym semestrze tylko 4.8, a zostawiamy kujownów ;).

Pzdr,

Gajowy

I takie odstające faktycznie pojawiają się na krzywej Właśnie one usuwają się już po selekcji pięcioprocentowej.

Gajowy · 13 Września 2018

3 minuty temu, LibMar napisał:

I takie odstające faktycznie pojawiają się na krzywej Właśnie one usuwają się już po selekcji pięcioprocentowej.

Pytanie, czy są na pewno odstające. Zgodnie z rozkładem normalnym co 25 pomiar ma prawo być dalej niż 2 odchylenia standardowe od średniej.

Pzdr,

Gajowy

Behlur_Olderys · 14 Września 2018

Ja bym zrobił tak:

Liczysz FWHM gwiazd na klatce i odrzucasz te klatki, na których seeing jest najgorszy (obojetnie, czy procentowo czy dla jakiegoś progu, bo obydwa kryteria są arbitralne)

Możesz sobie na to pozwolić, bo idealny obraz gwiazdy jest znany, a Twój eksperyment nie ma wyznaczyć kształtu funkcji Airego

czyli bazujesz na zmiennej losowej nieskorelowanej z tranzytem jako takim.

Edited: widzę, że nie tylko ja jestem tego zdania, czyli super

Edytowane 14 Września 2018 przez Behlur_Olderys

Hans · 14 Września 2018

Moim zdaniem (i tego się trzymam zbierając własny materiał), decyzja o braniu lub nie pod uwagę danej klatki nie powinna zależeć od rezultatu (wyniku) pomiaru, a od prostego czynnika ogólnego typu FWHM, albo jak bardzo "kuliste" (nie pamiętam poprawnego terminu) są gwiazdy referencyjne, czy mamy wszystko ok z czasem akwizycji itd.,itp. jeśli ma być automatyczna. Odrzucając to co wygląda na złe "bo odstaje wynikiem od reszty" z automatu, jest po pierwsze mało koszerne (chcemy zarejestrować co się dzieje, a nie dostosować wynik do oczekiwań), a po drugie, to "złe" może mieć wiele przyczyn, niekoniecznie wywołanych problemem X lub Y przy akwizycji materiału. Może wszystko jest ok z materiałem, a obserwowany obiekt faktycznie zrobił "fikołka". Interpretacja wyniku powinna nastąpić po zebraniu danych, a nie selektywnym automatem w trakcie, modyfikując dane wejściowe. Jeśli nie będziemy się trzymać takiej zasady, wpadniemy w pułapkę interpretacji czegoś co już raz zostało poprzez inną interpretację zmodyfikowane niepoprawnie (zamiast np. wyczyścić szum który przeszkadza w analizie, wyczyści nam realne dane).

Oczywiście jest możliwe "czyszczenie" danych na bardziej abstrakcyjnym poziomie po processingu. Niemniej tego typu działania powinny zawsze być podparte analizą każdego konkretnego przypadku, a nie z algorytmu-automatu. Jesli automat (stackujący, redukujący, itp.) to tylko prosty i na ogolnych zasadach. Jeśli interpretacja selektywna, to z włączoną głową post-faktum. W arcie poniżej są opisane m. in. przypadki które raczej słabo dadzą się wyczyścić automatem.

http://www.astroamator.com/index.php/archiwum/poradniki/60-amatorska-fotometria-ccd-w-praktyce-egzoplanety-metoda-tranzytowa

Pozdrawiam.

Gajowy · 14 Września 2018

7 godzin temu, Hans napisał:

Moim zdaniem (i tego się trzymam zbierając własny materiał), decyzja o braniu lub nie pod uwagę danej klatki nie powinna zależeć od rezultatu (wyniku) pomiaru, a od prostego czynnika ogólnego typu FWHM, albo jak bardzo "kuliste" (nie pamiętam poprawnego terminu) są gwiazdy referencyjne, czy mamy wszystko ok z czasem akwizycji itd.,itp. jeśli ma być automatyczna.

Z tym, że sama zmiana FWHM nie jest największym problemem przy fotometrii różnicowej. Ja odrzucam wyłącznie ramki, dla których nie daje sie zmierzyć jasności co najmniej N gwiazd referencyjnych (N zalezy od zagwieżdzenia nieba, ale to liczba jednocyfrowa). Jesli się daje - nie odrzucam, a wyznaczam wagę takiej ramki w oparciu o zmierzoną zgodność jasności gwiazd referencyjnych ze średnią z tysięcy ramek. W ten sposób algorytm preferuje ramki, na których gwiazdy referencyjne "trzymają średnią" i ignoruje (acz niecałkowicie) te, na których zmierzone jasności się rozjeżdżają.

Pzdr,

Gajowy

LibMar · 14 Września 2018

O właśnie, to w jakimś innym wątku pisałem. Jeśli gwiazda zmienna jest odchylona przy każdej gwieździe referencyjnej tylko w jedną stronę, to oznacza, że ze zmienną jest coś nie tak (gdy wiemy, że tego wzrostu/spadku nie powinno być, za krótkie na flary). I to nawet jest szybkie do wykonania.

Hans · 14 Września 2018

Sito ilości widocznych referencji z granicą decyzji N - X gdzie N to wszystkie referencyjne, a X maksymalna liczba referencyjnych nie trzymających kryterium "poprawne" brzmi dla mnie ok. Pytanie tylko o wagi które wspominasz, czy to jest coś w stylu mediany na konkretnych pakietach, gdzie klatki o niewystarczającej ilości dobrych referencji są odrzucane, a te o zmniejszonej ilości referencji nie tyle są odrzucane co dalej pakietowane z jakimś parametrem typu "nie traktuj równo tylko jako np. połówkę"? Co dokładnie robi algorytm z klatką o mniejszej lub większej wadze?

Pozdrawiam.

Gajowy · 14 Września 2018

24 minuty temu, Hans napisał:

Sito ilości widocznych referencji z granicą decyzji N - X gdzie N to wszystkie referencyjne, a X maksymalna liczba referencyjnych nie trzymających kryterium "poprawne" brzmi dla mnie ok. Pytanie tylko o wagi które wspominasz, czy to jest coś w stylu mediany na konkretnych pakietach, gdzie klatki o niewystarczającej ilości dobrych referencji są odrzucane, a te o zmniejszonej ilości referencji nie tyle są odrzucane co dalej pakietowane z jakimś parametrem typu "nie traktuj równo tylko jako np. połówkę"? Co dokładnie robi algorytm z klatką o mniejszej lub większej wadze?

Pozdrawiam.

Powiedzmy, że na podstawie całego materiału mam wybranych S stabilnych gwiazd referencyjnych. Dla każdej pary gwiazd (Gi,Gj) z tego zbioru znam średni stosunek jasności

SR_ij = FLUX_i/FLUX_j

= średnia różnica jasnosci w magnitudo.

Wówczas dla każdej ramki osobno, dla każdej pary gwiazd obliczam różnicę między średnią SR_ij a stosunkiem jasności na danej ramce - nazwijmą ją residualsem. Na podstawie zbioru residualsów danej ramki wyznaczam niepewnosc pomiaru jasnosci (jako odchylenie standardowe). Zgodnie z teorią waga ramki równa jest wówczas 1/odchylenie_standardowe_do_kwadratu.

Eliminuje to wpyw sabych ramek na wynik nie odrzucając całkowicie żadnej ramki (poza tymi, dla których nie da sie zidentyfikować odpowiedniej liczby gwiazd referencyjnych).

Później to już "tylko" średnia ważona, albo regresja ważona.

Pzdr,

Gajowy

Edytowane 14 Września 2018 przez Gajowy

LibMar · 14 Września 2018

23 minuty temu, Hans napisał:

Sito ilości widocznych referencji z granicą decyzji N - X gdzie N to wszystkie referencyjne, a X maksymalna liczba referencyjnych nie trzymających kryterium "poprawne" brzmi dla mnie ok. Pytanie tylko o wagi które wspominasz, czy to jest coś w stylu mediany na konkretnych pakietach, gdzie klatki o niewystarczającej ilości dobrych referencji są odrzucane, a te o zmniejszonej ilości referencji nie tyle są odrzucane co dalej pakietowane z jakimś parametrem typu "nie traktuj równo tylko jako np. połówkę"? Co dokładnie robi algorytm z klatką o mniejszej lub większej wadze?

Pozdrawiam.

Algorytm jeszcze nic nie robi, bo muszę poświęcić dobrych kilka godzin, aby to dokładniej sprawdzić A lista to-do robi się coraz dłuższa. Bardziej skupiałbym się tym, ile gwiazd referencyjnych znajduje się powyżej/poniżej wygładzonej średniej kroczącej (czyli piramidki i dołki "wyzerujemy"). Jeśli mamy 10 referencyjnych, to wartości 3-7/3-7 byłyby dobre do sprawdzenia, natomiast 0-2/8-10 do usunięcia. W formie porównania można dać też 2-8/2-8, z odrzuceniem 0-1/9-10. I wracamy do punktu wyjścia, czyli zestackować to, a nie uśredniać w Excelu (czyli wyzbyć się kroczącej ). Zabawa dla gościa, co zajmuje się statystyką. Jestem w tym słaby, więc maxa materiału nie wycisnę Przynajmniej cieszy, że w pewnym stopniu wychodzi dokładniej.

Postaram się znaleźć jakiś inny tranzyt, który najlepiej do tego się sprawdzi - czyli jakiś pełny z praktycznie zerowym trendem i podobnym rozrzutem przez całą noc. WASP-3 b jest okej, ale ciutkę ucięty z lewej strony. Ale referencyjnych ma też dużo. Do tej krzywej użyłem ich jedenaście z ~20 (ale nie chciałem brać już tych odległych).

Tak też dodam, mediany raczej nigdy nie stosowałbym. Na tych pojedynczych pomiarach ma zawsze większy rozrzut, więc raczej nie ma magii, aby w pewnym przypadku dało lepszy efekt.

Testy będą wkrótce, na razie mam sporo innych projektów do ukończenia. Być może bardziej efektywne będzie po prostu sprawdzanie jakości gwiazd pod wzglęem FWMH, max ADU dla pierwszego czy np. czwartego najjaśniejszego piksela. To wtedy czegoś jak "średnia krocząca" nawet nie będę wspominał, którego i tak po stackowaniu nie widać ani śladu. Ale średnia krocząca to wciąż lepsze niż wprowadzenie prawdopodobnego kształtu tranzytu już na samym początku.

Czyli w zasadzie całość opiera się na jednym - mamy 30 klatek na jednego stacka i musimy poznać, które tylko zestackować, aby w każdym przypadku (tą samą metodą) dawały najmniejszy rozrzut między sobą.