Format tiff vs fits

cwic · 21 Października 2019

Witam,

Mam pytanie odnośnie formatu pliku z kamery (asi). W sharpcap mam możliwość zapisu w różnych formatach, w tym tiff i fits.

Łatwiej mi się obrabia tiff, między innymi dlatego że mogę podglądać pliki w standardowych narzędziach do obróbki graficznej i "ważą" praktycznie połowę tego co fits, a więc dlaczego w astrofoto używa się formatu fits? Jakie są zalety tego formatu i co zyskujemy poświęcając miejsce na dysku i możliwość łatwego przeglądania?

Pozdrawiam

Adam

Iluvatar · 21 Października 2019

FITS mają nagłówki w formacie ASCII, gdzie łatwo można przechowywać dodatkowe informacje, np. data, godzina, ogniskowa, użyty filtr, dane do plate solve itd. W sumie możesz tam sobie wpisać cokolwiek. To chyba główna różnica względem TIFFa. Oprócz tego TIFF może mieć bezstratną kompresję, a FIT z tego co kojarzę nie ma takie możliwości.

MateuszW · 21 Października 2019

Generalnie, jeśli pominiemy możliwość kompresji tiff, to oba formaty powinny mieć ten sam rozmiar. Jeśli tiff jest mniejszy, to ma zapewne mniej bitów (8 zamiast 16). Generalnie powinno sie to dać tak ustawić, żeby zapisywał tyle bitów, ile trzeba (wtedy rozmiary staną się prawie równe). Jeśli robisz planety to 8 bit, a jak DSy to 16. Zasadniczo do planet najwygodniej używać avi, żeby nie robić miliarda plików. Do DS najprzydatniejszy jest fits głównie z powodu zawieranego nagłówka, o czym napisał przedmówca. Nagłówek ten zawiera info o parametrach ekspozycji, temperaturze, współrzędne obiektu, dane sprzętu (w sharpcap raczej nie ma tych dwóch ostatnich). Potem te dane można wykorzystać - info o expozycji i temperaturze przyda się do kalibracji i porządkowania materiału, współrzędne np do opisania zdjęcia itp.

WielkiAtraktor · 21 Października 2019

FITS też ma możliwość kompresji; może po prostu niewiele popularnych wśród nas-amatorów narzędzi to obsługuje.

https://heasarc.gsfc.nasa.gov/docs/software/fitsio/compression.html

cwic · 21 Października 2019

2 godziny temu, MateuszW napisał:

Generalnie, jeśli pominiemy możliwość kompresji tiff, to oba formaty powinny mieć ten sam rozmiar. Jeśli tiff jest mniejszy, to ma zapewne mniej bitów (8 zamiast 16). Generalnie powinno sie to dać tak ustawić, żeby zapisywał tyle bitów, ile trzeba (wtedy rozmiary staną się prawie równe). Jeśli robisz planety to 8 bit, a jak DSy to 16. ...

I tiffy i fitsy były robione w MONO16, a tiff waży połowę z tego.

Jak na ten moment to format tiff wydaje się lepszy dla mnie, na plus wychodzi:

- waga pliku

- możliwość przeglądania i otwierania w standardowych programach

Drobny minus za brak przetrzymywania niektórych informacji, ale przy dobrej bazie danych to nie jest żaden problem.

Gajowy · 21 Października 2019

Godzinę temu, cwic napisał:

I tiffy i fitsy były robione w MONO16, a tiff waży połowę z tego.

Jak na ten moment to format tiff wydaje się lepszy dla mnie, na plus wychodzi:

- waga pliku

- możliwość przeglądania i otwierania w standardowych programach

Drobny minus za brak przetrzymywania niektórych informacji, ale przy dobrej bazie danych to nie jest żaden problem.

FITS jest de facto standardem. Jeśli myślimy o przenośności (czyli wykorzystaniem w przyszłości obserwacji np. przez inny zespół badawczy, albo z wykorzystaniem innych narzędzi) to używanie standardów jest uzasadnione. Także, jeśli masz zamiar dokonywać redukcji (obróbki) danych w celach naukowych (fotometria, astrometria) to większość oprogramowania naukowego wspiera FITSy i sporadycznie inne formaty.

@WielkiAtraktor napisał:

Cytat

FITS też ma możliwość kompresji; może po prostu niewiele popularnych wśród nas-amatorów narzędzi to obsługuje.

Z przyczyn, o których wyżej napisałem - przenośność i możliwosć powtórnego wykorzystania przez innych - kompresja FITSów nie jest najlepszym pomysłem. Choć oczywiście otwarty format FITS łyknie wszystko. W dzisiejszych czasach, gdy koszt przechowywania danych nie jest kluczowy, a potencjalny uzysk dla danych binarnych przy kompresji bezstratnej to ~50%, gra niewarta jest świeczki moim zdaniem.

Wcześniej jeszcze @cwic napisał:

Cytat

Mam pytanie odnośnie formatu pliku z kamery (asi).

Tylko dopowiem, że kamera ASI (ani żadna inna) nie zapisuje danych, a więc nie decyduje o finalnym formacie. Kamera zwraca tablicę z wartościami pikseli, którą w plik zmienia program ją obsługujacy i to od tego programu zależy jaki ostatecznie format przybiorą dane. Mądre jest jednak, zwłaszcza przy obserwacjach krótkoczasowych, gdy istotna jest częstotliwość wykonywania zdjęć i minimalizacja przerw między ekspozycjami, zapisywać zdjęcia w formacie najbliższym temu co zwraca kamera, czyli bez kompresji, bajt po bajcie. Kompresja to jednak dodatkowe opóźnienia. Te teoretycznie zaoszczędzone miejsce mści się też, gdy chccesz później ze 10 tys. ramek zrobić stack (czy w jakikolwiek inny sposób przetworzyć) i program stakujący każdą ramkę musi wpierw zdekompresować. Wprawdzie są szybkie algorytmy kompresji, ale nigdy tak szybkie jak praca na danych nieskompresowanych.

Pzdr,

Gajowy

Edytowane 21 Października 2019 przez Gajowy

MateuszW · 21 Października 2019

58 minut temu, Gajowy napisał:

Mądre jest jednak, zwłaszcza przy obserwacjach krótkoczasowych, gdy istotna jest częstotliwość wykonywania zdjęć i minimalizacja przerw między ekspozycjami, zapisywać zdjęcia w formacie najbliższym temu co zwraca kamera, czyli bez kompresji, bajt po bajcie. Kompresja to jednak dodatkowe opóźnienia.

Offtopując, nie zawsze to jest prawda. Wszystko zależy od przypadku, ale często kompresja dokonywana jest bardzo wydajnie (może to robić nawet dedykowany hardware w procesorze), natomiast wąskim gardłem okazuje się prędkość zapisu. W takiej sytuacji opłaca się najpierw skompresować i zapisać mniej danych, co wychodzi szybciej. Niemniej dotyczy to raczej stratnych metod kompresji, gdzie zysk jest większy, a prędkość kompresji duża. Ta "idea" kompresowania w celu przepchnięcia danych przez powolny nośnik wywodzi się chyba z wszelkiego rodzaju kamer "normalnych", zapisujących dane na kartę. Zawsze mnie dziwiło, dlaczego stare kamery cyfrowe zapisują dane tak okrutnie skompresowane - dlatego właśnie, że prędkość nośnika była mała, w porównaniu z szybkością kompresji. Nawet dzisiaj ze świecą szukać urządzenia zdolnego zapisać dane wideo nieskompresowane (np żadna lustrzanka tego nie potrafi), właściwie nasze kamerki astro to ewenement.

W FireCapture pojawiła się kiedyś opcja kompresji bezstratnej podczas zapisu. Testowałem, ale niestety bez większego sukcesu. Myślę, że zysk jest tu zbyt mały, żeby miał sens.

WielkiAtraktor · 22 Października 2019

6 godzin temu, MateuszW napisał:

Nawet dzisiaj ze świecą szukać urządzenia zdolnego zapisać dane wideo nieskompresowane (np żadna lustrzanka tego nie potrafi),

Niezupełnie. Firmware MagicLantern do Canonów daje możliwość zapisu nieskompresowanego wideo, również w pełnych 14 bitach jak RAWy (chyba tylko niektóre modele, no i maks. rozdzielczość zależy od wydajności karty pamięci).

Edytowane 22 Października 2019 przez WielkiAtraktor

cwic · 22 Października 2019

Gajowy bardzo fajnie rozwinął wypowiedź. W moim przypadku gdzie astrofotografia jest amatorskim hobby raczej będę pracował na plikach tif, tym bardziej że nie dysponuje wielkim dyskiem. Natomiast gdy ktoś zajmuje się astrofoto, w celach naukowych gdzie obróbka odbywa się często w programach dedykowanych, a materiały mogą być wykorzystywane wielokrotnie w wielu projektach to fit jest niezastąpiony.

Edytowane 22 Października 2019 przez cwic