Jak efektywnie przechowywać zebrane materiały?

Morth · 9 Września 2017

19 minut temu, delaa napisał:

^ A jak jest w komputerze (znaczy używany) to komputer sam przepisuje raz na jakiś czas tak ? całość dysku czy po trochu ? z jednego clustra do drugiego czy do tego samego jeszcze raz ? i kiedy to robi ? w nocy w tle ?

Ciekawi mnie to ...

PS. Myślę że kolejny "urban legend" padnie wtym wątku....

Przeczytałem to kiedyś na jakiejś stronie, którą uznałem za wiarygodną. Jak dysk jest podpięty do zasilania, to może to nie pozwala mu na rozmagnesowywanie?

delaa · 9 Września 2017

Nie to nie ma nic wspólnego z "prądem" to nie to zjawisko ....

Usuń tą strone z ulubionych :-)

Pozdr.

Grzędziel · 9 Września 2017

Ciekawa dyskusja się wywiązała, też od dawna mam ten problem z miejscem na dysku, ale ostatnio zauważyłem, że na klawiaturze (z prawej strony) taki klawisz z napisem "Delete". I im częściej go stosuję tym mi jakoś lżej.

r.ziomber · 9 Września 2017

Dnia 9/8/2017 o 15:31, wessel napisał:

Zrób to 50 razy a zobaczysz co mam na myśli..

Przeprowadzilem test na pliku RAW z Canona. Wynik: kompresja bezstratna jest... bezstratna.

Skrypt BASH (gzip i gunzip kasuja operowane przez siebie pliki i zostawiaja po sobie jedynie efekt kompresji/dekompresji):

#!/bin/bash

md5sum IMG_0522.CR2
counter=1
while [ $counter -le 50 ]
do
echo "gzip ${counter}"
gzip IMG_0522.CR2
echo "gunzip ${counter}"
gunzip IMG_0522.CR2.gz
((counter++))
done
md5sum IMG_0522.CR2

Efekt:
d2062fddd25f98f3c31df0bc1856185c IMG_0522.CR2
d2062fddd25f98f3c31df0bc1856185c IMG_0522.CR2

10 Września 2017

Dnia 9/9/2017 o 16:45, r.ziomber napisał:

Efekt:
d2062fddd25f98f3c31df0bc1856185c IMG_0522.CR2
d2062fddd25f98f3c31df0bc1856185c IMG_0522.CR2

Jesteś pewny, że to nie kolizja kryptograficzna? Lepiej sprawdzić SHA256 :rofl:

MateuszW · 11 Września 2017

Przy okazji kompresji mam pytanie. Czy różne implementacje algorytmów dekompresji (dla kompresji stratnej) dają identyczny wynik? Konkretnie mam plik mp4 i chcę go rozbić na klatki o maksymalnej jakości. Zrobiłem to pierwsza z brzegu wtyczką do virtualdub. Czy każdy inny program da mi identyczny wynik?

11 Września 2017

3 godziny temu, MateuszW napisał:

Czy każdy inny program da mi identyczny wynik?

Nie ma takiej gwarancji. Wynik zależy od kodeka, który używany jest przez oprogramowanie, a nie od samego oprogramowania. Ponadto mp4 to kontener dla różnych kodeków więc pytanie w jaki sposób to video jest skompresowane...

NB. nie spodziewałbym się rewelacyjnych wyników w procesie rozbijania mp4 na poszczególne klatki, większość kodeków które są używane w tym kontenerze używa tzw. key frames, które są obrazem pełnym, a pomiędzy nimi sa klatki stanowiące "różnicówkę" pomiędzy klatkami. Stąd stratność kompresji strumienia video i mniejszy rozmiar pliku video (nie mylić z kompresją pliku). Realnie masz szansę wyciągnąć z mp4 tylko klatki kluczowe (key frames).

PS. Przepraszam autora za OT, ale skoro padło pytanie to zawsze warto odpowiedzieć.

diwanoczko · 11 Września 2017

42 minuty temu, RadekK napisał:

PS. Przepraszam autora za OT, ale skoro padło pytanie to zawsze warto odpowiedzieć.

Nie ma problemu, właśnie po to jest ten temat założony aby jak najwięcej obszarów można było dotknąć.

4 godziny temu, MateuszW napisał:

Czy różne implementacje algorytmów dekompresji (dla kompresji stratnej) dają identyczny wynik? Konkretnie mam plik mp4 i chcę go rozbić na klatki o maksymalnej jakości.

Po pierwsze należy zaznaczyć, że dla danego skompresowanego video, z określonymi parametrami kompresji i określonym algorytmem istnieje tylko jeden prawidłowy algorytm dekompresji. Oczywiście istnieją różne implementacje dekompresji video natomiast w wyniku muszą wyprodukować ten sam rezultat zakładając, że nie wnoszą do swoich algorytmów polepszania jakości video po dekompresji co też może się zdarzyć (np. implementacja deinterlacingu może być różna w dwóch różnych dekoderach co da w ostatecznym odczuciu inny wynik).

Plik MP4 jak już zauważył RadekK jest kontenerem, który może zawierać streamy video zakodowane różnymi enkoderami. Najczęściej stosowanym standardem kodowania w dzisiejszych czasach jest H264 (starszy H263 już raczej nie używany i nowszy H265 dla jakości UHD). Standard ten definiuje kilka profili kodowania natomiast odwołując się do pytania postaram się skrócić wywód jak najkrócej. Kompresja H264 składa się z dwóch (a w niektórych profilach z trzech) typów ramek, tzw. ramek referencyjnych I-Frame or P-Frame (czasami B-Frame w różnych profilach). Kompresja video polega na zapisie wektorów przesunięć obrazu pomiędzy klatkami referencyjnymi oraz na transformacie kosinusowej, temat raczej zbyt szeroki, żeby go opisywać tutaj wić skupię się na ogólnikach. Najważniejszą rzeczą z tego jest fakt iż I-framy to ramki kalibracyjne zawierające pełną informację o całym obrazie natomiast P-fream'y zawierają informację na temat wektorów przesunięć, co za tym idzie tylko I Framy są tymi klatkami o maksymalnej jakości tzn, zawierają najwięcej wiarygodnej informacji o faktycznym obrazie zarejestrowanym przez kamerę. Gęstość upakowania klatek I zależy od parametrów kodowania i zawiera się w dość swobodnym przedziale 1 I-frame na 1-30 sekund (nie jest to reguła, górna granica może być chyba dowolnie wybrana, najczęściej spotykam się z 3-5 sekundowym okresem). To znaczy że w 60 sekundowym filmie jest ok 12-20 klatek o najlepszej jakości (przykładowo).

Kolejną sprawą jest to, że H264 używa zamiast przestrzeni kolorów RGB - YCbCr. Ludzkie oko bardzo łatwo oszukać więc aby zmniejszyć wielkość video czasami stosuje się na 8 pikseli luminancji 1 piksel chrominancji. W H264 określa się to jako stosunek 4:0:0, 2 piksele chrominancji 4:2:0, 4 piksele 4:2:2 lub stosuje się 4:4:4 który jest jakościowo najlepszy bo w tym trybie każdy piksel luminancji posiada jeden piksel chrominancji. Dlatego też, jeżeli masz możliwość ustawienia trybu, używaj 4:4:4, jest najbardziej nieefektywny ale daje najlepsze rezultaty.

A więc aby uzyskać filmy Mp4 o najlepszej jakości należy zatem każdą ramkę zapisywać jako I-frame i korzystać z 4:4:4 chroma subsampling, wtedy można powiedzieć, że mamy kodek bezstratny (prawie, pomijajać cięcie obrazu na makrobloki i użycie transformaty).

Temat jest bardzo szeroki i ciężko go opisać w jednym wątku. Najlepiej do celów gdzie jakość video ma być najlepsza, lepiej stosować kodeki bezstratne, wtedy będziesz miał pewność, że nie są one zniekształcone.

5 godzin temu, MateuszW napisał:

Czy każdy inny program da mi identyczny wynik?

Tak jak pisałem, jeżeli używasz tych samych parametrów podczas dekodowania we wszystkich dekoderach i nie zawierają one swoich "udoskonaleń" to powinieneś otrzymać ten sam wynik.

Kilka linków do poczytania z wiki:

Loki · 11 Września 2017

Szczerze mówiąc, gdybym swoje fotki (które są gówno warte, ale dla mnie bezcenne) trzymał na jednym dysku, to bym chyba w nocy nie zasnął. Dyski czasami padają!

Mam w kompie 2 x 2TB w mirrorze i podobnie jak Adam zastanawiam się, którą chmurę wybrać i tam pakować, jeśli nie wszystko, to przynajmniej wybrane RAW-y i stacki.

Niedawno widziałem ciekawą ofertę w pCloud, 2TB, na wieki, wieków za jedyne 250 USD. Sęk w tym, że ten Lifetime jest dopóki firmie się wiedzie. Jak padnie na ryj, to i dane szlag trafi, dlatego zastanawiam się nad Microsoftem, który oferuje wraz z Officem 1 TB. Office zawsze się przyda, a 1TB starczy na jakiś czas, jeśli zrobię ostrą selekcję.

Hans · 11 Września 2017

kurcze... przepraszam, ale "popsułem" niechcący. Zduplikował się trzykrotnie post usera diwanoczko, z propozycją o serwerze FTP. I jakimś cudem wyciąłem wszystkie duplikaty łącznie z pierwszym wpisem. Postaram się to odkręcić ale głowy nie dam czy mi się uda. :/

Pozdrawiam.

diwanoczko · 11 Września 2017

Nie ma problemu to zawołam jeszcze raz tylko głośniej

@Adam_Jesion, jest sprawa. Trzeba zrobić zrzutkę na serwery FTP gdzie wszyscy użytkownicy Astropolis będą przechowywać swoje zdjęcia i tak stworzymy mega bazę danych do astrofotografii Koniec z dokupowaniem dysków zewnętrznych!

Swoją drogą ciekawe ile taki serwer FTP bez limitu miejsca kosztuje ... ktoś się orientuje?

delaa · 12 Września 2017

Ciekawa propozycja - tylko jak spowodować żeby tam trafiało tylko to co ma trafiać ? "dżętelmęs agriment" wystarczyłby ? Na jakiej zasadzie mega baza ? Każdy ma dostęp do wszystkiego. Bardzo fajny pomysł i pewnie bym wszedł w to.... w razie czego.

Pozdr.

diwanoczko · 12 Września 2017

Pliki udostępniono dla wszystkich do odczytu (być może z podziałem też na public/private). Konto FTP dostępne tylko dla płatnych kont, utworzenie regulaminu korzystania pod rygorem odebrania dostępu podczas wykrycia rzeczy nie związanych z astronomią oraz z tematyką portalu. "dżętelmęs agriment" działa tylko dla "dżętelmęsów" a zawsze znajdzie się jakiś <beeep>, który to wszystko schrzani. W takich przypadkach trzeba być "twardym nie miętkim".

W sumie tak się teraz zastanowić nie głupi pomysł, jest nas trochę, więc nawet jeżeli utrzymanie takiego serwera będzie kosztować 100zł na rok to chyba nie będzie tak źle.

Z drugiej strony, zawsze jest problem z ilością kont płatnych, które mogą się zmniejszyć albo ceny za serwery wzrosnąć, dosyć ryzykowne natomiast temat zostawiam już do analizy dla władz

delaa · 12 Września 2017

100 PLN na rok na usera przy 100 chetnych....raczej :-) ale sadze ze duzo drozej...

Edytowane 12 Września 2017 przez delaa

Adam_Jesion · 12 Września 2017

11 godzin temu, diwanoczko napisał:

Nie ma problemu to zawołam jeszcze raz tylko głośniej

@Adam_Jesion, jest sprawa. Trzeba zrobić zrzutkę na serwery FTP gdzie wszyscy użytkownicy Astropolis będą przechowywać swoje zdjęcia i tak stworzymy mega bazę danych do astrofotografii Koniec z dokupowaniem dysków zewnętrznych!

Swoją drogą ciekawe ile taki serwer FTP bez limitu miejsca kosztuje ... ktoś się orientuje?

Był taki pomysł, do tego połączony z automatycznym plate solve (w celu indeksacji danych). Pojawia się też tu sporo wartości, bo jeżeli dane będą surowe, to stanowią ciekawy materiał do potencjalnej nauki.

Z analizy wynika jasno - taki projekt jest możliwy, ale musiałby być w pełni płatny. Obawiam się, że mielibyśmy pewnie z 10 klientów w PL (za granicą też nie byłoby łatwo - patrząc, jak ciężko np. astrobin zbiera kasę). Przy tak małym userbase koszt byłby kosmiczny (sam ftp nie wystarczy - trzeba by napisać interfejs, no i zagwarantować odpowiednie łącza).

Adam_Jesion · 12 Września 2017

14 minut temu, delaa napisał:

100 PLN na rok na usera przy 100 chetnych....raczej :-) ale sadze ze duzo drozej...

Zdecydowanie drożej. To musi być maszyna dedykowana i dla każdego pewnie średnio 1T przestrzeni. Dane z dobrych zestawów szybko puchną. Niestety łatwiej taką chmurę zbudować kiedy jest szansa na skalę - paradoksalnie, niż dla 20 osób.

Adam_Jesion · 12 Września 2017

Sprawdziłem, w OVH storage (backupowy, tańszy) o wielkości 26TB to koszt (za sam hardware): 76 632 zł rocznie. Zakładając, że skorzysta z tego 50 osób, to koszt wychodzi na poziomie 1500 zł rocznie (150 miesięcznie).

Czyli trzeba min. 100 osób, żeby cena spadła do racjonalnych 63 zł za miesiąc.

delaa · 12 Września 2017

Co daje "statystycznie" 260GB/usera za 756 PLN/rok... co sie niebezpiecznie zbliza do ceny NAS-a...

Pozdr.

MateuszW · 12 Września 2017

Godzinę temu, Adam_Jesion napisał:

Sprawdziłem, w OVH storage (backupowy, tańszy) o wielkości 26TB to koszt (za sam hardware): 76 632 zł rocznie. Zakładając, że skorzysta z tego 50 osób, to koszt wychodzi na poziomie 1500 zł rocznie (150 miesięcznie).

Czyli trzeba min. 100 osób, żeby cena spadła do racjonalnych 63 zł za miesiąc.

Hmm, no tylko co komu po 250 GB? Przecież to bardzo mało, jak na potrzeby, o których tu rozmawiamy. Tak więc nie ma sensu rozmawiać o zwiększeniu ilości chętnych, bo nam potrzeba dużo miejsca na dysku, a to się wyklucza. No chyba, że przy serwerze 100TB i 100 osobach wyjdzie to dużo taniej, niż 26TB i 26 osób.

Generalnie taniej kupić sobie 4 dyski po 2TB i trzymać 4 kopie... Jedyna przewaga dysków chmurowych, jaką ja widzę, to łatwość dostępu z różnych miejsc, ale poza tym same wady - wyższa cena i ślamazarna prędkość.

szuu · 12 Września 2017

można też drukować swoje pliki żadne awarie komputerów wtedy nie straszne

https://www.extremetech.com/extreme/134427-a-paper-based-backup-solution-not-as-stupid-as-it-sounds

stack-of-papers-paperback-backup.jpg.643cae08de20e5b7d402924762c0005a.jpg

majer · 12 Września 2017

Tylko gdzie składować wtedy takie sterty papieru? Trzeba mieć naprawdę dużą szafę lub magazyn. Nie można zapomnieć o konserwacji papieru również, braku dostępu wilgoci, itp.

Adam_Jesion · 12 Września 2017

2 godziny temu, delaa napisał:

Co daje "statystycznie" 260GB/usera za 756 PLN/rok... co sie niebezpiecznie zbliza do ceny NAS-a...

Pozdr.

Dlatego uważam, że idea jest bez sensu. Zdecydowaniem łatwiej i taniej zrobić taką chmurę dla zadeklarowanego miliona userów, niż dla "nas" 100. Dlaczego? To już nie temat na ten wątek.

Adam_Jesion · 12 Września 2017

2 godziny temu, MateuszW napisał:

Generalnie taniej kupić sobie 4 dyski po 2TB i trzymać 4 kopie... Jedyna przewaga dysków chmurowych, jaką ja widzę, to łatwość dostępu z różnych miejsc, ale poza tym same wady - wyższa cena i ślamazarna prędkość.

Jedyna przewaga? To mógł napisać tylko ktoś, kto nigdy chmury nie używał w praktyce. Posiadanie chmury nie oznacza, że masz nie mieć dysków. Powinieneś je mieć, ale... zsynchronizowane z chmurą. Prędkość nie ma tu znaczenia (chyba, że robisz totalny rebuild), bo to i tak w tle się aktualizuje. Ale prawda jest taka, że prędkość jest bardzo ok. U mnie, na łączu 200mbit GDrive i Dropbox wyciąga spokojnie 20MB/s, co oznacza, że zasysa mi ~1GB na minutę. Dane mam zsynchronizowane na wszystkich fizycznych komputerach oraz dodatkowo zreplikowane w wielu serwerowniach na świecie (ważne - całkowicie automatycznie, bez najmniejszej mojej ingerencji, czy choćby 1 kliku). Tylko armagedon mnie ich pozbawi.

Jest jeszcze jedna ekstremalnie wartościowa zaleta chmur - wersjonowanie out of the box. Tzn. jak plik skasuję, albo nadpiszę, to w ogóle się nie martwię. Mogę sobie go przywrócić do dowolnej daty. Żadne wirusy nie straszne, włącznie z tymi, które zaszyfrują ci pliki.

Nie wspomnę już tu o projektach, gdzie partycypuje wiele osób (a dzisiaj to podstawa - nawet tu, w obrębie zarządzania Astropolis i współpracy za kulisam). To dzisiaj podstawa. Potrzebuję udostępnić tu na forum cały surowy urobek (jak to się zdarzało)? Jeden klik i kilka GB danych jest dostępne dla wszystkich ludzi (wrzucam po prostu linka). Nie wiem, jak można się dzisiaj obyć bez dynamicznej chmury. Sorry To tylko brak świadomości, jak wygląda współczesne zarządzanie plikami.

szuu · 12 Września 2017

jak można w ogóle myśleć o budowie czegos ekonomicznie uzasadnionego w oparciu o serwer 26TB kosztujący 76632 zł rocznie, skoro na przykład google drive 30TB jest za 16800 zł rocznie (1TB za 470 zł rocznie). pomijając fakt że prawie nikt nie potrzebuje tych danych na okrągło dostępnych online, a za to też płacisz.

Adam_Jesion · 12 Września 2017

1 minutę temu, szuu napisał:

jak można w ogóle myśleć o budowie czegos ekonomicznie uzasadnionego w oparciu o serwer 26TB kosztujący 76632 zł rocznie, skoro na przykład google drive 30TB jest za 16800 zł rocznie (1TB za 470 zł rocznie). pomijając fakt że prawie nikt nie potrzebuje tych danych na okrągło dostępnych online, a za to też płacisz.

Ależ można rozważać, ale tylko wtedy, kiedy chodzi ci po głowie coś więcej. Co? Np. webowy interfejs do aplikacji przetwarzającej te zebrane dane w zakresie, który pozwoliłby zrealizować projekty, które bez chmury nie miałyby sensu (poszukiwanie SN, asteroid, etc.). Swoją drogą - nawet aplikacja do zarządzania, stackowania i obróbki spokojnie mogłaby wtedy być po stronie serwera (z mocnym zapleczem GPU do real time wizualizacji). Wtedy nawet na komórce można być w kilka kliknięć "wywołać" zdjęcie astro (z gotowymi profilami i filtrami).