Jak efektywnie przechowywać zebrane materiały?

[Adam_Jesion]

Dodam, że każdy tekst wysyłany na tym forum do waszej przeglądarki (z serwera) jest kompresowany w locie gzipem

[Gość wessel]

Wykonałem kiedyś taki test ( z konieczności zawodowej) - 50 razy plik HD został skompresowany i rozpakowany ( o ile pamiętam ZIPem) i porównany z plikiem oryginalnym. Szkoda że nie mam go już, bo zobaczylibyście ciekawe rzeczy. No chyba że plik video rządzi się innymi prawami, ale w końcu i to i to to tylko bity informacji.

Edytowane 8 Września 2017 przez wessel

[Adam_Jesion]

Teraz, dziki napisał:

Też tak myślę Cały czas mam wrażenie że rozmawiamy o dwóch różnych systemach walutowych - Maciek o przekształceniach obrazu a my o operowaniu na danych, gdzie na wyjściu MUSZĘ dostać 1:1 tego co włożyłem na wejściu.

 

Ale, jak napisałem, eksperymenty fajne są, wrzucę darka do zipa, unzipnę i tak 50 razy, zobaczymy co pokaże stretch na koniec.

Nie rozdrabniaj się - dawaj 1 milion razy. Jeżeli RAR zmieni ci choć bit danych, to nawet go nie rozkompresujesz, bo nie będzie się zgadzać suma kontrolna.

[RMK]

Tu nie ma co badać. Zapisanie obrazu jako JPG - otwarcie i zapisanie ponownie, jak i operacje graficzne ingerujące w dane binarne zawsze pogorszą jakość. Tak, jak i kompresja stratna.

Kompresja bezstratna nie zmieni nic. Co najwyżej przy każdej próbie można otrzymać inny "słownik" do skrótu jeśli stosujemy np. metodę słownikową i zmieniamy jakieś parametry kompresji albo kompresujemy grupę plików i dołożymy np. kolejny plik do grupy.

[Gość wessel]

No sam jestem ciekaw testu - jak rozumiem na TIFFie. Może gdzieś odgrzebię tamte testy, poszukam.

[dziki]

Na milion nie mam czasu Ale na 50 pewnie znajdę. Wezmę na tapetę darka + krótki filmik HD. Dla mnie to sprawdzanie oczywistości ale skoro Maciej miał taki przypadek to przecież tego sobie nie wymyślił, więc czemu tego nie sprawdzić.

 

Maciej chciałem na fitsie, ale bez różnicy - wezmę do paczki fitsa i tiffa.

[Gość wessel]

7 minut temu, dziki napisał:

Też tak myślę Cały czas mam wrażenie że rozmawiamy o dwóch różnych systemach walutowych - Maciek o przekształceniach obrazu a my o operowaniu na danych, gdzie na wyjściu MUSZĘ dostać 1:1 tego co włożyłem na wejściu.

 

Ale, jak napisałem, eksperymenty fajne są, wrzucę darka do zipa, unzipnę i tak 50 razy, zobaczymy co pokaże stretch na koniec.

Chciałbym tym razem nie mieć racji

Moje doświadczenie dotyczyło pliku MPEG 2 zapisanego strumieniem 20 Mb/s - to tak gwoli opisu warunków doświadczenia.

Edytowane 8 Września 2017 przez wessel

[Adam_Jesion]

Teraz, wessel napisał:

No sam jestem ciekaw testu - jak rozumiem na TIFFie. Może gdzieś odgrzebię tamte testy, poszukam.

Wierzę ci, że coś tam dziwnego ci wyszło, ale... na 100% musiałeś użyć czegoś dodatkowego, a niektóre appki do kompresji pozwalają np. automatycznie aktywować kompresję stratną w przypadku zdjęć, żeby poprawić efektywność "pakowania", ale to nie jest wtedy bezstratna kompresja. Amen. W TIFF zawsze używa się (na poziomie PRO) wewnętrznej kompresji bezstratnej (LZW), którą możesz użyć nawet z poziomu Photoshopa. Obraz będzie bit w bit identyczny. W tym rzecz. Tak się przecież kompresuje aplikacje, gdzie błąd na poziomie 1 bitu równa się crash aplikacji.

 

Ze strony ZIP: "WinZip compression is lossless. When you extract the files in a Zip file created by WinZip, the result will be exact, byte for byte duplicates of the original files. There is no loss of fidelity, no loss of image quality, and no change in data associated with zipping or unzipping. In fact, WinZip's default setting will preserve extended time stamps so that the files you zip and unzip will have the same Modified, Created, and Accessed date and time."

[Krzychoo226]

Gdyby to była prawda to oznaczałoby jakiś poważny błąd w programie który symuluje nasz wszechświat. Warto opisać kroki reprodukcyjne i podesłać autorowi symulacji, bo najwyraźniej serwis "matematyka" ma jakieś bugi

[Adam_Jesion]

2 minuty temu, wessel napisał:

Chciałbym tym razem nie mieć racji

Gdybyś miał rację, to byłby koniec świata - włącznie z malfunkcją elektrowni atomowych, satelitów, stacji kosmicznych, nie wspominając o wielkich bazach danych, giełdach walutowych, całych gospodarkach. Auć

[Gość wessel]

Dobra, nie bijcie. Opisałem czego doświadczyłem i tyle. Może niesłusznie przeniosłem to na grafikę. Teraz tak myślę że przetwarzanie (kompresowanie ) materiału MPEG 2 ( która sama w sobie jest stratną metoda kompresji) to jednak coś innego niż kompresowanie bezstratnego formatu TIFF. I tu jest pewnie pies pogrzebany.

Takie przetwarzanie MPEG2-ZIP-UNZIP-MPEG2 może dawać różne efekty niż  TIFF-ZIP-UNZIP-TIFF, tak?

Edytowane 8 Września 2017 przez wessel

[Krzychoo226]

Absolutnie nie, nie ma znaczenia jakie dane otrzyma algorytm, jeżeli kompresuje bezstratnie to po rozpakowaniu dostaniesz bit w bit ten sam plik.

[Agent Smith]

43 minuty temu, Adam_Jesion napisał:

Dodam, że każdy tekst wysyłany na tym forum do waszej przeglądarki (z serwera) jest kompresowany w locie gzipem

Hmmm, czytając niektóre z tych tekstów można faktycznie odnieść wrażenie, że zip jest jednak stratnym formatem kompresji.

Ja czasem nie poznaję nawet swoich własnych... 

[Morth]

Pamiętajcie, że w przypadku magnetycznych dysków należy co jakiś czas (rok) skopiować/usunąć pliki i ponownie zapisać. 

[dziki]

51 minut temu, wessel napisał:

Takie przetwarzanie MPEG2-ZIP-UNZIP-MPEG2 może dawać różne efekty niż  TIFF-ZIP-UNZIP-TIFF, tak?

Z punktu widzenia kompresji bezstratnej nie ma żadnego znaczenia czy to wideo, obraz czy soft - dane to dane. To co wejdzie w kompresję bezstratną ma pojawić się po zdekompresowaniu 1:1, bit w bit.

[Adam_Jesion]

2 godziny temu, Agent Smith napisał:

Hmmm, czytając niektóre z tych tekstów można faktycznie odnieść wrażenie, że zip jest jednak stratnym formatem kompresji.

Ja czasem nie poznaję nawet swoich własnych... 

Przeszło mi to przez myśl, ale nie miałem odwagi napisać

[delaa]

2 godziny temu, Morth napisał:

Pamiętajcie, że w przypadku magnetycznych dysków należy co jakiś czas (rok) skopiować/usunąć pliki i ponownie zapisać. 

Też bym chciał żeby dzisiaj był pierwszy kwietnia oj jak bardzo niestety wrzesień ....

Pozdr.

[JaLe]

Zależy na co kogo stać. Dla mnie NASy są za drogie. Dlatego zwykle w ciągu roku kupuje kilka przenośnych dysków zwykle 1 - 2 TB.  Mam ich już 6 i w końcu muszę się zmobilizować do opisywania :/

[Gość wessel]

No dobrze, udowodniliście mi że nie mam racji.

Muszę wrócić do zapisków  z tamtych służbowych testów i spróbować zrozumieć co tam się stało.

[r.ziomber]

Sama kompresja MPEG-2 poprzez ZIP czy RAR jest raczej zbyteczna. Prawdopodobnie nie przyniesie to prawie zadnych korzysci. Na ogol algorytmy kompresji bezstratnej sa zaimplementowane w samym kodeku, ktory naklada je po wykonaniu kompresji stratnej.

 

Do testu, czy kompresja bezstratna powoduje... straty mozna napisac prosty skrypt BASH.

 

oblicz sume kontrolna pliku

50x wykonaj{

skompresuj plik

usun plik

zdekompresuj plik

usun skompresowany plik}

oblicz sume kontrolna pliku

Edytowane 8 Września 2017 przez r.ziomber

[Gość wessel]

14 godzin temu, Jagho napisał:

Ta dyskusja schodzi na poziom tej o płaskiej Ziemi.

Zapomniałeś że to forum astro a nie klub dyskusyjny geniuszy informatycznych. Nie każdy musi być omnibusem.

[Jagho]

4 godziny temu, wessel napisał:

Zapomniałeś że to forum astro a nie klub dyskusyjny geniuszy informatycznych. Nie każdy musi być omnibusem.

Nie o to chodzi. Oczywiście, że nikt nie wie wszystkiego i każdy z nas się czasem myli. Komentarz ten zamieściłem w chwili, kiedy zanosiło się, że zamierzasz bronić swojej błędnej opinii, że "nie ma kompresji bezstratnych" i zaraz po Twoim wpisie o artefaktach i innych śmieciach wnoszonych przez ZIP czy RAR (reakcja na wpis Agenta Smitha). Należy docenić to, że jednak potrafiłeś się później wycofać i nie brnąłeś dalej. To dzisiaj rzadka cecha. Chapeau bas.

[Gość wessel]

Wiesz, ja jestem baaardzo starej daty

[Morth]

17 godzin temu, delaa napisał:

Też bym chciał żeby dzisiaj był pierwszy kwietnia oj jak bardzo niestety wrzesień ....

Pozdr.

Dysk się rozmagnesowywuje jak jest nieużywany. Więc trzymając w szufladzie dysk z danymi, ryzykujemy ich uszkodzenie. To jest powszechnie (a może jednak nie) znane zjawisko.

[delaa]

^ A jak jest w komputerze (znaczy używany) to komputer sam przepisuje raz na jakiś czas tak ?  całość dysku czy po trochu ? z jednego clustra do drugiego czy do tego samego jeszcze raz ? i kiedy to robi ? w nocy w tle ? 

Ciekawi mnie to ...

PS. Myślę że kolejny "urban legend" padnie wtym wątku....

Jedyne niebezpieczeństwo przechowywania danych na dyskach jest takie że za 10 lat możesz nie mieć go do czego podłączyć ;-)

 

Edytowane 9 Września 2017 przez delaa