Jump to content

Pixinsight i za mało pamięci RAM ; czy stakować na raty?


Recommended Posts

Od kilku lat mam qhy163 (20Mpix), coraz więcej zebranego latami materiału, zero czasu na obróbkę. Ostatecznie zawziąłem się i postanowiłem obrobić najświeższe udojone z wielkim trudem klatki. Skalibrowałem, wyrównałem i zabrałem się za stakowanie. I tu ZONK. Pixinsight uprzejmie poinformował mnie że ma access violation do pamięci, innymi słowy moje 16GB ramu jest mu za mało (komp chodzi pod Win7). Mam w sumie 70-parę klatek obiektu w kanale Ha. Drogą eksperymentalną ustaliłem że mogę zestakować nie więcej niż 43 klatki na raz. Mniej tak, więcej nie.

I teraz pytanie. Jak to obejść?? (pomijając fakt aby wymienić komputer na lepszy z dozylionem gigów... :) )

Czy można zrobić taki manewr aby najpierw zestakować klatki w porcjach powiedzmy po 30-40 sztuk a potem zestakować staki? Przejdzie coś takiego czy bez sensu?

 

 

Link to post
Share on other sites

Czy na pewno chodzi o pamięć RAM? Ja mam też QHY163M i 16GB RAM i nigdy nie miałem takich komunikatów, a bywało, że stackowałem znacznie więcej plików niż podajesz...

Owszem, kiedy zaczyna brakować pamięci na dysku to system zaczyna się buntować i wtedy trzeba jej trochę zwolnić.

 

Link to post
Share on other sites

Pix wykorzystuje dysk do czasowego przechowywania plików o ile mu się to ustawi w preferencjach. Ja mam tam podpiety SSD i zero problemów. Przechowuje tam .tmp podczas obróbki.

Edited by wessel
Link to post
Share on other sites

Pix wersja 1.8.7. Format plików xsif, po 32MB sztuka. W "swap storage directories" mam c:/users/pawel/appdata/local/temp. Dysk systemowy jest SSD 500gb wolnego 80%.

Przy próbie zestakowania 60 klatek, pix pisze że rezerwuje sobie 12GB, dojeżdża do 23% i wywala error jak na obrazku. Wykres zasobów pokazuje pik "do nieba". Zdarza się że windows pokazuje osobne okno systemowe z ostrzeżeniem że brakuje pamięci.

Natomiast stakowanie 21 klatek (dla przykładu) zużywa "tylko" 5GB i się udaje, co widać na obrazku.

Można się kopać z koniem a można go obejść. Sądzę że jakimś wyjściem jest stakowanie partiami a potem stakowanie staków. Pytanie tylko czy to da efekt końcowy porównywalny ze stakowaniem wszystkich klatek na raz.

ekran_161 2020-09-22 23.58.jpg

ekran_162 2020-09-22 23.59.jpg

ekran_163 2020-09-23 00.04.jpg

ekran_164 2020-09-23 00.04.jpg

Link to post
Share on other sites

Ja też miałem podobny problem w 2018...nie mogłem nic o większej ilości zestakować...skończyło się tak że kupiłem dysk hdd 2tb i wskazałem go jako lokalizacje plików i tego folderu temp.

Działało dość wolno, bo cały proces trwał kilka godzin ale jak najbardziej działało.

Używałem wtedy modułu. Batch preprocesing (jakoś tak się nazywa)

Stackowanie, deyberyzacja, align na gwiazdy itp, łącznie prawie pół dysku zajmowało.

Na same stackowanie to jeśli dobrze pamiętam po 400 gb pochłaniało.

 

Jak zauważyłem działo się to tak przez to że pix z każdą procedurą kopiował sobie fotki kilkukrotnie lub też przerzucał z fits na xifs.

Te pliki xifs były strasznie duże.

A ramu miałem 4 gb.

Ramy masz tak wpięte by działały w dualu?

Edited by Selmak
Link to post
Share on other sites

Pytałem o format plików, ponieważ Pix może czytać pili po kawałku (jeżeli są np. zapisane jako xsif bez kompresji), a czasami musi załadować całość (np. jeżeli działamy bezpośrednio na RAW-ach z aparatu). W tym drugim przypadku zazwyczaj są problemy z pamięcią (temat regularnie wraca na forum Pix-a).  Twojego przypadku nie dotyczy (chyba, że masz kompresję w plikach).  

 

Jak napisał przed chwilą Wessel myślę, że to  problem z konfiguracją. Dzisiaj będę składał 125 plików z FF. Mam i7 16GB RAM i ok. 260GB wolnego na dysku roboczym - to chyba największa porcja danych jaką przerabiałem za jednym podejściem., dam znać jak poszło. Na twoim miejscu spróbowałbym jeszcze tradycyjnej metody z reinstalacją programu.

Link to post
Share on other sites

Update z pola walki.

Pokopałem się nieco z koniem, żeby nie było że łatwo odpuszczam. Włączałem i wyłączałem różne ptaszki, przepiąłem katalog temp na inny, itp. Ostatecznie, jak już wszystko zawiodło zacząłem czytać opisy w opcjach stakowania. 

Odhaczyłem "automatic buffer sizes" i zwiększyłem z defoltowych 16/1024 na 64/4096. Opis sugerował że obniży to wydajność ale umożliwi stakowanie większej ilości materiału.

I bingo !!! :brawo:

Cokolwiek ta opcja robi, zrobiła w moim przypadku dobrze i pozwoliła na zestakowanie wszystkich klatek w jednej partii.

 

ekran_165 2020-09-23 22.09.jpg

ekran_164 2020-09-23 22.08.jpg

  • Like 2
Link to post
Share on other sites

Moje 125 plików (28GB) przeszło bez problemów  - zarówno zwykły stack jak i drizzle. Co do opcji "buffer size", to ostatni raz zmieniałem ustawienia na wersji 32-bitowej. W tamtym wypadku przy dużej liczbie plików faktycznie inaczej nie chciało składać. To było tak dawno, że dążyłem o niej zapomnieć :).

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Recently Browsing   0 members

    No registered users viewing this page.

  • Our picks

    • Jeśli coś jest głupie, ale działa, to nie jest głupie - o nietypowych rozwiązaniach sprzętowych
      Sformułowanie, które można znaleźć w internetach jako jedno z "praw Murphy'ego" przyszło mi na myśl, gdy kolejny raz przeglądałem zdjęcia na telefonie z ostatniego zlotu, mając z tyłu głowy najgłośniejszy marsjański temat na forum. Do rzeczy - jakie macie (bardzo) nietypowe patenty na usprawnienie sprzętu astronomicznego bądź jakieś kreatywne improwizacje w razie awarii czy niezabrania jakiegoś elementu sprzętu  Obstawiam, że @HAMAL mógłby samodzielnie wypełnić treścią taki wątek.
        • Like
      • 21 replies
    • MARS 2020 - mapa albedo powierzchni + pełny obrót 3D  (tutorial gratis)
      Dzisiejszej nocy mamy opozycję Marsa więc to chyba dobry moment żeby zaprezentować wyniki mojego wrześniowego projektu. Pogody ostatnio jak na lekarstwo – od początku października praktycznie nie udało mi się fotografować. Na szczęście wrzesień dopisał jeśli chodzi o warunki seeingowe i udało mi się skończyć długo planowany projekt pełnej mapy powierzchni (struktur albedo) Marsa.
        • Haha
        • Like
      • 119 replies
    • Aktualizacja silnika Astropolis - zgłaszanie uwag
      Dzisiaj zaktualizowaliśmy silnik Astropolis do najnowszej wersji (głównie z powodów bezpieczeństwa). Najpoważniejsze błędy zostały już naprawione, ale ponieważ aktualizacja jest dosyć rozbudowana (dotyczy także wyglądu), drobnych problemów na pewno jest więcej. Bez was ich nie namierzymy. Dlatego bardzo proszę o pomoc i wrzucanie tu informacji o napotkanych problemach/błędach.
        • Haha
      • 236 replies
    • Insight Investment Astrophotographer of the Year 2020 – mój mały-wielki sukces :)
      Jestem raczej osobą która nie lubi się chwalić i przechwalać… ale tym razem jest to wydarzenie dla mnie tak ważne, że postanowiłem podzielić się z Wami tą niezwykle radosną dla mnie wiadomością.
       
      Moja praca zajęła pierwsze miejsce w kategorii „Planety, komety i asteroidy” podczas tegorocznego konkursu Insight Investment Astronomy Photographer of the Year 2020.
        • Haha
        • Thanks
        • Like
      • 85 replies
    • Zobaczyć powierzchnię Wenus.... - mapa promieniowania termicznego (sezon 2020)
      Zacznę od zdjęcia a potem będą technikalia, opisy zbierania materiału oraz informacje o obróbce
      6 maja faza Wenus zmalała poniżej 20% więc zaczął się najlepszy okres kiedy możemy podejmować próby rejestracji promieniowania termicznego powierzchni Wenus. Czas ten potrwa mnie więcej 17-18 maja kiedy to planeta będzie już zbyt blisko Słońca i kontrast zmaleje uniemożliwiając (lub utrudniając) rejestrację tego zjawiska.
      • 30 replies
×
×
  • Create New...

Important Information

We have placed cookies on your device to help make this website better. You can adjust your cookie settings, otherwise we'll assume you're okay to continue.