Komputer do PixInsight

[Wiesiek1952]

Pytanie - jaki komputer do PixInsight. Pewnie było ale to się tak szybko zmienia, że nadążyć trudno.

 

Mam tak jak na obrazku poniżej:   (z Benchmarkiem z PI).

 

 

 

 

 

Wydawało mi się całkiem przyzwoite dopóki... 

 

 

 

 

 

 

Integracja w PI to dramat. Blisko 16h. RAM u mam 64Gb - to max dla tej płyty głównej (w Macu). Procesor 8 rdzeni (16 logicznych). Komputer jest sprzed trzech lat.  No i 1500 klatek statkuje się 7h.

 

 

 

 

 

 

 

No i pytanie. Co sensownego można by zanabyć dzisiaj?

 

 

 

 

 

 

[Auron]

6 minut temu, Wiesiek1952 napisał(a):

Pytanie - jaki komputer do PixInsight. Pewnie było ale to się tak szybko zmienia, że nadążyć trudno.

 

Mam tak jak na obrazku poniżej:   (z Benchmarkiem z PI).

 

 

 

 

 

Wydawało mi się całkiem przyzwoite dopóki... 

 

 

 

 

 

 

Integracja w PI to dramat. Blisko 16h. RAM u mam 64Gb - to max dla tej płyty głównej (w Macu). Procesor 8 rdzeni (16 logicznych). Komputer jest sprzed trzech lat.  No i 1500 klatek statkuje się 7h.

 

 

 

 

 

 

 

No i pytanie. Co sensownego można by zanabyć dzisiaj?

 

 

 

 

 

 

Nie no Wiesiu, wyciągaj z szafy Commodore 64 i stackuj w nim

[Kriss2022]

3 minuty temu, Auron napisał(a):

Nie no Wiesiu, wyciągaj z szafy Commodore 64 i stackuj w nim

To jak mój mieli 10min to już się wkurzam. 😁😁

[Miesilmannimea]

Kup wygodniejszy materac i idz spać po prostu...

[tex88]

Nie wiem czy jeszcze większa bestia pomoże. Poczytaj ten wątek.. są odpowiedzi od developerów.
https://pixinsight.com/forum/index.php?threads/image-integration-efficiency-with-huge-stacks.17306/

Edytowane 30 Maja 2023 przez tex88

[apolkowski]

Problemem jest dysk. Na komputerze z dyskiem M.2 na PCI 4.0 wygląda to tak:

 

 

Zmiana dysku docelowego na wolniejszy skutkuje dramatycznym wydłużeniem czasu pracy np. skryptu WBPP.

[OnlyAfc]

Też mi się wydaje, że to kwestia szybkości dysku.

Ja co prawda stackuje przez APP, ale zdarzało mi się stackować po 20h materiału i nigdy to nie trwało więcej niż 3-4h max a komputer mam na i7 i 40gb ramu.

Różnica jest taka, że dysk mam 1tb sata i jest po prostu szybki.

[.zombi.]

7 minut temu, apolkowski napisał(a):

Zmiana dysku docelowego na wolniejszy skutkuje dramatycznym wydłużeniem czasu pracy np. skryptu WBPP

 

Pix jest zwalony i najwyraźniej nie potrafi korzystać odpowiednio z pamięci RAM i dlatego jest zalecenie robienia ram dysków - czterech lub więcej - buhahaha

[Wiesiek1952]

11 minut temu, apolkowski napisał(a):

Problemem jest dysk. Na komputerze z dyskiem M.2 na PCI 4.0 wygląda to tak:

 

 

 

Zmiana dysku docelowego na wolniejszy skutkuje dramatycznym wydłużeniem czasu pracy np. skryptu WBPP.

 

 

O! To jest jakiś pomysł. Dzięki 🙂

 

Mam dwa dyski - jeden SSD i drugi tradycyjny. System widzi je jak jeden i sytem decyduje, który używać. Muszę poszperać czy można OS X zmusić do korzystania z cache na SSD only.

Edytowane 30 Maja 2023 przez Wiesiek1952

[Kriss2022]

2 minuty temu, Wiesiek1952 napisał(a):

zmusić do korzystania z cache na SSD only

W widną 10 się da jaki dysk i do czego ma służyć ale w mac nie mam pojęcia. Aż sprawdzę swoje parametry dziś. 

[Wiesiek1952]

6 minut temu, .zombi. napisał(a):

 

Pix jest zwalony i najwyraźniej nie potrafi korzystać odpowiednio z pamięci RAM i dlatego jest zalecenie robienia ram dysków - czterech lub więcej - buhahaha

U mnie wykorzystuje na poziomie 90+ % RAM. EDIT: Wykorzystuje na tyle dobrze, że uruchomienie nawet przeglądarki powoduje, że system wrzeszczy, że mu RAMu zaraz braknie.

 

Przy integracji 1500 klatek obrazek z ASI1600MM jest dzielony na 3 bo RAMu brakuje na całość - czyli nie bierze 3840 linii na raz tylko robi po ok. 1500 i zamiast 3h wychodzi 7h. Nie mam możliwości zwiększenia RAM - ograniczenie jest techniczne, nie do przeskoczenia.

 

Edytowane 30 Maja 2023 przez Wiesiek1952

[Kriss2022]

1 minutę temu, Wiesiek1952 napisał(a):

U mnie wykorzystuje na poziomie 90+ & RAM. Przy integracji 1500 klatek obrazek z ASI1600MM jest dzielony na 3 bo RAMu brakuje na całość - czyli nie bierze 3840 linii na raz tylko robi po ok. 1500 i zamiast 3h wychodzi 7h. Nie mam możliwości zwiększenia RAM - ograniczenie jest techniczne, nie do przeskoczenia.

 

Dziwne, że sobie nie radzi, tym bardziej że sprzęt masz dość dobry. Choć niegdy nie trawiłem 1500klatek. 

Swoją drogą warto może też pokombinowac i zaprzegnac procesor graficzny do pomocy, wraz a oprogramowaniem CUDA. dobrze tu sobie radzą karty z rodziny "Kepler" ale są dość drogie. 

Ja mam natomiast ledwo 32gb ramu, za to procek slabysz od Twojego. Ale mam dwie karty graficzne i 2dyski wpiete,z tego jeden SSD a drugi M2.

 Z tego 50kaltek light obrabia mi coś koło 10-15minut.a takich dużych ilości nie obrabiałem 

[Herbert West]

Coś nie gra u Ciebie.

 

U mnie jest R9 5950X (16 rdzeni fizycznych, 32 logiczne), 32GB RAM oraz dysk M.2 PCIe Samsung 970 Evo+. Najwięcej robiłem na raz ok. 820 klatek przez WBPP, z Local Normalization i nie zajęło to dłużej niż 45 minut. Ten procek nie jest 24x szybszy od Twojego. Nadmieniam, że wszystkie materiały do stakowania mam na SSD jak również folder Swap.

 

Z jakiego dysku Pix czerpie dane? Na którym dysku masz folder Swap? Warto sprawdzić.

 

Nawet jeżeli to jest SATAIII SSD to i tak nie wytłumaczy to stakowania 2000 klatek przez całą dobę...

 

Sprawdź to:

 

I to:

[Herbert West]

I jeszcze jedno. Długie projekty, które ostatnio robię nie stakuję od surówki do masterów na jeden raz, ponieważ mam różne flaty. W pierwszym rzucie kalibracja, i CosmeticCorrection.

W drugim dopiero Subframe Weighting, Registration, Astrometric Solution, LN i integracja.

 

Spróbuj najpierw kalibracja i CC, restart Pixa (albo i kompa) i cała reszta w drugim etapie.

[Wiesiek1952]

11 minut temu, Herbert West napisał(a):

….Długie projekty, które ostatnio robię nie stakuję od surówki do masterów na jeden raz, ponieważ mam różne flaty. 

To nie stanowi problemu w WBPP - wystarczy jedno słowo kluczowe (np. BATCH) i katalogi BATCH 1, BATCH 2, itd i samo sie porozdziela na różne flaty dla różnych batchy. 
 

co do reszty muszę posprawdzać. W Macu z dyskami nie jest tak jak w Windows. System używa APFS i widzi dwa dyski (SSD i SATA) jako jeden. Niby optymalizuje i na SSD powinien zapisywać cache/swap ale co tak naprawdę robi to tylko Apple wie (o ile wie).

 

Dzieki. Posprawdzam. 😀

 

 

Edytowane 30 Maja 2023 przez Wiesiek1952

[Herbert West]

1 minute ago, Wiesiek1952 said:

System używa APFS i widzi dwa dyski (SSD i SATA) jako jeden. Niby optymalizuje i na SSD powinien zapisywać cache/swap ale co tak naprawdę robi to tylko Apple wie (o ile wie).

Nie wiedziałem, że tak jest w owocówkach.

Jeżeli przyczyną jest dysk to takie poślizgi są możliwe chyba tylko gdy dysk ze swapem jest kompletnie zapchany (w sensie- kilka mega wolnych). Różnica szybkości SATA / PCIe nie jest tak duża.

 

Rozbij WBPP na kilka etapów- dwa, jak wyżej napisałem, albo i trzy, gdzie trzecim będzie wyłącznie ImageIntegration. Integracja 1400 klatek, wedle zrzutów w OP daje czas na jedną klatkę ze 3x dłuższy niż integracja ~350.

 

Albo rób WBPP na raz, ale dla każdego filtra osobno.

[tomekL]

Tam chyba dużo pomaga jakaś karta graficzna, gdzieś o tym czytałem ale trzeba by poszperać. Wykorzystują moc karty do obliczeń, różnica jest znacząca.

[Herbert West]

8 minutes ago, tomekL said:

Tam chyba dużo pomaga jakaś karta graficzna, gdzieś o tym czytałem ale trzeba by poszperać. Wykorzystują moc karty do obliczeń, różnica jest znacząca.

Nie wydaje mi się, aby WBPP korzystało z akceleracji CUDA, którą oferują karty nVidia. Starnet i inne Xterminatory owszem.

[holeris]

Najlepszy sposób na przyspieszenie stackowania, to zmiana programu stackującego. APP jest również na jabłko, stackuje równie dobrze (nawet były jakieś porównania na forum), ale o wiele szybciej. I w jego cenie nie da się sensownie ulepszyć sprzętu, a poza tym Twój jest bardzo przyzwoity.

[OnlyAfc]

Co prawda temat jest o stackowaniu w pix, ale zgadzam się, że APP robi to równie dobrze i po prostu szybciej.

[apolkowski]

48 minut temu, Herbert West napisał(a):

Różnica szybkości SATA / PCIe nie jest tak duża.

Raptem 6 do 10 razy. Albo i więcej.

 

Edytowane 30 Maja 2023 przez apolkowski

[Herbert West]

W syntetycznych testach sekwencyjnego odczytu czy zapisu będzie o wiele szybszy, ale w praktycznym użytkowaniu różnica nie jest aż taka duża jak sugeruje teoretyczna przepustowość protokołu czy max teoretyczna prędkość odczytu/zapisu.

 

EDIT: O_O 1TB 980Pro za 4 stówki? Dawno nie sprawdzałem cen dysków SSD.

Edytowane 30 Maja 2023 przez Herbert West

[Robson_g]

Zakup światło silnego teleskopu na pewno byłby rozwiązaniem tego problemu, no ale to się chyba wiąże z wyższymi wydatkami.

[Herbert West]

1 hour ago, Robson_g said:

Zakup światło silnego teleskopu na pewno byłby rozwiązaniem tego problemu, no ale to się chyba wiąże z wyższymi wydatkami.

Myślę, że problem z softem warto spróbować rozwiązać inaczej niż przez zakup nowego teleskopu 😉

Edytowane 30 Maja 2023 przez Herbert West

[.zombi.]

Pytanie co wyjdzie taniej

[apolkowski]

3 godziny temu, Herbert West napisał(a):

W syntetycznych testach sekwencyjnego odczytu czy zapisu będzie o wiele szybszy, ale w praktycznym użytkowaniu różnica nie jest aż taka duża jak sugeruje teoretyczna przepustowość protokołu czy max teoretyczna prędkość odczytu/zapisu.

 

EDIT: O_O 1TB 980Pro za 4 stówki? Dawno nie sprawdzałem cen dysków SSD.

No nie wiem. Po lewej systemowy PCI 4.0, po prawej zwykły SSD. Systemowy ma spadki zapisu ze względu na priorytet systemu nad testem, ale mimo wszystko ...