Jump to content
Tayson

Deep Prior - odszumianie

Recommended Posts

On tu pisze o virtualnej maszynie, aby wgrać ten skrypt na wysoko wydajnych procesorach, nie wiem czy za takie wynajęcie mocy obliczeniowej nie trzeba płacić 

Share this post


Link to post
Share on other sites

normalnie trzeba płacić ale pierwsza działka na koszt firmy :)

to programy pythonowe, nie ma powodu żeby nie działały też pod windowsem

  • Like 1

Share this post


Link to post
Share on other sites

A ma ktoś pojęcie, jaka jest wydajność tamtych GPU, które on proponuje? Czy dobra karta desktopowa ma sens? Odpaliłbym to, gdybym miał czas :)

Share this post


Link to post
Share on other sites

Ja właśnie to instaluje na google cloud compute engine - 300$ na start za darmo, więc można poklikać.

Jak mi się uda to napiszę mały tutorial co i jak.

pk

Share this post


Link to post
Share on other sites

Przecież oni tam TensorFlow używają na GoogleCloud. To jest "akademicki" skrypt, nic co da się out of the box użyć. No i moim zdaniem to takie trochę oszustwo, tam jest ML, można to sobie wyobrazić tak jakby ktoś namalował zdjecie od nowa na podstawienie materiału jaki dostał.

 

Co do prędkości na PC:

NOTE:  The script is extremely SLOW.  50 iterations take about 10 minutes to run (at least for me)...that's out of 2500-3000!.  I imagine it's faster if CUDA is enabled.  Also, I'm currently processing a 512x512 subframe of a relatively noisy stacked color M101 of mine.  Anything much bigger than that was crushingly slow, and a full size frame from a 1x1 binned 1600MM (4656x3520) couldn't allocate enough memory on my 16GB laptop.  So, realistically, this is somewhat of an academic exercise at the moment.

Edited by Sebo_b

Share this post


Link to post
Share on other sites

Widać to moim zdaniem na gifie, pyły zmieniają kształt przy końcowych iteracjach. Nie wyostrzają się, tylko zmieniają.

Share this post


Link to post
Share on other sites
21 minut temu, Sebo_b napisał:

No i moim zdaniem to takie trochę oszustwo, tam jest ML, można to sobie wyobrazić tak jakby ktoś namalował zdjecie od nowa na podstawienie materiału jaki dostał.

No nie zgodzę się. Moim zdaniem to niewiele "więcej", niż robi z materiałem np odszumianie w nowym PSie - to już nie jest jakiś prosty gaussian blur, tylko skomplikowany algorytm, który również może coś tam "domalować", jak ML.

22 minuty temu, Sebo_b napisał:

Co do prędkości na PC:

NOTE:  The script is extremely SLOW.  50 iterations take about 10 minutes to run (at least for me)...that's out of 2500-3000!.  I imagine it's faster if CUDA is enabled.  Also, I'm currently processing a 512x512 subframe of a relatively noisy stacked color M101 of mine.  Anything much bigger than that was crushingly slow, and a full size frame from a 1x1 binned 1600MM (4656x3520) couldn't allocate enough memory on my 16GB laptop.  So, realistically, this is somewhat of an academic exercise at the moment.

Ale tu gość pisze o prędkości na CPU w PC. Dobre GPU w zwykłym PC da już potężnego kopa. Ograniczeniem nie do przejścia może być jednak rozmiar pamięci...

Share this post


Link to post
Share on other sites
1 minute ago, MateuszW said:

No nie zgodzę się. Moim zdaniem to niewiele "więcej", niż robi z materiałem np odszumianie w nowym PSie - to już nie jest jakiś prosty gaussian blur, tylko skomplikowany algorytm, który również może coś tam "domalować", jak ML.

Co innego jakieś b-spline'y, wavelety, fouriery i inne "matematyczne sztuczki", a co innego domyślanie się co tam jest. Wspominają w wątku też o algorytmie w GooglePixel (piszą jednak że tego jednak nie robią), który przeszukuje sieć w poszukiwaniu podobnych zdjęć w celu odgadnięcia kolorów na zdjęciach nocnych... Można by tam podpiąć zdjęcia z Hubble'a i w ogóle by pięknie wyostrzał ;) Oczywiście nie ma twardej odpowiedzi, gdzie jest granica - dla jednego to będzie oszustwo, dla drugiego sztuka obróbki. (PS: czy poprawianie okrągłości gwiazd w Pixie jest ok czy to już oszustwo).

 

8 minutes ago, MateuszW said:

Dobre GPU w zwykłym PC da już potężnego kopa.

Używają Tesli P4 na GC. Taka karta kosztuje $2,300 na Amazonie. Ale pewnie słabsze GPU, byle z CUDA już nieźle przyśpieszy (jeśli zadziała bez modyfikacji skryptu).

Share this post


Link to post
Share on other sites
31 minut temu, Sebo_b napisał:

Co innego jakieś b-spline'y, wavelety, fouriery i inne "matematyczne sztuczki", a co innego domyślanie się co tam jest. Wspominają w wątku też o algorytmie w GooglePixel (piszą jednak że tego jednak nie robią), który przeszukuje sieć w poszukiwaniu podobnych zdjęć w celu odgadnięcia kolorów na zdjęciach nocnych... Można by tam podpiąć zdjęcia z Hubble'a i w ogóle by pięknie wyostrzał ;) Oczywiście nie ma twardej odpowiedzi, gdzie jest granica - dla jednego to będzie oszustwo, dla drugiego sztuka obróbki. (PS: czy poprawianie okrągłości gwiazd w Pixie jest ok czy to już oszustwo).

Masz rację, to kwestia postawienia granicy. Dla mnie nauczenie ML co to jest szum, a co "nie szum" to jeszcze nie oszustwo :) Ale już poprawianie detali czy kolorów zdjęcia na podstawie bazy internetowej już tak - wtedy to jest taka próba wymyślenia jak wyglądałby dany kadr, mając do dyspozycji kiepskie zdjęcie i dużo dobrych zdjęć, ale nie do końca tego samego.

36 minut temu, Sebo_b napisał:

Używają Tesli P4 na GC. Taka karta kosztuje $2,300 na Amazonie. Ale pewnie słabsze GPU, byle z CUDA już nieźle przyśpieszy (jeśli zadziała bez modyfikacji skryptu).

Chodzi mi o to, że względem CPU a desktopowego GPU będzie przepaść. A kolejna przepaść (ale mniejsza?) będzie między naszym GPU, a Teslą :)

Hmm, 2560 rdzeni cuda względem 2432 w moim 1070TI nie brzmi tak druzgocąco :) Pytanie jaka jest różnica w wydajności pojedynczego rdzenia?

Share this post


Link to post
Share on other sites
1 minute ago, MateuszW said:

Pytanie jaka jest różnica w wydajności pojedynczego rdzenia?

Ogólnie nie siedzę w tych tematach, ale z tego co kojarzę to główna różnica jest chyba też w szybkości ładowania tekstur do GPU - zwykle jest to bardzo wolne.

  • Like 1

Share this post


Link to post
Share on other sites

Eh, ludzie nakupowali cmosów to teraz zaczynają szukać coraz mocniejszych algorytmów odszumiających :P

  • Haha 4

Share this post


Link to post
Share on other sites
13 minut temu, Krzychoo226 napisał:

Eh, ludzie nakupowali cmosów to teraz zaczynają szukać coraz mocniejszych algorytmów odszumiających :P

tylko, że matryce CMOS szumią znacznie mniej niż CCD więc to zdanie jest bez sensu. Powinno być raczej tak: ludzie nakupowali starych szumiących CCD-ków to teraz zaczynają szukać coraz mocniejszych algorytmów odszumiających ;)

 

przy okazji dyskusji co wolno, a czego nie wolno przypomniało mi się pewne zdjęcie widziane na FB. Koleś zrobił fotkę mono, a kolor "pożyczył" z jakiegoś zdjęcia z internetu. Skoro można zdjęcie ściągnąć za darmo to uważa, że jest niczyje i śmiało można taki zabieg zastosować. Na słowa krytyki zareagował dość dziwacznie. Twierdził, że to spisek producentów teleskopów do astrofotografii :fool:

 

pozdrawiam

Share this post


Link to post
Share on other sites
10 minut temu, ZbyT napisał:

tylko, że matryce CMOS szumią znacznie mniej niż CCD więc to zdanie jest bez sensu. Powinno być raczej tak: ludzie nakupowali starych szumiących CCD-ków to teraz zaczynają szukać coraz mocniejszych algorytmów odszumiających ;)

A czy ktoś za czasów przedcmosowych kombinował jak by tu zaprzęgnąć serwery cloudowe do odszumiania fotek? Wnioski nasuwają się same ;)

Share this post


Link to post
Share on other sites
11 minut temu, Krzychoo226 napisał:

A czy ktoś za czasów przedcmosowych kombinował jak by tu zaprzęgnąć serwery cloudowe do odszumiania fotek? Wnioski nasuwają się same ;)

Za czasów przedcmosowych nie było wystarczająco wydajnych serwerów cloudowych :P A ludzie nie byli tak leniwi i palili 20h zamiast 2h i kombinowania z odszumianiem :P

Share this post


Link to post
Share on other sites
On 5/16/2019 at 11:52 PM, Krzychoo226 said:

A czy ktoś za czasów przedcmosowych kombinował jak by tu zaprzęgnąć serwery cloudowe do odszumiania fotek? Wnioski nasuwają się same ;)

A czy ktoś za czasów Kopernika kombinował z serwerami do odszumiania? Wnioski nasuwają się same ;)

  • Haha 1

Share this post


Link to post
Share on other sites
W dniu 17.05.2019 o 00:05, MateuszW napisał:

ludzie nie byli tak leniwi i palili 20h zamiast 2h i kombinowania z odszumianiem :P

dawniej ludzie byli leniwi i nie chciało im się czekać 10000 godzin na wynik odszumiania super algorytmem uruchomionym na zx spectrum więc szli na łatwiznę zbierając te parę godzin więcej materiału :D 

 

 

Godzinę temu, Sebo_b napisał:

A czy ktoś za czasów Kopernika kombinował z serwerami do odszumiania? Wnioski nasuwają się same ;)

jednak odszumianie na sieciach neuronowych już wtedy było ^_^

 

  • Haha 1

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Recently Browsing   0 members

    No registered users viewing this page.

  • Our picks

    • Montaż "Wirus 2020"
      A właściwie montażyk. Ponieważ mam od niedawna drukarkę 3D zająłem się analizą projektu podlinkowanego przez Gayosa w temacie o wydrukach 3D.
        • Love
        • Like
      • 53 replies
    • Astropolis w czasie pandemii - informacje o reklamie
      Nie chcę w tym miejsc rozwodzić się na temat aktualnej sytuacji epidemicznej (słyszymy to wszędzie z dużą intensywnością) więc przejdę od razu do rzeczy. Wielu członkom naszej społeczności wirus skomplikuje życie w sferze ekonomicznej i ten post chciałbym dedykować dla nich (dla nas?).
        • Love
        • Thanks
        • Like
      • 17 replies
    • MGAB-V249 - nowy rodzaj gwiazd zmiennych!
      Gwiazdy zmienne można poszukiwać na dwa sposoby. Obserwujemy losowy fragment nieba w poszukiwaniu obiektów zmieniających swój blask lub korzystamy z archiwalnych danych pomiarowych wykonanych przez różne obserwatoria astronomiczne (np. ASAS-SN, ZTF).
        • Love
        • Thanks
        • Like
      • 11 replies
    • Druk 3d. Projekty wydruków przydatnych w astronomii amatorskiej i nie tylko amatorskiej.
      @Adam_Jesion zachęcił mnie do założenia tematu odnośnie druku 3d. Z oczywistych względów nie ma sensu powielać treści poświęconych zagadnieniom sprzętowym, które można znaleźć w dedykowanych temu stronach/forach. To forum Astro, więc skupmy się naszym podwórku.
        • Like
      • 117 replies
    • Akcja grupowa - montaże Lupus AI
      Ruszamy z akcją zapisów na zakup naszych teleskopów! Oferowany montaż będzie miał sporo istotnych poprawek względem prototypu który przyjechał na jesienny zlot i który obecnie użytkuję. Będzie też przygotowany do instalacji enkodera i gdy skończymy obecnie projektowany sterownik to przyjedziemy i zainstalujemy wszystko co potrzeba.
        • Love
        • Like
      • 49 replies
×
×
  • Create New...

Important Information

We have placed cookies on your device to help make this website better. You can adjust your cookie settings, otherwise we'll assume you're okay to continue.