Żeby wyciągając uzyskać fajny efekt musimy mieć dobry materiał. W przypadku tych obiektów, które przedstawiłeś powinieneś (niech zaryzykuję) co najmniej 5 a lepiej 10 godzin naświetlać. Zaryzykuję stwierdzenie, że u Ciebie jest tego wielokrotnie mniej. Na dodatek, aby dobrze wyszły mgławice wodorowe powinieneś fotografować aparatem modyfikowanym (z usuniętym filtrem blokującym dłuższe fale). Również zaryzykuję stwierdzenie, że fotografowałeś zwykłym, niemodyfikowanym DSLR-em. Z takiego materiału jaki przedstawiłeś nie da się uzyskać zdjęcia o jakim pewnie marzysz. Zbierz 10 godzin, w subach po 10 minut, ISO 800, zestackuj i zobaczysz, że zwykła zabawa krzywymi w PS-ie bez żadnych sztuczek, maskowania, usuwania gwiazd, mieszania warstw itp. przyniesie efekt jakiego nawet się nie spodziewasz. A dla ułatwienia potrenuj najpierw z materiałem monochromatycznym żeby niepotrzebnie się nie stresować wychodzącymi zafarbami i kolorowym szumem.
ps
No i flat koniecznie, sztuczny flat w przypadku fotografowania mgławic się nie sprawdza.