Sterrenstelsels verschillen van elkaar in vorm, afmeting en in het soort sterren dat ze bevatten. Zo hebben elliptische stelsels een elliptische vorm, maar verder nauwelijks structuur. Ze zien er dus uit als een vlek. Ze bevatten voornamelijk oude sterren en hebben daarom een gele kleur. De grootste sterrenstelsels die we kennen vinden we in het hart van clusters van sterrenstelsels en dit zijn altijd elliptische stelsels. Deze zijn ontstaan door botsingen tussen sterrenstelsels. In het midden van een cluster is het erg druk, daar zitten veel stelsels dicht bij elkaar en is de kans op botsingen dus groot. Hierbij slokt het grote stelsel de kleinere stelsels op.

Spiraalstelsels hebben meestal een heel duidelijke structuur. Ze hebben een kern, die wel wat weg heeft van een elliptisch stelsel in het klein, met daarbuiten spiraalarmen. Deze spiraalarmen zijn blauw van kleur omdat ze veel zware, jonge sterren bevatten, die heel heet zijn en dus vooral kortgolvig (=blauw) licht uitstralen. Ons eigen sterrenstelsel, de Melkweg, is een spiraalstelsel, net als het dichtstbijzijnde sterrenstelsel, Andromeda. Er zijn ook spiraalstelsels met een balkvormige structuur in het midden.

Verder zijn er nog de onregelmatige stelsels. Dit zijn stelsels die er rommelig uitzien, zonder duidelijke opbouw. Vaak zijn dit stelsels die 'botsen' met hun buren. De stelsels zijn zo dicht bij elkaar dat ze door elkaars zwaartekracht worden vervormd.

Dwergstelsels zijn kleine sterrenstelsels, die vaak grote stelsels begeleiden. Onze Melkweg wordt begeleid door de Magelheanse wolken: de Kleine Magelhaense Wolk en de Grote Magelhaense Wolk.

De afmetingen van sterrenstelsel lopen flink uiteen. De grootste kunnen wel honderd miljard sterren bevatten en een doorsnede hebben van een paar honderdduizend lichtjaar. De kleinste hebben slechts honderdduizend sterren en een doorsnede van hooguit een paar duizend lichtjaar.

Edwin Hubble maakte een classificatie van de verschillende sterrenstelsels die hij had gezien. Deze classificatie wordt nog steeds gebruikt, al zijn er vele andere soorten (zoals de onregelmatige stelsels) bijgekomen sinds Hubble. Let op: dit diagram geeft geen evolutie weer. Het ene stelsel verandert dus niet per sé in het andere gedurende de evolutie van het heelal.