La presqu'île du Gauss et ses alentours forment un labyrinthe de petits lacs et de montagnes au relief modeste, entrecoupées de vallées où coulent de nombreuses rivières.

Contrairement à la majorité des autres secteurs des îles Kerguelen, il est assez facile de se perdre dans ce dédale, surtout par mauvais temps.

Le nom a été donné en 1902 par l'expédition du Gauss, navire océanographique allemand qui a déposé la mission scientifique d'Emil Werth sur cette presqu'île.