Die Stadt Osterode am Harz liegt in einem von Nordwest nach Südost verlaufenden Tal zwischen Harz und den Erhebungen des Harzvorlandes, die im Bereich der Ortsteile Petershütte und Katzenstein steil abfallen und als Gipsklippen zu Tage treten. Im Südosten der Stadt befindet sich ein sumpfiges Gebiet mit mehreren teils natürlichen, teils künstlichen Teichen.
Durch die Stadt fließt die Söse, die etwa 5 km vor der Stadt zur Sösetalsperre aufgestaut wird. Die Söse-Talsperre wurde 1931 fertiggestellt und hat ein Fassungsvermögen von 25,5 Millionen m³; durch die Harzwasserwerke wird Trinkwasser bis nach Bremen geliefert. In Osterode münden die Apenke und der Lerbach in die Söse