Der Neptunbrunnen hatte ursprünglich im Innenhof des Residenzschlosses gestanden. Fürstbischof Clemens August von Bayern (1719-1761) schenkte ihn den Bürgern der Stadt. 1730 wurde er auf dem Markt aufgestellt und um eine vom Bildhauer Johann Theodor Axer geschaffene Neptun-Figur ergänzt.
Bomben und Brände zerstörten 1945 die meisten Häuser am Markt. Der Wiederaufbau nahm ab 1947 acht Jahre in Anspruch. Nicht alles konnte oder sollte wiederhergestellt werden. Haus Goertz (Nr. 5) entstand 1946/47 neu. 1977 baute man ein im frühen 18. Jh. entstandenes Barockportal ein, das zuvor das Hotel Löffelmann am Kamp geschmückt hatte. Es war beim endgültigen Abbruch 1959 gesichert und eingelagert worden.
Nachdem ein Bombenvolltreffer den Neptunbrunnen buchstäblich ausradiert hatte, blieb die Stelle bis 1979 frei. Der Paderborner Künstler Josef Rikus schuf eine neue Neptun-Figur. Beim Ausheben der Baugrube stieß man auf Reste des alten Brunnens. Sie werden seit 2018 im Residenzmuseum Schloß Neuhaus ausgestellt.
