1344 wurde mit dem Bau der Stadtmauer begonnen, die schon um 1400 vollendet war. Die Stadt umschloss nun eine halbkreisförmige Wehrmauer mit 16 Türmen. Vier der Türme wurden 1689 von den Franzosen zerstört. Im 19 Jh., unter dem Einfluss napoleonischer Gesetze, wurde die Durchgangsstraße (heute Oberstraße) durch Zurücksetzen der Häuser verbreitert, wodurch zwei weitere Türme abgetragen wurden.

Die Tortürme (von Norden nach Süden Münztor, Markttor, Krahntor) waren ursprünglich nach innen offen, wurden dann aber in Fachwerk ausgebaut und teilweise als Wohnhaus genutzt.

In der Südmauer, die den Hang des Kühlberges in weitem Bogen zur Burg Stahleck hinaufsteigt, ist nur noch der niedrige Hutturm erhalten. In der Nordmauer, die am Hang des gegenüberliegenden Vogtbergs durch die Weinberge läuft, steht der 1899 als Wasserbehälter wiederhergestellte Postenturm. Diese Funktion wurde mittlerweile wieder aufgegeben, der Turm zur Stadtseite wieder geöffnet. Heute ist er einer der wenigen Türme, die geöffnet sind und besichtigt werden können. Von hier aus eröffnet sich ein sehenswerter Ausblick ins Rheintal.

Das Holztor (Steegertor) am westlichen Eckpunkt der Befestigung hat seine ursprüngliche Bedachung und den alten Fachwerkausbau behalten. Südlich anschließend erkennt man einen Rest der ursprünglich hölzernen Überdachung des Wehrgangs. Am Hang zwischen Holztor und Burg Stahleck steht auf halber Höhe der Liebesturm.

Seit 2007 führt der neu angelegte Stadtmauerrundweg entlang der Stadtmauer rund um die Stadt. Im Bereich zwischen Zollhof und Münzturm ist die Stadtmauer heute sogar noch begehbar und ist teilweise durch die angrenzenden Wohnhäuser überbaut. Ein Gang entlang der alten Türme und Mauern ist ein Erlebnis für sich.