Leipheim verfügt über eine zu über 80% erhaltene Stadtmauer. Die Grundlage dafür wurde im 14. Jh. gelegt.
Zur damaligen Zeit musste eine Stadtmauer beim Kaiser quasi beantragt und genehmigt werden. „Antragsteller“ waren in Leipheims Fall die Güssen, das Adelsgeschlecht, dem Leipheim damals gehörte. Die Güssen waren verantwortlich für den planmäßigen Ausbau der Stadt, so auch die Errichtung der St.-Veits-Kirche oder die Hospitalstiftung.
1327 gewährt Kaiser Ludwig der Bayer Leipheim das Marktrecht und bestätigt das im Privileg von 1330 sowie die Ausführung einer „staeten und Rechten Stat“ – im Klartext der Bau einer Stadtmauer. Eines der Tore, das so genannte Ulmer Tor befand sich am heutigen Stadtberg.