Le mura di Castelfranco vennero edificate durante il Medioevo in quanto, proprio in quel periodo, iniziarono a prendere piede i primi comuni attorno alla cittadina. I Trevigiani infatti costruirono la prima difesa militare per tutelarsi dagli attacchi dei Padovani e Vicentini che volevano impossessarsi della città. La spessa muraglia rossastra, nella quale vennero scavate quattro porte, è alta circa 17 metri, presenta una base quadrata e ospita quattro torri di circa 7 metri; la principale di queste è chiamata la “Torre Davanti “e si trova proprio di fronte alla strada che porta a Treviso. Quella verso Ovest, invece, è detta porta “del Musile” e guarda alla strada che conduce a Cittadella. Un’altra Porta è detta dei Beghi dal nome della nobile famiglia che abitava proprio lì accanto, e l’altra è detta “dei morti” in quanto attraverso essa si conducevano i defunti al cimitero che si trovava dentro le mura. A causa della guerra di Cambrai avvenuta nel 1509-1517 parte delle mura crollarono.