Κατά τη διάρκεια της Φραγκοκρατίας η επαρχία των Καλαβρύτων αποτελούσε τη μικρότερη διοικητική και φορολογική ενότητα του θέματος Πελοποννήσου. Όταν καταλήφθηκε η Κωνσταντινούπολη από τους Σταυροφόρους (1204) και δημιουργήθηκε το Πριγκηπάτο του Μορέως (1205), τα Καλάβρυτα έγιναν έδρα μιας από τις είκοσι βαρονίες του και χωρίστηκαν σε δώδεκα ιπποτικά φέουδα. Πρώτος βαρόνος ήταν ο Όθων ντε Τουρνέ, τον οποίο διαδέχτηκαν αρχικά ο Ιωάννης και στη συνέχεια ο Γοδεφρείδος. Στα χρόνια εκείνα δόθηκε στη πόλη το όνομα «Καλάβρυτα» και χτίστηκε το κάστρο (1208) ανατολικά της πόληςκαι αρκετά μικρότερα φρούρια στην ευρύτερη περιοχή.