La monumentale fortezza, realizzata su progetto di Antonio da Sangallo il giovane (1540 – 1543), fu costruita inglobando parte delle case, torri e strade di un intero quartiere ancora oggi percorribile all’interno e in parte abbattendo le case dei Baglioni, del borgo di Santa Giuliana, della chiesa di Santa Maria dei Servi e di molti altri edifici medievali.