Costruito, secondo le fonti, nel 1245, il castello di Roccadaspide sorge su una preesistente fortificazione, "la rocca" che dà il nome alla città. Si racconta che fu Federico II di Svevia a ordinare la costruzione della fortezza, allo scopo di mettere in sicurezza il territorio dopo essere miracolosamente sfuggito alla congiura di Capaccio.

Con un perimetro lungo 400 metri, scandito da sette torri, il castello di Roccadaspide ospita al suo interno 33 stanze, le prigioni, una camera delle torture e i giardini della Corte. Al momento di massimo splendore, il castello doveva essere circondato da una cinta muraria con torrette di avvistamento e un ponte levatoio in legno. Un'eco di tale splendore sono le delicate statue in pietra, avvolte da rampicanti e circondate dalla vegetazione, che decorano i giardini di Corte, scampati in parte al bombardamento del 15 settembre 1943.

L'aspetto attuale della fortificazione risale all'epoca della ristrutturazione più importante, quella angioina, caratterizzata dalla costruzione delle cinque torri cilindriche. Il castello presenta una pianta gravitante su un cortile interno, sul quale si affacciano le stanze principali. Nella parte inferiore della costruzione trovano posto le prigioni e le camere di tortura, dove si trovano ancora oggi i ceppi e le catene con i quali erano imprigionati i condannati.

La storia più recente del castello è raccontata nel museo di famiglia ospitato al suo interno, che raccoglie i cimeli appartenuti ai proprietari che si sono avvicendati nel corso dei secoli.