Els orígens de Švihov foren una casa construïda a la primera meitat del segle xiv. Des 1480 el castell va ser àmpliament reconstruïda en estil gòtic per part de Puta Švihovský (Puta de Schwihau). Les fortificacions massives d'aquest castell va fer que el 1655 fos inclòs en la llista de fortaleses que havien de ser destruïdes per ordre de Ferran III, tot i que al final només es va enderrocar part de les fortificacions exteriors i a partir de llavors el castell va caure en una època de decadència i es va fer servir com a graner.
El nucli del castell consta de dues ales residencials. A l'est hi ha una capella, que encara ara està oberta al culte en celebracions marianes i la possibilitat de fer-hi casaments, mentre que a l'oest trobem una imponent torre massissa. El pati interior està decorat amb la tècnica de l'esgrafiat.
Els objectes exposats a l'interior del castell mostren l'estil de vida del segle xvi. El castell està obert als visitants. Les dependències del castell va servir de teló de fons per a la pel·lícula de conte de fades de 1972 Tres nous per Ventafocs.
