Es va construir com la segona i més gran residència de la família Radziwill a Vílnius. L'edifici actual el va manar edificar pel príncep polonès-lituà Janusz Radziwill, i es va aixecar entre els anys 1635 i 1653, amb disseny de l'arquitecte Jan Ullrich. El complex va quedar ruïnós després de la guerra dels Trece Anys, va estar abandonat durant molts anys. Durant la Primera Guerra Mundial va ser àmpliament devastat, conservant-se tan sols la seva ala nord. A la dècada de 1980 va ser restaurat parcialment per allotjar una secció del museu d'art lituà.
La seva arquitectura és tardo renacentista, amb traçats del renaixement holandès i decoracions manieristes lituanes. La seva disposició simètrica original evocava el renaixement francès tardà, concretament als parisencs palaus de Fontainebleau i de Luxemburg a París.
