El fort de Visalgarh a la muntanya Gajapur a uns 70 km al nord-oest de Kolhapur (ciutat), avui en ruïnes, fou el centre de l'estat. Vers el 1000 estava en possessió d'un cap hindú anomenat Bhopal; vers 1453 fou atacada per Malik-ut-Tujar, general d'Ala al-Din Khan Bahmani (1435-1458) però va caure en una emboscada i el seu exèrcit aniquilat pel cap maratha local anomenat Shankar Rao More. El 1469 Shankar Rao fou derrotat pel general i ministre bahmànidaMahmud Gawan, que va entrar a Vishalgarh després de 9 mesos de setge. A la caiguda de la dinastia bahmànida el 1489, Vishalgarh va pertànyer al sultanat de Bijapur fins al 1659 que fou ocupat per Sivaji. El 1661 un exèrcit de Bijapur manat per Fazil Khan va assetjar el fort durant uns mesos, i fou bombardejat. El 1697 Purusuram Trimbak (fill del sobirà d'Aundh) era comandant de la fortalesa per compte de Rajaram I el fill petit de Sivaji el Gran, i va rebre el rang de pratinidhi (viceregent) la més alta de les dignitats marathes. Purusuram Trimbak i el seu fill van donar a bàndols dieferents en la lluita per la direcció maratha (1700-1731) entre Satara i Kolhapur; el primer fou pratinidhi de Satara i el segon de Kolhapur. El 1730 quan Kolhapur es va separar definitivament de Satara Vishalgarh va restar en mans de Janardan Pant, el feudatari (pratinidhi) de la zona amb l'anterior govern, reconegut per un nou sanad. Bhagwant Rao Abaji fou el primer pratinidhi que va entrar en tractat amb els britànics i va morir el 1819. Els següents tres sobirans van succeir per adopció. Fins al 1844 va restar el quarter general de la família. El 1844 la fortalesa fou ocupada per rebels i finalment desmantellada i la família reial es va traslladar a Malkapur. El darrer dels tres successors per adopció va morir el 1871 deixant un fill de nom Abaji Krishna Panth Pratinidhi, un hindú braman menor d'edat que va quedar sota custòdia de l'agent polític a Kolhapur.
