Utvrdu Prozor, poznatu i kao Grad, na strmoj kamenoj padini Kozjaka, neposredno iznad mjesta Vrlike, sagradio je Ivaniš Nelipić potkraj 14. stoljeća. Prvi se put spominje u ispravi iz 1406. kojom ju je poklonio zetu, bosanskom vojvodi Hrvoju Vukčiću Hrvatiniću i svojoj kćeri Jeleni. Nakon Hrvojeve smrti utvrda je u rukama Ivaniša Nelipića (1416–1434), Ivana VI. Frankopana (1434–1436), braće Talovac (1437–1453), Celjskih grofova (1453–1456) te bana Pavla Špirančića (1459–1466) čija je udovica prepustila Prozor kralju Matiji Korvinu. Osmanska vojska osvojila je Prozor 1522. Nakon što su Mlečani oslobodili Prozor tijekom Morejskoga rata (1684–1699) taj je plemićki grad bio sve do 1718. mletačka pogranična utvrda prema Osmanskome Carstvu kada počinje gubiti svoj značaj te je ubrzo napuštena.
Utvrda ima tlocrt u obliku nepravilna pravokutnika, branjenog snažnom dvokatnom pravokutnom palačom, okruglom kulom te manjom polukružnom predutvrdom u jugozapadnome dijelu utvrde (Gamulin, 1992: 23).