Kaštel, utvrđena plemićka rezidencija, uzdizao se iznad prvotne srednjovjekovne crkvice sv. Vida i kasnije monumentalne isusovačke rotonde. Svojim je smještajem, jakim kulama i visokim ziđem prijeteći dominirao nad obzidanim gradom. U kaštelu je boravio feudalni upravitelj, no ondje se i sudilo građanima koji su prekršili zakone. Otprilike na njegovu mjestu danas se nalazi u razdoblju secesije izgrađena Sudbena palača sa zatvorom, pa je tako zadržan svojevrsni kontinuitet funkcije toga prostora. Pokraj crkve sv. Vida nalazila su se i istoimena sjeverna gradska vrata. Južno od nje prostirali su se gusti spletovi ulica Staroga grada, unutar zidina. Ispod gotovo svake bogatije kuće u ovom suhom, povišenom dijelu, inače «mokra» grada, nastalog na ušću Rječine i njezinih mnogobrojnih pritoka, u kasnom srednjem i ranom novom vijeku građena su skladišta za žito, uklesana u živoj stijeni i obzidana lijepim klesancima. Žitne zalihe trebale su poslužiti u slučaju rata i opsade grada.