Zamek  został  zbudowany w XIV w.  przez króla Kazimierza Wielkiego,  na  sztucznym wzniesieniu w widłach rzek Obry i Paklicy,  w zachodniej  części miasta. W tym samym miejscu wznosił się  od końca  IX w. drewniany grodek, wielokrotnie przebudowywany w X  i XI w. Wówczas  zostały  zbudowane wały  o konstrukcji przekładankowej. W drugiej połowie XIII w.  w grodzie mieściła się  siedziba międzyrzeckiego kasztelana. Gród wielokrotnie był palony,  niszczony i zdobywany przez Brandenburczyków, po czym odbudowywany i nadal użytkowany. Można  przypuszczać,   że po pożarze w 1296 r. gród był raczej zamieszkany przez wojsko, które zajmowało drewniane budynki o konstrukcji zrębowej, znajdujące się w południowej części obszaru grodu. Powstanie zamku murowanego wiąże się, o czym informują w swoich kronikach Janko z Czarnkowa i Jan Długosz, z działalnością budowlaną króla Kazimierza Wielkiego. Zamek zaczęto wznosić prawdopodobnie na początku lat trzydziestych XIV w. Budowa trwała aż do schyłku lat siedemdziesiątych, czyli około 40 a może nawet 50 lat. Nie był to termin nadmiernie wydłużony, zważywszy zarówno na niezwykle sumienne wykonywanie tego typu prac, małe doświadczenie producentów cegły, jak też na to, że sezon budowlany ograniczał się wówczas do miesięcy wiosenne-letnich. Zamek wznoszono częściowo obok a częściowo na terenie dawnej warowni grodowej. Starano się przy tym nie zakłócać obronnych funkcji grodu. W tym celu w pierwszej fazie budowy wzniesiono poza grodem bramę, której strzegła murowana baszta. Wiodła od niej do wnętrza umocnień wyłożona drewnem ulica.