Około roku 1336 biskup włocławski Maciej z Gołańczy, w miejscu istniejącego wcześniej i zniszczonego grodu, rozpoczął budowę murowanego zamku. Wykorzystano naturalne walory obronne miejsca, jakim był cypel wyniosłego wzgórza wysuniętego w kierunku rozległej lewobrzeżnej nadwiślańskiej doliny. Z trzech stron broniły go strome zbocza, natomiast od zachodu od strony miasteczka wykopano szeroką suchą fosę. W pierwszej fazie wzniesiony został we wschodniej części wzgórza ceglany dom mieszkalny zwany "kamienicą wielką". Budynek zbudowano na planie prostokąta o wymiarach 12 x 25 m. Posiadał zapewne trzy kondygnacje i przykryty był wysokim dwuspadowym dachem. Kolejny biskup Zbylut z Gołańczy rozbudował "kamienice" o 3,5 m w kierunku zachodnim. Dzięki temu dom zamkowy zyskał dodatkowe pół traktu. Kolejna rozbudowa zamku miała miejsce pod koniec XV wieku. Przystąpiono wówczas do wznoszenia murów obwodowych otaczających zamkowe wzgórze.
   W roku 1531 biskupem włocławskim został Jan Karnkowski. Według historyków za jego czasów powstała murowana ceglana wieża. Usytuowana została na południowej krawędzi wzgórza zamkowego. Wzniesiona na planie kwadratu o boku 6,8 m i wysoka na około 10 m posiadała trzy kondygnacje i zwieńczona była czterospadowym dachem namiotowym.
   Autorem największych zmian gotyckiego zamku był biskup Hieronim Rozdrażewski, który swój urząd objął w roku 1581. W wyniku zainicjowanych przez niego prac dokonano przebudowy wnętrz "kamienicy wielkiej" oraz zamknięto murem zamkowy dziedziniec. Zbudowano długi trapezoidalny dom południowy, mieszczący kuchnię i piekarnię. Drugi budynek powstał przy murze północnym. Wzniesiony w konstrukcji szachulcowej przeznaczony był na siedzibę starosty. Kolejnym zbudowanym w tym czasie obiektem była murowana wieża bramna. Powstała na zachodnim przesmyku wzgórza zamkowego na osi "kamienicy wielkiej". Miała zapewne plan kwadratu i nie była wkomponowana w obwód murów. W dolnej kondygnacji posiadała przelot bramny na piętrze izbę. Od zachodu wzgórze zamkowe poprzedzał mały przygródek. Otoczony parkanem posiadał drewnianą zabudowę o charakterze gospodarczym. Oddzielony był przekopem z drewnianą bramą z opuszczanym na łańcuchach mostem.
   W drugiej połowie XVII wieku nie remontowany zamek zaczyna popadać w ruinę. W roku 1706 biskupem włocławskim zostaje Felicjan Szaniawski. Ponieważ stara siedziba nie nadawała się do zamieszkania, wzniósł on na północnym skraju skarpy na terenie podzamcza nowy budynek szachulcowy nazwany "pałacem pańskim". Kolejny biskup Krzysztof Antoni Szembak dokonał rozbiórki gotyckiego zamku i przystąpił do budowy barokowej rezydencji wykorzystując pozostawione mury "kamienicy wielkiej". Prace kontynuował jego następca biskup Walenty Czapski. W wyniku rozbiorów nastąpiła sekularyzacja majątków biskupich w tym także Raciążka. Rozpoczął się okres dewastacji rezydencji i jej rozbiórek w celu pozyskania materiałów budowlanych.
   W latach 70. XX wieku zapoczątkowano prace archeologiczne i konserwatorskie. W ich rezultacie wyeksponowano ukryte wcześniej pod ziemią partie murów. Zaznaczono przebieg murów obwodowych i nadbudowano wieżę biskupa Karnkowskiego. Obecnie zamek w Raciążku jest tzw. trwałą ruiną.

fot. J. Drożdż