Строительство храма относится к первой половине XII века и связано с княжением Бориса и Глеба Всеволодковичей. В их честь церковь была освящена и получила официальное название Борисо-Глебская.

Согласно преданию, строительством руководил зодчий Пётр Миланега. Название «Коложская» трактуется по-разному: либо от древнего псковского пригорода Каложи, либо от слова «коложень» — священной рощи с источниками, почитаемой ещё в языческие времена.

За столетия своего существования храм пережил немало испытаний. В 1180-х годах его повредил пожар, а в 1853 году южная стена обрушилась из-за оползня высокого берега Немана. Утраченная часть была заменена деревянной конструкцией, которая стала отличительной особенностью современного облика церкви.

Несмотря на разрушения и реставрации, храм сохранил подлинные элементы древней кладки и остаётся одним из самых ценных памятников средневековой архитектуры Беларуси.