Месцазнаходжанне: Езуіцкі калегіум размешчаны ў заходняй частцы гістарычнага цэнтра горада,
вул. Стралецкая, 4, побач з Верхнім замкам і Валам Івана Грознага.

У 1580 г. Стэфан Баторый запрасіў у горад каталіцкі ордэн езуітаў і надзяліў іх землямі і маёмасцю. У 1581 г. езуіты ў Полацку на Ніжнім замку адкрылі калегіум, першую сярэднюю навучальную ўстанову ордэна на тэрыторыі  сучаснай Беларусі.

Першапачаткова калегіум быў драўляным. У XVIII ст. комплекс калегіума і езуіцкі касцёл Звеставання Дзевы Марыі і нябеснага апекуна караля — Святога Стэфана былі пабудаваны з цэглы. Будавалі езуіты на вякі: рабілі дрэнаж зямлі, стварылі складаную сістэму вадасцёкаў, вентыляцыйныя хады, ацяпленне праз падлогу. Трэба зазначыць, што тэатр пры калегіуме існаваў з 1585 г. Полацк ганарыцца тым, што ён з’яўляецца старэйшым тэатральным горадам Беларусі. Спецыяльная бурса пры калегіуме рыхтавала музыкаў, меўся свой аркестр.

У езуіцкім калегіуме вучыліся па праграмах еўрапейскіх школ. Навучанне было бясплатным. У калегіум прымалі прадстаўнікоў усіх канфесій. Вучыліся тут дзеці мяшчан і сяляне з 10-гадовага ўзросту. За 6 гадоў вучобы трэба было авалодаць лацінскай і грэцкай мовамі, вывучыць граматыку, рыторыку, паэтыку, пазнаёміцца з працамі Цыцэрона, Цэзара, Авідыя, Вергілія, Эзопа, Гарацыя, з грэчаскай  і рымскай мііфалогіяй. У калегіуме да 1696 г. вывучалі старабеларускую мову.

Выкладчыкамі ў калегіуме працавалі добра адукаваныя людзі з розных дзяржаў Еўропы: Польшчы, Італіі, Францыі, Аўстрыі, Германіі. Гэта — філосаф і паэт-лацініст Мацей Казімір Сарбеўскі, прафесар рыторыкі Сігізмунд Лаўксмін (пазней ён у Вільні вучыў Сімяона Полацкага), аратар Казімір Каяловіч, прафесар архітэктуры Андрэй Жаброўскі, выкладчык лацінскай мовы Максім Вайцэхоўскі, выкладаў тут беларус з-пад Гародні Марцін Пачобут-Адляніцкі  — у будучым рэктар Віленскага ўніверсітэта.

У 1773 г. рымскі папа Кліментам XIV забараніў дзейнасць ордэна езуітаў. Аднак лёс беларускіх езуітаў склаўся па-іншаму. Пасля першага падзелу Рэчы Паспалітай (1772 г.) паўночна-заходняя частка сённяшняй Беларусі адышла да Расійскай імперыі. Мясцовыя езуіты прысягнулі на вернасць Кацярыне ІІ, у выніку на новых землях імперыі забарона на дзейнасць ордэна не мела моцы. Горад стаў сталіцай езуітаў, яны прыязджалі з Германіі, Швейцарыі, Іспаніі, Італіі, Польшчы і інш. У канцы XVIІІ ст. адной з найбольш яркіх постацяў Полацкага езуіцкага калегіума быў Габрыэль Грубер, які ў 1802 г. стаў генералам Ордэна. Чалавек энцыклапедычных ведаў, атрымаў адукацыю ў калегіуме Граца і Венскім універсітэце, затым навучаўся ў Люблянскім калегіуме. Пасля прыезду ў Полацк пачаў распрацоўваць праект будынка для музея. Яго адкрыццё адбылося ў 1788 г. Грубер быў не толькі выдатным інжынерам і вучоным, ён прымаў удзел у мастацкім афармленні інтэр’ераў музея. Сцены былі упрыгожаны яго фрэскамі.

У 1812 г. Полацкі езуіцкі калегіум атрымаў статус акадэміі на правах універсітэта. Спачатку ў акадэміі было 3 факультэты: філасофскі, тэалагічны, моў і літаратуры, а з 1815 г. іх засталося два — тэалагічны і факультэт філасофіі і моў. Навучанне ў акадэміі працягвалася 4-5 гадоў, навучальны год доўжыўся 10 месяцаў — з 15 верасня да 15 ліпеня. Штодня ў студэнтаў было 6 лекцый па гадзіне, у аўторак і чацвер — па тры, а ў астатні час студэнты займаліся гімнастыкай, маляваннем, музыкай і танцамі.

Пры акадэміі працавалі выдавецтва і друкарня, дзе друкаваліся падручнікі па розных дысцыплінах, календары і літаратурныя зборнікі. З 1787г. выходзіў ілюстраваны літаратурна-навуковы часопіс на польскай мове «Miesięcznik Polocki».

У езуіцкай акадэміі атрымалі адукацыю беларускі жывапісец Валянцін Ваньковіч, расійскі мастак-медальер Фёдар Талстой; адзін з заснавальнікаў класічнай беларускай літаратуры ў XIX ст., аўтар кнігі «Шляхціц Завальня, або Беларусь у фантастычных апавяданнях» Ян Баршчэўскі.

У сакавіку 1820 г. Аляксандр І падпісаў Указ аб высылцы езуітаў за межы Расійскай імперыі. Полацкую акадэмію і падначаленыя ёй навучальныя ўстановы прадпісвалася ліквідаваць. Па ўсяму свету раз’ехаліся полацкія езуіты. Прадстаўнікі полацкай акадэміі стаялі ля вытокаў стварэння сістэмы адукацыі ў ЗША, куды з’ехалі 20 езуітаў з Полацка. Напрыклад, доктар Куртыус, ураджэнец Полацка, арганізаваў у Нью-Ёрку гімназію, ураджэнец Оршы Францішак Дзеружынскі паклаў пачатак стварэнню ў ЗША сістэмы каталіцкіх школ. Былы прафесар філасофіі з Полацкай акадэміі беларус Вінцэнт Бучынскі, які ў Полацку заснаваў альманах «Miesięcznik Polocki», надрукаваў у Вене сваю працу: Метафізіка. Этыка. Логіка».

З 1822 па 1830 г. у будынках акадэміі працавала Полацкае вышэйшае піярскае вучылішча. Ад езуітаў вучылішчу засталася багатая бібліятэка звыш 20 тыс. тамоў, фізічны і мінералагічны кабінеты, музей, друкарня. Выкладанне вялося на польскай мове.

У вучылішчы працавалі рэктар і 13 высокаадукаваных выкладчыкаў, большасць з якіх скончылі Віленскі ўніверсітэт. Піяры імкнуліся ў Полацку стварыць вучэбна-асветніцкі цэнтр, накшталт універсітэта. Курсы вышэйшых навук дзяліліся на літаратурнае і матэматычнае аддзяленні, дзе вывучалі матэматыку, фізіку, грамадзянскае права, лацінскаю, грэчаскаю і польскаю мовы, гісторыю, маляванне, музыку, фехтаванне і танцы. Менавіта на гэтым аддзяленні атрымліваў адукацыю наш вядомы мастак, першы акадэмік жывапісу Іван Фаміч Хруцкі.

Пасля закрыцця піярскага вучылішча пачалося сапраўднае рабаўніцтва нацыянальнай спадчыны. Усё, што стваралася больш двух з паловай стагоддзяў, было перададзена ў розныя месцы Расіі. Маёмасць адышла ў казну, музейныя калекцыі і карціны вывезены ў Санкт-Пецярбургскую Акадэмію мастацтваў, друкарню адвезлі ў Кіеў, 256 пудоў кніг з бібліятэкі вучылішча адправілі ў сталічную Публічную бібліятэку, частка іх трапіла ва ўніверсітэт у Санкт-Пецярбургу, частка дасталася Маскоўскаму. 2 тыс. тамоў кніг было пакінута для бібліятэкі будучага кадэцкага корпуса. Фізічныя прыборы адвезлі ў сталіцу. Архіў трапіў на ўсход.

У прыстасаваных будынках былога езуіцкага калегіума ў 1835 г. быў адкрыты  Полацкі кадэцкі корпус.

У наш час асноўныя карпусы перададзены Полацкаму дзяржаўнаму ўніверсітэту. З 2005 г. тут размяшчаюцца гуманітарны факультэт і факультэт інфармацыйных тэхналогій. Полацк зноў стаў універсітэцкім горадам.

З 2002 г. ва ўсходнім крыле былога калегіума працуе Мастацкая галерэя, філіял Нацыянальнага Полацкага гісторыка-культурнага музея-запаведніка.