Dabartinės Istorinės Lietuvos Respublikos Prezidentūros sklypas suformuotas XIX amžiaus viduryje. 1844 metais sklypą, anuomet priklausiusį Kauno dominikonų vienuolynui, išsinuomojo kolegijos asesoriaus žmona Flora Čechavičienė. 1845 metais, Rusijos imperatoriaus Nikolajaus I įsakymu uždarius vienuolyną, sklypas perėjo Kauno miesto valdybos nuosavybėn. F. Čechavičienė ir toliau jį nuomojosi, tačiau jau iš Kauno miesto.
Gavusi leidimą, 1846 metais F. Čechavičienė sklype pradėjo statyti kapitono Fiodaro Vinterio projektuotą dviejų aukštų, mūrinį, čerpėmis dengtą namą. Pastato pirmame aukšte buvo numatyta įrengti 7 erdvius kambarius, o antrajame – 9, tačiau statytojai projekto itin griežtai nesilaikė. Pastatą paveldėjęs F. Čechavičienės sūnus 1852 metais jį pardavė dvaro patarėjo našlei Pranciškai Belozerskienei, kuri pastatą padidino iš abiejų pusių primūrinant rizalitus (italų kalba risalita – kyšulys – fasade per visą pastato aukštį išsikišusi pastato dalis). Praplėtus pastatą buvo suformuotas dabartinis pastato tūris, o vakariniame rizalite įrengta paradinė laiptinė. Tuo metu sklype dar stovėjo arklidės, vežiminė ir sandėlis.
1860 metais rezidenciją įsigijo Raseinių I gildijos pirklys Solomonas Feinbergas. Neterminuota nuomos sutartimi jam buvo perleistas ir sklypas, kurį 1866 metais naujasis savininkas dar praplėtė prisijungdamas pusapvalę Mugių aikštę. Ją sutvarkęs, aptvėręs ir apsodinęs augalais, S. Feinbergas įrengė miestiečiams atvirą sodą, kuris išliko atvira erdve iki šių dienų.
Dar 1843 metais buvo įsteigta Kauno gubernija, tačiau gubernatorius neturėjo tinkamos rezidencijos ir nuomojo patalpas Kauno senamiestyje. Tad 1866 metais gubernatoriaus rezidencijai buvo išnuomotas šis S. Feinbergo dviejų aukštų namas su sklypu. Kadangi patalpų reikėjo ir gubernatoriaus kanceliarijai, 1868 metais vakarinėje sklypo dalyje prie jau buvusių pagalbinių pastatų S. Feinbergas pastatė kiemo fligelį ir arklidę-ratinę. Virš arklidės-ratinės buvo pristatytas antras aukštas, pritaikytas gubernatoriaus kanceliarijai. 1876 metais Rusijos imperijos administracija nusprendė už 35 tūkstančius sidabro rublių pastatus nupirkti.
Gubernatoriaus rezidencija spindėjo prabanga: iš Rusijos buvo atgabenti masyvūs paauksuoti veidrodžiai, kurie puošė laiptinę, priėmimų salę bei židinius; įsigyta naujų prabangių baldų ir šviestuvų. Sienas puošė XIX amžiaus Rusijos dailininkų tapyti Rusijos imperatorių ir jų žmonų portretai, Rusijos provincijos miestų peizažai bei šventųjų ikonos. Pastatas turėjo visus moderniausius patogumus: elektrą, telefono liniją bei vaterklozetus. Prabangiuose rūmuose gubernatoriai su šeimomis ne tik gyveno ir dirbo, bet čia vykdavo ir įvairūs reprezentaciniai renginiai, svarbių svečių priėmimas, pavyzdžiui, apsistodavo į Vakarų Europą keliaujantys Rusijos imperatoriaus šeimos nariai.
Iki 1915 metų pastate rezidavo 14 gubernatorių. Paskutinysis rūmuose rezidavęs gubernatorius Nikolajus Griazevas iš Kauno pasitraukė 1915 metų gegužę dėl Kauno gubernijoje prasidėjusių aktyvių Pirmojo pasaulinio karo veiksmų.
