Dvorec Gregorčič stoji v Šmarjeti v občini Šmarješke Toplice, na Karlovškovem trgu. To je Karlovškova rojstna hiša, pročelje dvorca pa krasi doprsni kip Jožeta Karlovška.

Rojstno hišo Jožeta Karlovška, danes Dvorec Gregorčič, je zgradil njegov oče Janez Karlovšek, in še danes se ugiba, zakaj je v tistih časih zgradil tako veličastno hišo v baročnem stilu. Še vedno se pojavljajo ugibanja o tem, da je morda razlog v tem, da je bil Janezov oče, torej ded Jožeta Karlovška, Jurij Karlovšek, potomec Auersperg-erjev. Tako je tudi zapisal Jože Karlovšek, ko je sestavil družinsko drevo rodbine Karlovšek. Domneva se, da je bil grof Nikolaj Auersperg ali kdo od njegovih sorodnikov oče Jurija Karlovška. Auerspergi (tudi Turjačani oz. Turjaški) so bili plemiška rodbina na Slovenskem in ena izmed najbogatejših in najvplivnejših plemiških družin v Avstrijskem cesarstvu.