Nace Šumi, eden najuglednejših slovenskih umetnostnih zgodovinarjev je leta 2006 napisal knjigo Jože Karlovšek: Poklic in poklicanost (izdajatelj Muzejsko društvo Domžale). V uvodu je zapisa, da je imel Jožeta Karlovška priložnost spoznati. Takole se ga je spominjal: »Večkrat je obiskal Mestni muzej v Ljubljani, kjer sem delal kot konzervator. Najgloblji vtis, ki ga je tedaj zapustil, je bila njegova izjemna resnost. Ne spominjam se, da bi se kdajkoli zasmejal ali celo samo nasmehnil. Takega je že pred drugo svetovno vojno upodobil Božidar Jakac, skrajno resnega in tudi brez rahlega poskusa, da bi komu ugajal.«