Az akadémikus nem ebben a házban jött napvilágra, hanem az ugyanezen telken álló, régi földszintes épületben. Amíg az építkezés zajlott, addig a család a jánkahegyi hegyi hajlékba költözött, abba az épületbe, mely napjainkban Keresztury Ház néven az irodalmi alkotóháznak ad otthont.
A belvárosi, főtérre tekintő lakás bejárata a Mártírok útjáról egy kis udvaron keresztül nyílik. Érdemes megfigyelni a lakóház emeleti részének barokkos elemekkel vegyített, eklektikus díszű homlokzatát. Emeletén a Keresztury família otthonát és a családfő ügyvédi irodáját alakították ki, földszintjén mindig is üzleteket rendeztek be.
Az épület Mártírok útja felőli oldalán, Keresztury Dezső születésének 110. évfordulója alkalmából, 2014-ben helyezték el városunk híres keramikusművésze, Németh János domborművét. Az alkotáson a neves költő Dunántúli hexameterek című versének két sora olvasható: „Itt, itt a helyünk: szemeinkben a távol éggel, / Az itthoni föld fészkire szállni alá.”