1278-ban Szent András kápolnájaként (Capella S. Andreae) említették, ám idővel pusztulásnak indult: 1617-ben már nem használták misézésre. A következő fontos évszám 1785, amikor is elnyerte mai formáját, barokk stílusát (ekkor vette fel a Mindenszentek titulust). Ekkor épülhetett szomszédságában az a kicsiny, barokk kápolna, amelynek oltárán Nepomuki Szent János szobrát helyezték el. Az andráshidai templomban már 1973-ban végeztek feltárásokat, mégis negyven évvel később került elő a román kori oltár alapja, majd egy sír. A benne elhelyezett férfi csontjait 2014-ben ismét elhelyezték a templomban, a padlón a következő felirat emlékezik rá: „Hitünk szerint e kő alatt a XIII. században élt kegyúr Fábián fia, András csontjai pihennek”. A templomot 2014 őszén Szent Kereszt Felmagasztalása néven újraszentelték.