K vysvěcení kaple sv. Ondřeje došlo pravděpodobně již v roce 1689, stavěná byla v letech 1687-1689, a to na svátek sv. Ondřeje. Takže slavnostní mše svaté se na svátek sv. Ondřeje od té doby konaly pravidelně, možná až na nějaké výjimky. Kaple je přibližně 20 m dlouhá, 10 m široká, a má dva oltáře – hlavní ke cti sv. apoštola Ondřeje, boční ke cti sv. Barbory a sv. Rosalie. V kapli jsou dvě sochy – sv. Jana Nepomuckého a sv. Františka Xaverského. Zajímavostí je, že kaple byla vsazena do původní bašty nebo-li rondelu, což bylo součástí fortifikačního opevnění, to vysvětluje, proč není hlavní oltář orientován na jih. Tato kaple nahradila původní palácovou kapli, která byla umístěná ve třetím patře původního paláce z konce 13. století a byla zasvěcena stejnojmennému světci.