Vermutlich stand in Erdberg bereits um 1200 eine Kapelle, welche dem heiligen Paulus geweiht war und im 14. Jrh. zu einer Kirche ausgebaut wurde. Im Jahre 1529, während der ersten Türkenbelagerung, wurde die Kirche zerstört. Um 1650 legte man an der Stelle einen kleinen Friedhof an, welcher bald darauf mit einem hölzernen Turm versehen wurde, in dem zwei Glocken hingen. Ergänzt wurde das ganze bald darauf mit einer Totenkapelle. Im Zuge der zweiten Türkenbelagerung im Jahre 1683 wurde jedoch alles wiederum zerstört. Der Spatenstich für den Neubau, welchen man nun den Aposteln Peter und Paul weihte, fand am 7. August 1700 statt. Um 1770 wurde die Kirche erstmals erweitert und zwölf Jahre später der umliegende Gottesacker aufgelassen.

Am 12. Juli 1832 begann man mit einem umfangreichen Ausbau der Kirche, wobei der gesamte hintere Kirchenraum bis zur Kanzel hin demoliert wurde. Zudem musste wegen einer bautechnischen Fehlüberlegung das Gewölbe über dem Presbyterium angehoben werden. Am 15. September 1833 waren die Arbeiten abgeschlossen, und die Kirche konnte feierlich eingesegnet werden. Das Kircheninnere besticht weniger mit einer reichen Ausstattung als mit interessanten Gewölbeformen und Rundbögen. Beachtenswert ist das grosse Gemälde am Hochaltar, welches die Verabschiedung der heiligen Apostel Petrus und Paulus zeigt.