Von der Klosterkirche führt ein Pilgerweg mit Kreuzwegstationen von Sr. Dorothea Brockmann (1899 –1983) zu dem außen bescheidenen, zweistöckigen Wallfahrtskirchlein auf dem Arz- oder Frauenberg. Laut der auf Aventin zurückgehenden Inschrift an der Empore der Oberkirche soll hier 575 der hl. Rupert eine über einem römischen Tempel errichtete Kapelle geweiht haben, was aber nicht mit dessen Lebensdaten (gest. kurz nach 716) zusammengeht. Seit den jüngsten Ausgrabungen wissen wir, dass sie Bestandteil einer nach den Ungarneinfällen im 10. Jh. erneuerten Burg der Regensburger Bischöfe war und das Bruchsteinmauerwerk der Unterkirche noch auf diese Zeit zurückgeht. Ursprünglich ein schlichter Rechtecksaal, erhielt sie im 11. Jh. die drei Altarnischen im Osten und wurde im 12. Jh. zur Doppelkirche aufgestockt. Die Weihe eines Seitenaltars zu Ehren des hl. Achatius 1358 lässt auf eine Neuausstattung um diese Zeit schließen, bei der wohl der fragmentarisch erhaltene gotische Bilderzyklus entstand.
1713 ließ Abt Maurus Bächl das marode Bauwerk bis auf die Mauern der Substruktion abtragen und durch den Kelheimer Maurermeister Caspar Öttl ein neues aufführen. Im Osten wurde eine korbbogige Apsis, im Westen eine Freitreppe und im Norden ein gedrungener Turm mit Kuppel und Laterne angefügt, in dem die Sakristei und ein Oratorium untergebracht wurden. Da bei der Einweihung der Kirche im September 1713 wegen großen Andrangs das Gewölbe der Unterkirche einstürzte, wurde das jetzige eingezogen, das von zwei toskanischen Säulen gestützt wird.
Während die Unterkirche gruftartig wirkt, überrascht die freundlich-lichte Oberkirche durch ihren zur Apsis hin einschwingenden, von einer Flachkuppel überwölbten Saal und ihre reiche Rokokoausstattung von 1755 : Stuckmarmorkanzel, flammende Stuckkartuschen seitlich des Chorbogens (mit Brustbildern des Salvator Mundi und der Mater Salvatoris, 1580), Dekor der Emporenbrüstung und Gnadenaltar von F. A. Neu. Die Säulenarchitektur des Gnadenaltars ist velumartig von einer Stuckdraperie umwallt und birgt im Zentrum eine (später überarbeitete) spätgotische Muttergottesstatue (die 1520 jene ablöste, die der hl. Rupert gestiftet haben soll). Die bewegten Seitenfiguren der für Gründungslegende und Geschichte der Frauenbergkirche maßgeblichen hll. Bischöfe Rupert (mit Salzfass) und Wolfgang (mit Kirche und Beil) flankieren das Gnadenbild wie Schreinswächter. Die Deckenfresken wurden schon 1714 wohl von C. D. Asam gemalt. Über dem Altarraum wird Maria mit der Morgenröte (Hohelied) verglichen, in der Langhauskuppel stellt der hl. Rupert im Beisein des Herzogspaars das Baiernland und Kloster Weltenburg unter den Schutz der Muttergottes. Die vier zugehörigen Eckbilder zeigen Beispiele seiner erfolgreichen Missionstätigkeit im Herzogtum : Rupert tauft die ersten Baiern, zerstört den Götzentempel auf dem Arzberg und weiht hier eine Marienkapelle ; die vom Heidentum bekehrten Christen danken der Gottesmutter. In den Stuckmedaillons dazwischen sind die Personifikationen von Glaube, Hoffnung und Liebe abgebildet, die es dem hl. Rupert ermöglichten, für die Kirche (4. Personifikation) zu wirken.