Aus dem Umstande, daß Herzog Sigmund den Grundstein selbst versenkte, mag sich wohl die allgemeine Annahme entwickelt haben, daß dieser Fürst der Gründer und Erbauer der Frauenkirche sei. Dem ist jedoch nicht so; Herzog Sigmund hatte schon ein Jahr früher die Regierung niedergelegt und war durch seine arge Verschuldung wahrhaftig nicht in der Lage, ein auch für damalige Zeiten so kostspieliges Werk aus seinem Säckel herstellen zu lassen.
Mit dem Baue des Domes wurde auf der nördlichen Seite begonnen, doch bis zum August war man schon so weit nach Westen gekommen, daß zum Abbruche des einen Thurmes des alten Kirchleins geschritten werden mußte, der in der Baulinie lag.
"Meister Kirchmeier", der dermalige Stadtschreiber, berichtet darüber: "Item, den hat man untergraben und gepölzt und an einem Tage niedergeworfen und ging sofort nieder ohne Schaden des Pfarrhofs. Und ward großer Schutt und Gestein übereinander und durch die Menge des Volkes - Männer und Frauen, Edel und Unedel, Arm und Reich, Bürgers- und andere Frauen, Jungfrauen, Jung und Alt, Klein und Groß - mit gieriger Müh und Arbeit andächtiglich alles ab von der Hofstatt geräumt und getragen und in etwan zehn Tagen."
Man ersieht daraus, daß der Bau dieser Kirche den Münchenern von damals eine heilige Herzenssache war. Es stellte sich wirklich alles freiwillig in den Dienst des Baues und zu den Abräumungsarbeiten bedurfte es wahrhaftig keiner bezahlten Handlanger.
Die Arbeiten wurden mit solchem Eifer betrieben, daß im Jahre 1473 die Umfassungsmauern schon zu ihrer vollen Höhe von 115 Fuß ausgebaut waren. Das Schwierigste bei dem Riesenbau war der Gewölbeschluß - und dazu lud Meister Jörg mit Genehmigung des Rathes der Stadt verschiedene fremde Sachverständige nach München. Es erschienen die Meister: Mathias von Eichstätt, Moriz von Ulm, Konrad Roritzer, Obermeister von Regensburg, Friedrich von Ingolstadt und Meister Michel von Pfarrkirchen.
Die traten zu ernster Berathung mit Meister Jörg zusammen und er hatte die Freude, zu erfahren, daß seine Pläne, Konstruktionen und Berechnungen alle tadellos befunden wurden. Der Rath von München aber ehrte die versammelten Meister vor ihrer Abreise mit einem großen Mahle, das nach einer noch vorhandenen Stadtkammerrechnung 1 Pfd. Pfg. 6 Schilling kostete.
Vier Jahre waren zur Herstellung des großartigen Deckengewölbes der Kirche nothwendig - und nach der im Jahre 1477 erfolgten Fertigstellung begann man sofort mit dem Aufsetzen des Dachstuhles.
Es wurden dazu 2200 Bäume verbraucht, die in 140 Flößen auf der Isar herabgeschwemmt worden waren. Das "mindere" Bauholz war aus dem Walde im Norden von München genommen worden.
Als die Kirche ein Jahr später im Rohbau fertig stand, da waren aber auch die Baarmittel beinahe gänzlich erschöpft.
Die Kirchenpröpste wandten sich vorerst an Herzog Albert und dann im Verein mit diesem an Papst Sixtus in Rom, der denn auch der Kirche einen sogenannten "Ablaß" gewährte, d. h. wer für den Bau in den nächsten drei Jahren irgend etwas beisteuerte, der konnte einen vollkommenen Ablaß gewinnen.