Neben der Armee von Soldaten, die dem Lande 1,400,000 fl. (2,400,000 Mk.) jährlich kostete, gab es noch eine Armee von 10,000 und mehr Hof- und Staatsbeamten beider Geschlechter. Darunter 85 Exzellenzen, 152 geheime und gegen 1000 gewöhnliche Räthe; zum Beamtenstaat in München allein aber gehörten im Jahre 1782 nach Westenrieders Beschreibung von München nicht weniger als 3762 Personen.
Seinem großen Vorbilde Ludwig XIV. eiferte der Kurfürst auch darin nach, daß er die Zahl der Adeligen namhaft vermehrte. Wenn Vehse schreibt, er habe nicht weniger als 190 Familien in den Adelsstand erhoben, so bleibt er um die Hälfte hinter der wahren Ziffer zurück. Die Zahl der Kammerherren war bei seinem Ableben auf 600 angestiegen, wovon etwa ein Sechstel in München seinen ständigen Wohnsitz hatte.
Im Ganzen zählte der Hof im Jahre 1789 2150 Personen. Die Landjägerei war nach französischem Muster eingerichtet und bestand aus 6 - 700 Mann und in den kurfürstlichen Marställen standen 450 Pferde, obwohl der Kurfürst schon seit der Mitte der sechziger Jahre des Schwindels halber, dem er unterworfen war, weder ritt noch jagte.
Karl Theodors häusliche Verhältnisse waren keine glücklichen. Seine Ehe mit seiner Cousine Elisabeth Auguste blieb neunzehn Jahre kinderlos. Endlich schienen sich seine Hoffnungen zu erfüllen, da gebar ihm seine Gemahlin ein todtes Kind. Die Mutter entging nur mit Mühe dem Tode und mußte sich, ärztlichem Rathe gemäß, dem Gatten ganz entziehen, der damals erst 37 Jahre zählte und in der Vollkraft des Lebens stand. So war es nicht zu verwundern, wenn der Kurfürst gewisse Verbindungen einging, von denen der englische Reisende William Wraxall sagt, sie hätten sich nie durch Delikatesse oder Auswahl ausgezeichnet, wohl aber eher durch die entgegengesetzten Merkmale bemerkbar gemacht. Das Glück, das ihm die Gattin versagen mußte, suchte er in den Armen von Geliebten und hing mit rührender Zärtlichkeit an seinen natürlichen Kindern.
Die Chronik jener Tage hat uns mit seinen Geliebten bekannt gemacht. Sie nennt uns als die erste in der Reihe eine Bäckerstochter Huber aus Mannheim. Sie wurde zur Gräfin Bergstein erhoben; die zweite, Josepha Seyffert, die Tochter eines Regierungskanzelisten und Schauspielerin, machte er zur Gräfin Haideck. Ihr Sohn Carl August war der besondere Liebling des Vaters, der ihm um 300,000 fl. (514,286 Mk.) die westphälische Herrschaft Bretzenheim kaufte, die Würde eines unmittelbaren Reichsfürsten verschaffte und das Großpriorat der bayerischen Malteserordens-Zunge übertrug, mit dem ein Jahreseinkommen von 26,000 fl. (44,571 Mk.) verbunden war. Nach seiner Übersiedelung nach München folgte der Haideck die Gräfin Josephine von Törring-Seefeld, geb. Gräfin Minucci, und dieser die Freiin Elisabeth Schenk von Castell.
Im Jahre 1795, ein Jahr nach dem Tode seiner Gemahlin Elisabeth Auguste, vermählte sich der einundsiebzigjährige Kurfürst zum zweiten Male und zwar mit der siebzehnjährigen Erzherzogin Maria Leopoldine aus dem Hause Habsburg-Este und Graf Rumford veranstaltete im Auftrage seines Herrn im englischen Garten ein großes Fest.