Du lernst, warum ein Modell manchmal dauerhaft in die falsche Richtung schätzt, warum es manchmal auf neue Daten überreagiert und wie du beides im Alltag und im Machine Learning erkennst.
Systematischer Fehler: Das Modell liegt nicht zufällig daneben, sondern immer mit derselben Tendenz.
Stell dir eine Uhr vor, die immer zehn Minuten nachgeht. Sie springt nicht wild hin und her, sondern ist konsequent daneben. Genau deshalb kannst du schon fast vorhersagen, wie sie falsch liegt.
Oder denk an einen Backofen, der dauerhaft 20 Grad zu heiß ist. Auch hier gibt es keine Laune des Geräts, sondern einen festen Versatz. Das Ergebnis: Dein Kuchen ist regelmäßig dunkler als geplant.
Im Machine Learning nennen wir so etwas . Gemeint ist die systematische Abweichung zwischen der durchschnittlichen Modellvorhersage und der echten Realität.
Bei der linearen Regression taucht hoher Bias oft dann auf, wenn du einen gekrümmten Zusammenhang mit einer einzigen Geraden beschreiben willst. Das Modell ist dann zu schlicht für die eigentliche Form der Daten.
MSE = Bias² + Varianz + Noise
Der Bias-Term beschreibt den Teil des Fehlers, der durch eine falsche oder zu einfache Modellannahme entsteht. Bias wird quadriert, damit große systematische Fehler besonders deutlich ins Gewicht fallen.
Du musst hier nichts herleiten. Wichtig ist nur: Bias meint nicht Zufall, sondern eine dauerhafte Schlagseite im Modell.
Was nimmst du mit?
Bias ist wie eine Uhr, die immer in dieselbe falsche Richtung geht. Wenn ein Modell dauerhaft zu grob oder zu simpel ist, steckt oft genau dieser systematische Fehler dahinter.
Varianz zeigt, wie empfindlich ein Modell auf neue Trainingsdaten reagiert.
Denk an Dartpfeile. Wenn alle Pfeile eng beieinander, aber links neben der Mitte landen, ist der Wurf systematisch verzogen. Wenn sie weit verstreut über die Scheibe gehen, ist dein Wurf unruhig und schwer vorhersehbar.
Das Bild hilft enorm: Bias ist die dauerhafte Verschiebung, Varianz ist die Streuung. Beides kann getrennt oder gleichzeitig auftreten.
beschreibt, wie stark sich die Modellvorhersage ändert, wenn du das Modell mit einem etwas anderen Trainingsdatensatz neu trainierst.
Sehr komplexe Modelle reagieren oft empfindlich auf Zufallsrauschen. Dann sehen sie im Training brillant aus, verlieren aber auf neuen Daten schnell an Stabilität. Genau das ist der klassische Weg Richtung Overfitting.
Wenig Varianz = ruhig · Viel Varianz = nervös
Viele Pfeile dicht beieinander, aber neben der Mitte: hoher Bias, niedrige Varianz. Viele Pfeile weit verstreut um die Mitte: niedriger Bias, hohe Varianz.
Das Ziel im Modellbau ist nicht bloß wenig Bias oder bloß wenig Varianz, sondern ein brauchbares Gleichgewicht.
Was nimmst du mit?
Varianz ist die Unruhe eines Modells. Wenn kleine Änderungen in den Trainingsdaten zu stark wechselnden Vorhersagen führen, ist das Modell zu nervös eingestellt.
Warum Fehler in echten Daten fast nie nur eine einzige Ursache haben.
Stell dir einen Eisladen vor. Je wärmer es wird, desto mehr Kugeln gehen meistens über die Theke. Aber das ist nicht die ganze Geschichte: Ferien, Regen, ein Stadtfest, ein plötzlicher Gewitterschauer oder ein Feiertag verändern den Verkauf zusätzlich.
Du kannst also einen klaren Trend haben und trotzdem nie alles perfekt erklären. Genau an dieser Stelle kommt der Begriff ins Spiel.
Noise ist der Teil der Realität, den dein Modell selbst mit den besten Absichten nicht vollständig erfassen kann. Es bleibt immer ein Rest an unvorhersehbaren Einflüssen.
Ein Modell mit hohem Bias ignoriert wichtige Struktur. Ein Modell mit hoher Varianz jagt jedem kleinen Zucken in den Daten hinterher. Ein gutes Modell findet einen vernünftigen Mittelweg.
MSE = Bias² + Varianz + Noise
Der mittlere quadratische Fehler setzt sich gedanklich aus drei Bausteinen zusammen: systematischer Fehler, Empfindlichkeit auf Trainingsdaten und unvermeidbares Rauschen.
Wenn du ein Modell verbessern willst, solltest du immer überlegen, welcher Teil gerade das Hauptproblem ist.
| Modell | Beschreibung | Deine Einordnung |
|---|---|---|
| Modell A | Sagt unabhängig vom Wetter jeden Tag einfach 50 Kugeln voraus. |
|
| Modell B | Folgt jedem einzelnen Datenpunkt aus dem Training fast perfekt und knickt bei jedem kleinen Ausreißer stark ab. |
|
| Modell C | Erkennt den Temperatur-Trend, reagiert aber nicht auf jeden kleinen Ausschlag durch Feiertage oder Regen. |
|
Was nimmst du mit?
Nicht jeder Fehler ist gleich. Mal ist das Modell zu grob, mal zu empfindlich, und selbst dann bleibt in echten Daten oft noch Noise übrig, den du nicht einfach wegzaubern kannst.
Trainingsfehler und Testfehler verraten, ob dein Modell zu simpel oder zu spezialisiert ist.
Overfitting ist wie Prüfungsvorbereitung mit nur einer alten Klausur: Du merkst dir jede Kleinigkeit auswendig. In einer neuen Prüfung hilft dir das plötzlich kaum weiter.
Underfitting ist das andere Extrem: Du lernst nur Überschriften oder gar nicht richtig. Dann bist du schon bei den alten Aufgaben schwach und bei neuen erst recht.
bedeutet meist hoher Bias und geringe Varianz. Das Modell ist so simpel, dass es nicht einmal die Trainingsdaten gut trifft.
bedeutet oft niedrigen Trainingsfehler, aber hohe Varianz auf neuen Daten. Das Modell passt sich dem Training zu genau an und generalisiert schlecht.
Trainingsfehler hoch, Testfehler hoch, beide ziemlich nah beieinander.
Trainingsfehler sehr niedrig, Testfehler deutlich höher.
Trainingsfehler moderat, Testfehler ähnlich und leicht höher, aber ohne große Lücke.
Setze den Polynomgrad absichtlich auf 1 und prüfe, wie wenig zusätzliche Flexibilität das Modell dann bekommt. So verknüpfst du die Idee von Underfitting direkt mit einer konkreten Modellwahl.
📓 Öffne dein Jupyter Notebook oder Google Colab und probiere es selbst aus.
from sklearn.preprocessing import PolynomialFeatures
X = [[2], [3], [4]]
poly = PolynomialFeatures(degree=# ??? DEINE LÖSUNG ???, include_bias=False)
X_poly = poly.fit_transform(X)
print(X_poly[0].tolist())Ein Grad von 1 erzeugt nur die ursprüngliche Eingabe und keine Krümmung.
from sklearn.preprocessing import PolynomialFeatures
X = [[2], [3], [4]]
poly = PolynomialFeatures(degree=1, include_bias=False)
X_poly = poly.fit_transform(X)
print(X_poly[0].tolist())Erwartete Ausgabe: `[2.0]`
Was nimmst du mit?
Trainingsfehler und Testfehler zusammen sind oft aussagekräftiger als ein einzelner Wert. Die Lücke zwischen beiden erzählt dir viel über Bias und Varianz.
Mit Lernkurven erkennst du, ob mehr Daten helfen oder ob dein Modell grundlegend zu schlicht bleibt.
Wenn du für einen Test lernst, kannst du nach und nach mehr Übungsaufgaben bearbeiten. Beobachte dabei: Wirst du auf neuen Aufgaben besser oder bleibt dein Niveau trotz mehr Material fast gleich?
Genau das macht eine in der Modellwelt sichtbar. Sie zeigt, wie sich Trainings- und Testfehler verändern, wenn mehr Trainingsdaten hinzukommen.
Bei Underfitting bleiben beide Kurven eher hoch und liegen nahe zusammen. Das Modell ist selbst mit viel mehr Daten zu unflexibel.
Bei Overfitting ist der Trainingsfehler sehr niedrig, der Testfehler aber deutlich höher. Ein guter Fit zeigt zwei brauchbare Kurven, die sich annähern, ohne völlig auseinanderzufallen.
Noch offen: Vergleiche alle drei Szenarien, um Muster im Kopf zu verankern.
Setze den Polynomgrad jetzt bewusst sehr hoch. Die Ausgabe zeigt dir, wie schnell aus einem einzigen Merkmal viele neue Terme werden und warum Overfitting damit wahrscheinlicher wird.
📓 Öffne dein Jupyter Notebook oder Google Colab und probiere es selbst aus.
from sklearn.preprocessing import PolynomialFeatures
X = [[2], [3], [4]]
poly = PolynomialFeatures(degree=# ??? DEINE LÖSUNG ???, include_bias=False)
X_poly = poly.fit_transform(X)
print(X_poly.shape[1])Im Notebook war genau ein sehr hoher Grad das klassische Overfitting-Beispiel.
from sklearn.preprocessing import PolynomialFeatures
X = [[2], [3], [4]]
poly = PolynomialFeatures(degree=15, include_bias=False)
X_poly = poly.fit_transform(X)
print(X_poly.shape[1])Erwartete Ausgabe: `15`
Was nimmst du mit?
Lernkurven helfen dir bei der Entscheidung, ob du eher mehr Daten brauchst, ein flexibleres Modell oder eine stärkere Kontrolle gegen Overfitting.
Bessere Features und passendere Modelle können Bias senken, erhöhen aber oft die Varianz.
Wenn du Mietpreise nur mit Quadratmetern schätzt, fehlt dir ein großer Teil der Geschichte. Lage, Zustand, Balkon, Baujahr oder Energieklasse können den Preis stark verändern.
Bias senkst du oft, indem du das Modell oder die Eingaben realistischer machst. Aber Vorsicht: Mit jedem Extra-Detail wächst auch die Gefahr, dass das Modell auf Zufall überreagiert.
Typische Hebel gegen hohen Bias sind: mehr relevante Features, ein flexibleres Modell und passendere Annahmen über den Zusammenhang.
Genau hier entsteht die Brücke zur Regularisierung. Denn mehr Komplexität kann Varianz erhöhen. Ridge und Lasso helfen später dabei, diesen Anstieg zu zähmen.
Bias senken = besser erklären · Varianz senken = robuster werden
Das Modell nutzt bisher nur Quadratmeter und verfehlt Altbauwohnungen in guter Lage systematisch.
Dein Modell hat extrem viele Details aus einem kleinen Trainingssatz gelernt. Im Training top, auf neuen Monaten schwach.
Das Modell nimmt nur eine lineare Beziehung an, obwohl der Verbrauch an sehr kalten und sehr heißen Tagen deutlich ansteigt.
Drei Modellgrade wurden mit Cross-Validation verglichen. Ergänze die Zeile, die den Grad mit dem besten Durchschnittsscore auswählt, statt nur nach Bauchgefühl zu entscheiden.
📓 Öffne dein Jupyter Notebook oder Google Colab und probiere es selbst aus.
cv_scores = {1: 0.62, 3: 0.84, 15: 0.51}
best_degree = # ??? DEINE LÖSUNG ???
print(best_degree)Gesucht ist der Schlüssel mit dem größten Score, nicht der größte Grad.
cv_scores = {1: 0.62, 3: 0.84, 15: 0.51}
best_degree = max(cv_scores, key=cv_scores.get)
print(best_degree)Erwartete Ausgabe: `3`
Was nimmst du mit?
Bias zu senken heißt oft: realistischer modellieren. Aber genau dann wird Regularisierung wichtig, damit das Modell auf neuen Daten nicht zu nervös wird. Das ist die Brücke zum nächsten Kapitel.