KNN Hyperparameter-Tuning

Thema 6: KNN Hyperparameter

Welche k-Wahl ist sinnvoll? KNN-Hyperparameter (`k`, Distanzmetrik, Gewichtung) werden vor dem Training gesetzt und empirisch bewertet.

Story

Mira vergleicht Stadtviertel: Mit zu kleinem Radius ist alles nervös, mit zu großem Radius wird alles zu grob.

Formel-Leseschlüssel

Validierungswahl: k* = argmin_k Fehler_val(k). Kleines k führt oft zu Overfitting, großes k eher zu Underfitting. Hyperparameter werden vor dem Training gesetzt und empirisch getestet. Wichtig: Der Validierungsfehler hilft beim Auswählen, der Testfehler ist erst die spätere Abschlussprüfung.

Aktion jetzt:

Diskussionsfrage

Auflösung

Praxis-Übertrag:
Kern-Logik: Hyperparameter (`k`, `metric`, `weights`) immer über Validierungs-/Testfehler wählen, nie nur nach Bauchgefühl. Sonst optimierst du leicht auf eine hübsche Einzelbeobachtung statt auf robuste Generalisierung.

Fehlerkurven über k

Blau = Trainingsfehler, Orange = Validierungsfehler. Ziel ist ein kleines, stabiles Validierungsminimum.

Steuerung

k-Wert 9

Train-Fehler0.00

Val-Fehler0.00

Empfehlung-

Vergleichstabelle (k-Kandidaten)

So sieht empirische Auswahl aus: mehrere k testen und den geringsten Validierungsfehler suchen.

k	Train-Fehler	Val-Fehler	Interpretation

Mini-Check (3 Fragen)

Sehr kleines k (z. B. 1) erhöht oft Overfitting-Risiko. Sehr kleines k führt automatisch zu Underfitting. Bestes k wird empirisch über Validierungs-/Testfehler bestimmt. Bestes k ergibt sich aus einer festen Formel ohne Testlauf. Distanzgewichtung kann näheren Nachbarn mehr Einfluss geben. Distanzgewichtung ignoriert Entfernungen komplett.