Kapitel 10 – Data Science Training

Lineare Klassifizierer

Wir tauchen diesmal in den Hyperraum ein. Dieser besteht aus mehr als drei Dimensionen. Bei der Titanic-Fallstudie spannen die beschreibenden Merkmale der Passagiere diesen Hyperraum auf. Eine Hyperebene kann dann Bereiche in diesem Hyperraum trennen, bspw. Datenobjekte verschiedener Klassen. Im zweidimensionalen Raum schrumpft eine Hyperebene zu einer Gerade, also einem einfachen linearen Modell. Anna und Karl sehen sich mit zwei neuen Methoden konfrontiert, die zu den linearen Klassifizierern gehören: Support Vector Machine (SVM) und logistische Regression. Mittels Visualisierungen erkennen die beiden Trainees die Ideen und Konzepte zu diesen Methoden. Mit Hilfe des Kernel-Tricks und speziellen Kernel-Funktionen können Anna und Karl SVM auch dann verwenden, wenn sich die Klassen nicht linear voneinander trennen lassen. Die zweite Methode berechnet die Chancen, also das Verhältnis der Wahrscheinlichkeiten, für das Auftreten der Klassen. Wenn wir diese Chancen noch logarithmieren, dann erhalten wir ein Regressionsproblem. Die beiden Trainees bekommen somit einen ersten Einblick in die Berechnung der Regressionskoeffizienten und die Verwendung von Gleichungslösern. Die Überanpassung der trainierten Modelle steuern Anna und Karl durch Regularisierung, indem sie einen Strafterm berücksichtigen. Das gelernte Wissen wenden sie schließlich wieder auf die Titanic-Fallstudie an. Die Ergebnisse sind überraschend.

Keywords: lineare Klassifizierer, lineare Separierbarkeit, Support Vector Machine (SVM), Hyperebene, Stützvektor, Rand, Kernel-Trick, Kernel-Funktion, logistische Regression, Wahrscheinlichkeit, Chance, Logarithmus, Logit-Funktion, Regressionskoeffizient, Regularisierung, Strafterm.