Kapitel 18 – Data Science Training

Feature Selection

Die neuen Ergebnisse unter Berücksichtigung der Schätzungen der fehlenden Werte zum Passagieralter haben für Katerstimmung gesorgt. Also beschreiten Anna und Karl nun neue Wege. Sie beschäftigen sich mit dem Thema Feature Selection. Damit wählen die beiden Trainees gezielt Attribute für die Modellierung aus. Typische Strategien sind Filter, eingebettete Methoden und Wrapper. Karl ist besonders an einer Wrapper-Technik interessiert, den genetischen Algorithmen. Die Vererbung von Merkmalen und der Prozess der natürlichen Auslese haben diese Methode inspiriert. Mit Hilfe von genetischen Operationen wie Replikation, Rekombination und Mutation findet diese Technik diejenigen Features, die zu der optimalen Fitness führen, in unserem Fall bspw. zur besten Genauigkeit. Anna dagegen konzentriert sich auf sequenzielle Wrapper-Techniken, die entweder vorwärts oder rückwärts ablaufen. In jedem Schritt erhöht oder reduziert dieses Verfahren das Feature-Set um genau ein Feature, bis es auch hier die optimale Auswahl gefunden hat. Wrapper arbeiten in Verbindung mit Kreuzvalidierung. Die beiden Trainees bekommen also nicht nur die optimale Attribut-Auswahl, sondern zugleich auch ein trainiertes Modell, mit dem sie die Titanic-Passagiere klassifizieren.

Keywords: Feature Selection, Filter, eingebettete Methoden, Wrapper, genetische Algorithmen (GA), Forward Feature Selection (FFS), Backward Feature Elimination (BFE).