Auswertung und Einsatz der Ergebnisse
Bislang haben Anna und Karl nur die Treffergenauigkeit berechnet, um die Leistungsfähigkeit der trainierten Modelle zu bewerten. Jetzt lernen sie neue Gütemaße kennen: Spezifität & Sensitivität, Precision & Recall, F-Maß, Receiver Operating Characteristic (ROC) und Area under ROC curve (AURC). Die Konfusionsmatrix hilft ihnen, sich schnell einen Überblick zu Treffern und Fehlern des Klassifizierers zu verschaffen. Die neuen Gütemaße benutzen die beiden Trainees, um ein differenzierteres Bild von der Modell-Performance zu bekommen. Die Wirklichkeit ist nämlich kein Kaggle-Wettbewerb. Das Gelernte wenden sie direkt auf die drei neuen Datenvarianten mit den neuen Features an. Mit Hilfe der bekannten Methode k-Nearest Neighbor führen Anna und Karl erneut mehrere Parameterstudien zu k auf Basis der 10-fachen stratifizierten Kreuzvalidierung durch. Wer von den beiden findet das bessere Modell?
Keywords: Klassifikation, Klassifizierung, Gütemaße, Genauigkeit, Fehlerrate, Konfusionsmatrix, Spezifität & Sensitivität, Präzision & Recall, F-Maß, Receiver Operating Characteristic (ROC), Area under ROC curve (AURC).
KNIME Videos und Workflows
Titanic_061_Phase_4_Modeling_kNN
Titanic_061_Phase_4_Modeling_kNN.knwf
Titanic_062_Phase_4_Modeling_kNN_neue_Gütemaße
Titanic_062_Phase_4_Modeling_kNN_neue_Gütemaße.knwf
Titanic_063_Phase_5_Evaluation_kNN
Titanic_063_Phase_5_Evaluation_kNN.knwf
Titanic_064_Phase_6_Deployment_Preparation_v3
Titanic_064_Phase_6_Deployment_Preparation_v3.knwf
Titanic_065_Phase_6_Deployment_Preparation_v4
Titanic_065_Phase_6_Deployment_Preparation_v4.knwf
Titanic_066_Phase_6_Deployment_Preparation_v5
Titanic_066_Phase_6_Deployment_Preparation_v5.knwf
Titanic_067_Phase_6_Deployment_kNN
Titanic_067_Phase_6_Deployment_kNN.knwf
Anaconda (Python) Jupyter Notebooks
Titanic_061_Phase_4_Modeling_kNN
Titanic_061_Phase_4_Modeling_kNN.ipynb
Titanic_062_Phase_4_Modeling_kNN_neue_Gütemaße
Titanic_062_Phase_4_Modeling_kNN_neue_Gütemaße.ipynb
Titanic_062_Phase_4_Modeling_kNN_neue_Gütemaße_Seaborn_ROC.ipynb
Titanic_063_Phase_5_Evaluation_kNN
Titanic_063_Phase_5_Evaluation_kNN.ipynb
Titanic_064_Phase_6_Deployment_Preparation_v3
Titanic_064_Phase_6_Deployment_Preparation_v3.ipynb
Titanic_065_Phase_6_Deployment_Preparation_v4
Titanic_065_Phase_6_Deployment_Preparation_v4.ipynb
Titanic_066_Phase_6_Deployment_Preparation_v5
Titanic_066_Phase_6_Deployment_Preparation_v5.ipynb
Titanic_067_Phase_6_Deployment_kNN