Zur Evaluierung der Teststärke wurden mittles Wolfram Mathematica Daten mit bekannten Verteilungen generiert und eduSTAT daran getestet: Es wurde zunächst die Konfusiosmatrix bestimmt, indem die Ergebnisse von eduSTAT in TruePositive (TP), FalsePositive (FP), FalseNegative (FN) und TrueNegative (TN) eingeteilt wurden, um darauf basierend Typ I und Typ II Fehlerraten sowie Treffsicherheit, bzw. Accuracy zu betimmen. Das üblicherweise angesetzte Signifikanznievau von 0.05 entspricht einer Typ I Fehlerrate von 5%. Die Teststärke errechnet sich zu (1 - Typ II Fehlerrate) und sollte mindestens 80%, entsprechend einer Typ II Fehlerrate von nicht über 20%, betragen.
Konfusionsmatrix
Fehlerraten und Treffsicherheit
Soll/Ist-Vergleich
Zu den synthetisierten Datensätzen wurden die Ergebnisse von eduSTAT zu jenen von Mathematica verglichen. Die dabei bestimmten Fehlermaße E und E% sind die Differenzen zwischen den Ergebnissen von eduSTAT und Wolfram Mathematica: