Gütekriterien für das Analysesystem

Objektivität

Aufgrund der standardisierten Testdurchführung durch eine standardisierte Instruktion, Auswertung und Interpretation werden die Kriterien der Objektivität erfüllt.

Darüber hinaus wurde das Instrument Messungen zur Validität und Reliabilität unterzogen. Reliabilität macht eine Aussage darüber, ob das Instrument bei wiederholter Messung zum gleichen Ergebnis kommt. Validität bezieht sich dabei auf die Frage, ob das Instrument in der Lage ist, zu messen, was es zu messen vorgibt.

guetekriterien AEC(c) discReliabilität (Zuverlässigkeit)
Zur Reliabilität wurden drei Studien mit mehr als 800 Personen durchgeführt. Als Kennwerte wurden die Maße der internen Konsistenz, die Split-half-Reliabilität (Testhalbierung) sowie die Retest-Reliabilität (Testwiederholung) herangezogen.

Die interne Konsistenz ist ein Maß dafür, wie die Adjektive eines bestimmten Oberbegriffes untereinander zusammenhängen (Bsp. überzeugend, souverän, gesellig unter Einfluss). #Zur Ermittlung der Split-half-Reliabilität wurde der Fragebogen in zwei Hälften geteilt und statistisch miteinander auf ihre Übereinstimmung hin verglichen.

Bei der Retest-Reliabilität wurde der Fragebogen einer Person nach einer mittleren Zeitspanne von 3 Monaten (Range: 1-12 Monate) erneut vorgelegt und ihre Übereinstimmung ermittelt, um auf konsistente Messwerte über die Zeit hinweg zu prüfen. Die Reliabilitätswerte liegen nach den üblichen Beurteilungskriterien (z.B. Bortz & Döring, 2006) im Bereich von „akzeptabel“ (.7) bis „exzellent“ (>.9). Die Testwerte scheinen stabil über die Zeit hinweg.

Validität (Gültigkeit)
Um das Instrument hinsichtlich bestehender Validität zu bewerten, wurden drei relevante Arten von Validität betrachtet:

Konstruktvalidität

Die Konstruktvalidität gibt an, inwieweit das Instrument ein zu erhebendes Merkmal so misst, dass es mit bestehenden Theorien im Einklang steht. Dem Instrument liegen, wie oben dargestellt, die theoretischen Konstrukte nach Marston und Jung zugrunde, die von Cleaver auf den Businesskontext übertragen wurden.

Um Aussagen über die Konstruktvalidität zu treffen, wurde das PDS mit Maßen verglichen, die ähnliche verhaltensbezogene Konstrukte erfassen (konvergente Validität). Statistisch signifikante Korrelationen (Zusammenhänge) mit den Instrumenten konnten nachgewiesen werden.

Deskriptive Validität
Ausmaß, in dem Werte eines Instruments mit den Ergebnissen anderer Messungen des gleichen Merkmals übereinstimmen. Ermittelt, ob anhand der Ergebnisse aus den Fragebögen das Verhalten des Individuums/Jobs präzise beschrieben werden kann.

In verschiedenen Studien mit ca. 800 Personen wurde der Fragebogen auf seine deskriptive Validität überprüft. Die Ergebnisse sprechen für die Fähigkeit der Instrumente, das erforderliche Verhalten im Job verschiedener Berufsgruppen zu beschreiben (z.B. welches Verhalten erfordert eine Vertriebsposition etc.) und zwischen den jeweiligen Berufsgruppen zu differenzieren (Vertriebsleuten, Managern, Ingenieuren usw.).

Vorhersagevalidität
Die prädiktive Validität gibt Auskunft darüber, ob gezeigtes (gemessenes) Verhalten auch in Zukunft wieder auftreten wird. Es wird angenommen, dass eine Person, deren individueller Verhaltensstil mit dem erforderlichen Verhalten im Job übereinstimmt, erfolgreich ist. In Fällen, wo Natürlicher Stil und Angepasster Stil nur geringe Zusammenhänge aufwiesen, war die Leistungsbeurteilung bei mehr als 80% der Mitarbeiter eher schlecht. Umgekehrt hatten bei großen Zusammenhängen beider Instrumente fast 60% der Mitarbeiter eine gute Leistungsbeurteilung.

Definitionen der Gütekriterien gemäß Bortz, J., & Döring, N. (2006). Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. Berlin: Springer.