Ein Fragebogen ist mehr als nur ein Bogen mit Fragen!
Wissenschaftliche Gütekriterien
Zuverlässigkeit und Gültigkeit
Unsere Befragungen werden in komplexen und sensiblen Situationen eingesetzt, um verlässliche Daten als Grundlage für die richtigen Entscheidungen zu erhalten. Daher müssen unsere Instrumente hohe Anforderungen an die Konstruktion und die Anwendung erfüllen.
Gültigkeit/Treffsicherheit (Validität)
Es wird das gemessen, was gemessen werden soll.
Es soll z.B. die Führungsqualität gemessen werden. Ein ungültiges (nicht treffsicheres) Instrument erfasst aber nur einen Randaspekt, z.B. die Beliebtheit des Vorgesetzten. Der ermittelte Wert repräsentiert nicht - wie angenommen - die Führungsqualität.
Bei der Fragebogenkonstruktion werden drei Hauptarten der Validität unterschieden1:
- "Inhaltsvalidität ist gegeben, wenn der Inhalt der Test-Items das zu messende Konstrukt in seinen wichtigsten Aspekten erschöpfend erfasst."
- "Kriteriumsvalidität liegt vor, wenn das Ergebnis eines Tests zur Messung eines latenten Merkmals bzw. Konstrukts (z.B. Berufseignung) mit Messungen eines korrespondierenden manifesten Merkmals bzw. Kriteriums übereinstimmt (z.B. beruflicher Erfolg)."
- "Konstruktvalidität ist gegeben, wenn aus dem zu messenden Zielkonstrukt Hypothesen ableitbar sind, die anhand der Testwerte bestätigt werden können."
1 Bortz & Döring (2003): Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler
Messgenauigkeit/Zuverlässigkeit (Reliabiliät)
Das was gemessen wird, wird genau gemessen.
Es ist entscheidend, dass der ermittelte Wert möglichst genau der Realität entspricht. Die Messung mit einem ungenauen Instrument kann z.B. einen überdurchschnittlichen Führungswert ergeben, obwohl die Führung tatsächlich nur durchschnittlich ist.
Die Reliabilität ist ein Gütekriterium für die Zusammenfassung mehrerer Fragen zu einem Themenbereich und wird über die "innere Konsistenz" der Antworten (ermittelt mit der Formel für Cronbach’s Alpha) bestimmt. Dieser Kennwert nimmt Werte zwischen 0 und 1 an. Je höher der Wert ist, desto genauer ist die Messung. Ab einer Konsistenz von 0,7 kann von einer guten Messgenauigkeit ausgegangen werden.
Objektivität
Die Objektivität ist das entscheidende Gütekriterium bei der Anwendung von Diagnoseverfahren. Es werden drei Formen der Objektivität unterschieden:
- Durchführungs-Objektivität
- Auswertungs-Objektivität
- Interpretations-Objektivität
Anwendung der Kriterien
Unsere psychometrischen Instrumente erfüllen die drei wesentlichen Kriterien der professionellen Fragebogenkonstruktion und Anwendung.
Validität
Nach Bortz und Döring (2003) kommt der Konstruktvalidität eine besondere Bedeutung zu, da die Inhaltsvalidität kein objektivierbarer Kennwert ist und die Kriteriumsvalidierung mangels geeigneter Außenkriterien nur selten durchführbar ist.
- Die Konstruktvalidität wird regelmäßig in Kundenprojekten und wissenschaftlichen Studien (Diplomarbeiten und Doktorarbeiten) überprüft.
- Die Kriteriumsvalidität wird im Rahmen von Kundenprojekten überprüft, wenn es möglich ist zusätzliche Kriterien zu erheben. Beispielsweise werden Umsatz- und Fluktuationsdaten von Vertriebsteams im Kontext unserer Teamanalyse-Instrumente (teamCheck und leaderCheck) analysiert, wenn der Kunde diese Daten für zusätzliche Auswertungen zur Verfügung stellt.
- Die Inhaltsvalidität ist ein wichtiges Kriterium bei der Konstruktion unserer Instrumente. Durch die Rückmeldungen unserer Kunden erhalten wir die Bestätigung, dass unsere Instrumente das messen, was für die Kunden im Kontext des jeweiligen Konstrukts wichtig ist.
Reliabilität
- Bei der Entwicklung unserer Instrumente liegt das besondere Augenmerk auf der Messgenauigkeit. Denn nur exakte Analyseergebnisse können als Grundlage für Entscheidungen herangezogen werden.
- Die Reliabilitäten unserer Tests und Subtests liegen ausschließlich im Bereich Alpha > .7 und erreichen i.d.R. Werte von .8 und höher.
- Auf Nachfrage erhalten unsere Kunden eine Übersicht der Reliabilitätswerte der von ihnen eingesetzten Instrumente.
Objektivität
- Durchführungs-Objektivität stellen wir durch die Standardisierung unserer Instrumente sicher.
- Auswertungs-Objektivität ist durch die computergestützte Auswertung gewährleistet.
- Interpretations-Objektivität erfolgt über die Aufbereitung der Daten und Betreuung unserer Kunden durch Experten.