Ergebnisse der Seminarevaluation1
1Die Daten des Projekts wurden im Rahmen einer Diplomarbeit erhoben:
Beck, D. (2006). Die Bedeutung von Teilnehmereinschätzungen zu verschiedenen Zeitpunkten für die Vorhersage des Erfolgs von Personalentwicklungsmaßnahmen. Universität Würzburg: Unveröffentlichte Diplomarbeit.
Der Seminaranbieter AchieveGlobal führte mit insgesamt 72 Service-Mitarbeiter der Ericsson Deutschland GmbH ein dreitägiges Vertriebstraining durch. Das erklärte Ziel dieser Maßnahme bestand darin, die Verkaufsfertigkeiten der Mitarbeiter zu verbessern und deren Fokus stärker als bisher auf den Vertriebsaspekt im Rahmen ihrer Servicetätigkeit auszurichten.
Die Seminarteilnehmer wurden auf neun Seminartermine verteilt. Vor dem Seminar wurde mit Hilfe einer Onlinebefragung erfasst, welchen Stand die Teilnehmer vor der Maßnahmen hatten. Neben einem Seminarfeedbackbogen am Ende des Trainings erfolgten zwei Online-Nachbefragungen, 3 Wochen sowie 3 Monate nach dem Seminar. Diese enthielten auch ein individuelles Feedback für die Teilnehmer über ihren aktuellen Stand der Umsetzung.
Das hier verwendete Evaluationsinstrument seminarPlus liefert mit wenig Aufwand umfangreiche Informationen zur Wirkung der Qualifizierungsmaßnahme.
Zufriedenheit der Teilnehmer mit dem Seminar
Die Ergebnisse zeigen insgesamt eine hohe Zufriedenheit mit dem Seminar. Die Teilnehmer lassen sich entsprechend ihrer Zufriedenheit in vier Gruppen zusammenfassen, d.h. sie können jeweils einem spezifischen „Zufriedenheitsprofil“ (Abb. 1) zugeordnet werden.
Abb. 1a/b: „Zufriedenheitsprofile“ aus unmittelbarem Feedback und nach 3 Monaten
Interessant ist ein Zufriedenheitsprofil, das zeigt, dass einige Teilnehmer mit dem Trainer und auch der Seminardurchführung nicht besonders zufrieden waren. Dennoch bewerten diese Teilnehmer die Maßnahme nach 3 Monaten als sehr nützlich und praxisrelevant. Bei näherer Betrachtung zeigt sich, dass die betroffenen Teilnehmer an einem von 3 Seminarterminen teilgenommen haben, die unter nicht optimalen Rahmenbedingen (bzgl. der Lokalität) durchgeführt wurden. Ungünstige Rahmenbedingungen werden scheinbar zunächst dem Trainer „angelastet“. Mittelfristig profitieren diese zunächst weniger zufriedenen Teilnehmer jedoch ebenso gut von dem Seminar wie Teilnehmer, die unter optimalen äußeren Bedingungen trainiert wurden - vorausgesetzt die Teilnehmer haben das Seminar als relevant erlebt (Anwendbarkeit im unmittelbarem Seminarfeedback).
Ein anderes Zufriedenheitsprofil zeigt, dass Teilnehmer, die am Seminarende für sich persönlich die Anwendbarkeit eher kritisch einschätzen, auch nach 3 Monaten mit der Wirksamkeit weniger zufrieden sind. Dies macht die Bedeutung einer sorgfältigen Bedarfsanalyse deutlich bzw. die Notwendigkeit, auch oder gerade Teilnehmer, die für sich keinen Bedarf sehen, über den Zweck der Maßnahme im Kontext der Unternehmensstrategie (Stichwort Performance Improvement) aufzuklären.
Wissenszuwachs durch das Seminar
Abb 2: Lerntestvergleich Teilnehmer vs. Kontrollgruppe
Der Wissenstest (Abb. 2) nach dem Seminar (im Rahmen der ersten Online-Nachbefragung) zeigt, dass die Seminarteilnehmer im Vergleich zu einer Kontrollgruppe über ein signifikant höheres Wissen in Bezug auf die Seminarinhalte verfügen.
Nur bei einem Seminarthema, der Unterstützungstechnik, zeigt sich kein Unterschied. Hier verfügt auch die Kontrollgruppe über das relevante Wissen.
Verhaltensänderung durch das Seminar
Abb 3: Verhaltensveränderungen
Auf der Verhaltensebene (Abb. 3) zeigt sich ein Effekt, wenn Bedarf besteht:
Die Evaluation ergab eine deutliche Verbesserung bei den Teilnehmern, bei denen vor dem Seminar das gewünschte Verhalten noch nicht sehr ausgeprägt war (linkes Profil mit gepunkteter Linie).
Bewertung des Evaluationsprojekts
Nach der abschließenden Präsentation und intensiven Diskussion der Evaluationsergebnisse bei Ericsson, äußerte sich der Projektverantwortliche Peter Schulte sehr positiv und auch erleichtert über das Projekt. Er habe nun auch objektiv die Bestätigung, dass das Qualifizierungsprojekt den angestrebten Nutzen zeigt und die Investitionsentscheidung damit eindeutig legitimiert ist.
Auch die anwesenden Ericsson-Entscheidungsträger und Führungskräfte der Seminarteilnehmer zeigten sich zufrieden mit den Ergebnissen und durchaus beeindruckt von der Art und Weise, wie effizient eine systematische Evaluation von PE-Maßnahmen durchgeführt werden kann.