Die Krux mit Bewertungen

Gepostet von am 18.  Oktober 2013, in Organisationsdesign | 4 Kommentare

positive or negativeUm Alternativen zu bewerten, brauchen wir Massstäbe. Das alleine ist noch keine umwerfende Erkenntnis. Aber welche Massstäbe genau, damit bei der Beurteilung von Alternativen sinnvolle Aussagen entstehen? Da wird es schon schwieriger, gerade wenn der zu bewertende Tatbestand schwer greifbar beziehungsweise sehr qualitativ ist wie zum Beispiel Organisationsformen. Gehen wir doch mithilfe einer Weinbewertung in medias res.


Kundenbewertung beim Weinkauf

Ein Grossverteiler hat vor kurzem ziemlich breitflächig eine Werbebroschüre zu seinem Weinsortiment in die Haushalte gestreut. Immerhin 139 unterschiedliche Weine wurden darin vorgestellt. Über Geschmack lässt sich bekanntlich nicht streiten, wie also sollen die Weine bewertet werden? Neben dem üblichen kurzen Verkostungsbeschrieb und dem Preis natürlich ist als Clou für jeden Wein eine Kundenbewertung mit Sternen aufgeführt. Die angegebene Skala bewegt sich von einem Stern („Trinkbarer Wein – entspricht nicht so meinem Geschmack.“) bis fünf Sterne („Ausgezeichnet – einer meiner Lieblingsweine! Sehr empfehlenswert.“), wie folgende Abbildung zeigt:

Skala

Die entsprechenden Bewertungen können von den Kunden via Internet abgegeben werden und sind in der Werbebroschüre wiedergegeben. Eigentlich gar keine schlechte Idee, Kundeninput so zu nutzen.

Als Weinliebhaber habe ich die Broschüre natürlich nicht wegen möglichen Bewertungssystemen durchgesehen. Folgende zufällig aufgeschlagene Seite aber hat meine Aufmerksamkeit vom Angebot auf die erwähnte Kundenbeurteilung gelenkt:

Weinbewertung

Genau, die Kundenbewertungen sind identisch, und dies bei einer Preisspanne (als zweites vergleichbares Beurteilungskriterium), bei der das günstigste Angebot 2/3 des teuersten Angebotes entspricht.

 

In vino veritas

Subjektiv ist es selbstverständlich sehr wohl möglich, dass ein günstiger Wein als ebenso gut oder sogar besser wahrgenommen wird als ein teurerer; keine Frage und schon vielfach erlebt. Mich hat nach dieser Seite der Werbebroschüre aber die Neugierde gepackt: Bereits das Durchblättern hat mir gezeigt, dass die Unterschiede der Kundenbewertungen zwischen den einzelnen Weinen sehr klein sind. Das Durchzählen aller Bewertungen dann hat diesen Eindruck bestätigt: 83,5% der Bewertungen befinden sich in der Kategorie 4 bzw. 4 ½ Sterne! So ist diese Bewertung für mich nutzlos, denn ich kann als Orientierungshinweis einzig mitnehmen, dass der Grossverteiler praktisch nur Weine anbietet, die die beurteilenden Kunden als sehr gut taxieren. Für die individuelle Kaufentscheidung bleibt mir mit dieser Bewertung nur das Öffnen der Flaschen.

 

Grundsätzliche Anforderungen an Bewertungsmassstäbe

Ganz generell gilt: Damit Bewertungsmassstäbe bei einer Beurteilung von Alternativen sinnvolle Aussagen ermöglichen, sollten sie zumindest drei Ansprüchen genügen. Diese sind:

  1. Die Massstäbe sollten problembezogen sein. Das heisst, dass sie sich auf die interessierenden Aspekte beziehen müssen, die zu beurteilen sind.
  2. Die Massstäbe sollten in der Bewertung praktikabel sein. Das heisst, dass sie anschaulich und darstellbar sein müssen und dass sie klar voneinander unterscheidbar sein sollen.
  3. Die Massstäbe sollten diskriminierungsfähig sein. Das heisst, dass sich mit ihnen Unterschiede zwischen den verschiedenen Alternativen deutlich aufzeigen lassen.

 

Was ist also in der beschriebenen Weinbewertung passiert?

  • Die erste Anforderung der Problembezogenheit ist aus meiner Sicht durchaus erfüllt: Die Bewertung bezieht sich ausdrücklich auf die empfundene Güte der entsprechenden Weine. Dies wird auch durch die vorgegebene Skala verdeutlicht, die in ihren Stufen Qualitätsunterschiede thematisiert.
  • Die zweite Anforderung der Praktikabilität ist ebenfalls erfüllt: Die Skala leuchtet ein, die Unterschiede auf der Skala sind anschaulich und klar. Allerdings: Es wird nur eine einzige summarische Messgrösse für die Beurteilung hinzugezogen. Dies wohl damit die Ergebnisse einfach interpretierbar bleiben und für das grössere Publikum verständlich darstellbar sind.
  • Diese einzelne Messgrösse nun ist zwar transparent, sie ist in der angewandten Übungsanlage aber ganz offensichtlich nicht diskriminierungsfähig. Mit ihr lassen sich die zweifellos bestehenden Unterschiede viel zu wenig stark herausarbeiten, wie oben deutlich aufgezeigt.

Mit Übungsanlage meine ich, dass nicht nur diese einzelne Messgrösse bzgl. Unterscheidungsfähigkeit ein Problem ist, sondern wohl zusätzlich auch Aspekte der gewählten Vorgehensweise. Beispielsweise wäre kritisch zu beleuchten, dass die BewerterInnen nicht alle Weine beurteilen müssen (da dies kaum möglich wäre) sondern nur jene, die sie wollen bzw. mit denen sie Erfahrungen haben. Weiter wäre in dieser Konstellation die Motivation der BewerterInnen zu hinterfragen, die bei einer so punktuellen Bewertung tendenziell wohl eher Weine bewerten, die sie gut finden. Und so weiter.

 

Was für Wein gilt, gilt auch im Organisationsdesign

Organisation ist nicht gleich Wein, aber im Organisationsdesign gibt es sehr viele Situationen, wo Bewertungen und Beurteilungen gefragt sind. Zudem sind die zu bewertenden organisatorischen Tatbestände oft schwer greifbar, beziehungsweise sehr qualitativ.

In der Aufbauorganisation ist dies gerade bei der Beurteilung von Organisationsformen sehr augenfällig. Hier ist der sorgfältige Umgang mit den Beurteilungsmassstäben im obigen Sinne entscheidend (vgl. dazu das Tool „Effizienzkonzept“). Als Illustration eine Messgrösse, wie sie in einem Beurteilungsprozess unterschiedlicher Aufbauorganisationen vorgeschlagen wurde, den ich vor einiger Zeit miterleben durfte: Der Wunsch war, dass die neue Struktur „wertorientiert“ sein solle. Als Präzisierung wurde angemerkt, dass die persönlichen Beiträge zum unternehmerischen Erfolg definierbar sein müssten. Mit dieser Messgrösse können aber auf der interessierenden Beurteilungsstufe beispielsweise zwischen einer funktionalen und einer divisionalen Organisation gar keine sinnvollen Unterschiede aufgezeigt werden. Sie ist als Massstab somit nicht diskriminierungsfähig. Weiter gilt auch, dass die Grösse als Massstab nicht wirklich problembezogen ist, da sie Aspekte beurteilt, die sich weitgehend im Bereich der Führung abspielen.

In der Prozessorganisation lassen sich Fragestellungen oft besser quantifizieren, was die Beurteilung vereinfacht. Prozessmengen, Prozesszeiten, Termintreue oder Prozesskosten sind Elemente, die fassbar sind und Bewertungen erleichtern. Aber auch dann ist die Messung oftmals nicht unproblematisch, wie Guido Fischermanns in einem seiner Blogbeiträge anschaulich beschreibt („Prozessmessung ja, aber richtig! “). Zudem gibt es durchaus zentrale Fragen aus der Prozesssicht heraus, die sehr qualitativ sind. Ich denke hier zum Beispiel an die Bestimmung der anteiligen Bedeutung einzelner Geschäftsprozesse an der Gesamtwertschöpfung einer Unternehmung. Die seriöse Beantwortung dieser sehr qualitativen und gleichzeitig sehr organisatorischen Fragestellung anhand solid begründeter Beurteilungsmassstäben ist bei der Festlegung interner Verrechnungspreise absolut zentral.

Auf das haben wir uns heute Abend ein gutes Glas Wein verdient, oder?

 

Schlagwörter: , ,

4 Comments

  1. Roland Kunz
    18. Oktober 2013

    Ich gebe keinen Deut mehr auf Weinbewertungen. Seit ca. 10 Jahren kaufe ich nur noch Wein, welchen ich vorher degustiert habe. Bei Organisiationprojekten liegt die Sachlage etwas anders – aber auch dort musste ich feststellen, dass Bewertungen von möglichen Organisationsvarianten manipulierbar bleiben. Deshalb müssten Bewertungsschemen immer von externer Seite einfliessen – ansonsten sind diese nicht objektiv.

    Reply
    • Andreas Wenger
      21. Oktober 2013

      Die Bewertungssituation ist oftmals ein kritischer Moment, da bin ich 100% einverstanden. Schliesslich geht es dabei ja auch um die Wurst. Vorgehensweise, Bewertungsschema und eingesetzte Massstäbe sind gute Orte, um als betroffener Stakeholder nachhaltig Interessen einzubringen und im Outcome zu verankern. Im Hinblick auf sachlich-logische Ergebnisse und Lösungen, die einer Verbesserung der Gesamtsituation dienen, ist daher Transparenz im ganzen Prozess wichtig. Schön lehrbuchmässig ist dies aber in meiner Erfahrung kaum je möglich. Spannende Diskussionen und Aktionen in letzter Minute können das Kurshalten zu einer Herausforderung machen.
      Beste Grüsse
      Andreas

      Reply
  2. Robert Zaugg
    19. Oktober 2013

    Ein schöner Beitrag. Danke.

    Reply
  3. Erich Wiesendanger
    31. Oktober 2013

    Ein vielschichtiger Themenkomplex, den Du mit einem schönen Ausflug in die Welt des Weines aufgreifst. Nur schon könnte man sich bei den Begriffen Beurteilung, Bewertung, Bemessung aufhalten.
    Auch die Skalendiskussion könnte man führen: Soll es einen Mittelwert geben oder nicht? So hatte ich Mühe mit einem Mitarbeiterbeurteilunssystem, welches nur Bewertungen unter und über dem Mittelwert zuliess. Es gibt nun mal unauffällige Mitarbeiter, und nicht alle müssen unbedingt gefördert werden, wenn sie es nicht auch wollen. Aber zurück zum Wein.
    Ich finde das Attribut „diskriminierungsfähig“ interessant wie wichtig. Anderseits sehe ich das Dilemma bei der Anpreisung. So sollte bei der Erhebung eine Skala von tief bis hoch reichen, während im Verkaufsprospekt wohl nur Produkte von mittel bis hoch angeboten werden. Bei diesen „low budget“ Weinen wäre die Höchstwertung wohl „vermessen“, bleibt bei der 5-er Skala nur noch der zweithöchste Wert (wer kauft schon mittelmässigen Wein). Zudem dürfte der Preis die Erwartung beeinflusst (darf teurer Wein schlecht sein…). Womit wir wieder bei subjektiv und objektiv und damit dem Grundübel von Bewertungen sind.

    Reply

Beitrag kommentieren