10.2 Metrikmanagement / Techniken

Warum messen wir? (10.2.P1)

Mit der Identifizierung und dem wirksamen Einsatz von Metriken erhöhen Sie den Wert Ihrer Projekte, besonders wenn diese auch in der gesamten Organisation analysiert werden. Die Vorteile liegen auf der Hand:

• Verbesserte Leistung bei der Erfüllung der Projektanforderungen und beim Lieferprozess
  
• Verbessertes Schätzen zukünftiger Projekten
  
• Messbare Verbesserungen bei Projektdauer, Kosten, Aufwand und qualitativen Zielen
  
• Identifikation und Kommunikation von Best Practices
  
• Erhöhte Kundenzufriedenheit
  

Generell gesehen bieten Metriken eine sachliche und messbare Basis zur Bestimmung dessen, was besser gemacht werden kann. Wenn Sie nicht zumindest über ein paar grundlegende Metriken verfügen, führen Sie alle Diskussionen über Leistung auf der Grundlage von anekdotenhaften Hinweisen, Empfindungen und Vermutungen. Wenn Sie wollen, dass der Erfolg Ihres Projektes auf sachlichen Informationen aufbaut, müssen Sie im Voraus bestimmen, was Ihre Erfolgskriterien sein sollen und wie sie gemessen werden sollen. Dann müssen Sie die Metriken erheben, selbst wenn sie unvollkommen und ungenau sind. Diese bieten immer noch eine bessere Grundlage als Erinnerungen, Empfindungen und Vermutungen.

Nutzen Sie Metriken, die Sie sammeln (10.2.P2)

Sie erheben Metriken nicht um der Metrik willen. Aus Sicht des Projektmanagements macht dies keinen Sinn und ist reine Zeitverschwendung. Nebst den von Ihrer Organisation geforderten Metriken, sollten Sie nur Metriken erheben, die für Ihr Projekt sinnvoll sind. Verfolgen Sie mit der Sammlung von Metriken keinen anderen Zweck oder ist Ihr Projekt zu kurz, um daraus Rückschlüsse ziehen zu können, dann ist die Erhebung von Metriken die Mühe nicht wert.

Die Kosten von Metriken (10.2.P3)

So wie mit den meisten Projektmanagement-Aktivitäten Kosten verbunden sind, fallen auch bei Metriken Kosten an. Im Falle von Inhalts- und Umfangsänderungen oder Issue-Management sind es Kosten, die investiert werden müssen, um erfolgreich zu sein. Das Metrikmanagement wird mehr vom Projektmanager und der generellen Unternehmenskultur beeinflusst. In vielen Fällen hat die Erhebung von Metriken vorbeugenden Charakter. Solche Metriken sollten nicht weiter verfolgt werden. Andere sind interessant, führen aber zu keiner Verbesserung von Prozessen. Unter dem Strich sollten sich die Kosten zur Erhebung von Metriken mit deren Nutzen ausgleichen. Beginnen Sie daher mit Metriken, die von der Organisation verlangt werden. Fügen Sie dann solche hinzu, die mit den niedrigsten Kosten den größten Ertrag bringen.

Verbinden Sie Teamleistung mit individueller Leistung (10.2.P4)

„Es wird gemacht, was gemessen wird“ Dieser Grundsatz gilt nicht nur für das Projektmanagement. Wenn die Kommunikation für Ihr Projekt wichtig ist, dann sollten Sie Metriken rund um die Kommunikation einrichten. Befragen Sie dazu z.B. auf vierteljährlicher Basis Ihre Kunden und Stakeholder, für wie effektiv sie Ihre Kommunikation halten. Wenn Sie Ihr Team auffordern, bestehende Komponenten wieder zu verwenden, verfolgen Sie die Fälle von Wiederverwendungen und die eingesparten Stunden und Kosten. Wenn jedoch die Resultate der Metriken nicht die gewünschte Wirkung auf die Teammitglieder haben, beeinflussen Sie vielleicht nicht in genügendem Umfang deren Verhaltensweisen. Der entscheidende Faktor ist, Metriken zu erheben, die eine messbare Indikation auf die gesamte Teamleistung geben, um dann sicher zu stellen, dass eine Verbindung zwischen der Team-Leistung und der individuellen Leistung besteht. Ein Beispiel, wo diese Verbindung nicht besteht ist der Fall, bei dem ein Projekt als Misserfolg angesehen wird, die Leistung der Mitarbeiter aber hoch eingeschätzt wird. Stellen Sie sicher, dass Team-Metriken in der individuellen Leistungsbeurteilung ihren Niederschlag finden. Wenn das Team erfolgreich war, dann sollen die Teammitglieder belohnt werden. Wenn das Team nicht erfolgreich war, sollte das eine entsprechende Auswirkung haben.

Hüten Sie sich vor unbeabsichtigten Konsequenzen (10.2.P5)

Das Positive am Messen liegt darin, dass damit Verhaltensweisen beeinflusst werden können. Deshalb ist es entscheidend, dass Metriken keine unbeabsichtigten Konsequenzen haben. Nehmen wir beispielsweise an, dass ein Team an der Zeitdauer gemessen wurde, die es zur Beseitigung eines Fehlers während der Testphase benötigte. Die Mitglieder stellten Vermutungen über die Probleme an und schlossen die Fehlermeldungen ab. Wenn sich dabei eine Vermutung als falsch erwies, eröffneten sie eine neue Fehlermeldung und schlossen diese wieder rasch ab. Das Resultat war eine Überlastung mit sich wiederholenden Fehlermeldungen und Zeitverschwendung. In diesem Fall war die Metrik eines der Probleme. Auf dem Papier stand das Team gut da, brachte aber in Wirklichkeit eine schlechte Leistung. Eine bessere Lösung wäre gewesen, wenn eine Fehlermeldung erst nach der Abnahme durch den Kunden abgeschlossen worden wäre.

Wenn sie Metriken aufstellen, vergessen Sie nicht, dass sie unbeabsichtigte Konsequenzen haben können. Stellen Sie sicher, dass Metriken die gewünschte Wirkung erzielen.

Erheben Sie eine Basisgröße, wenn Sie keine Sollvorgabe haben (10.2.P6)

Die Erhebung von Metrik-Informationen alleine hat für das Projekt nur einen begrenzten Nutzen. Den größten Nutzen erzielen Sie, wenn Sie Ihre Metriken mit einer Art von Standards oder Sollgrößen vergleichen können. Für viele Metriken besteht eine implizite Sollvorgabe, selbst wenn Sie diese nicht immer angeben. So werden z.B. die tatsächlichen Stunden, Kosten und Dauer mit den geschätzten Werten verglichen, um den Stand des Projektes zu bestimmen.

Für eine Reihe anderer Metriken sind jedoch implizite Sollgrößen nicht automatisch vorhanden. Wenn Sie z.B. die Zufriedenheit der Kunden mit Ihrem Projekt verfolgen, können die Kunden Ihr Projektteam mit durchschnittlich 3,8 auf einer Skala bis 5,0 bewerten. Ist das jetzt ein guter oder schlechter Wert? Wenn Sie keine Vergleichswerte haben, ist das schwer zu beurteilen. Sie können die Frage besser beantworten, wenn Sie die ersten Messungen als Basisgröße verwenden, d.h. als Reflektion des heutigen Standes. Sie können daraus auch Sollvorgaben ableiten, so wird beispielsweise aus einer ersten Kundenzufriedenheit von 3,8 ein Soll von 4,2. Eine andere Möglichkeit ist, eine Verbesserung von 10% gegenüber der ersten Messung anzustreben.

Zusammenfassend kann gesagt werden, dass alleine die Messung von Metriken nicht viel bringt. Metriken müssen mit Sollvorgaben verglichen werden, damit Sie bestimmen können, ob Sie erfolgreich sind oder nicht. Wenn Sollgrößen bestehen, dann haben Sie Ihre Vergleichsbasis. Wenn diese fehlen, gehen Sie am besten von ersten Messungen aus, um den nachfolgenden Fortschritt zu bestimmen. Die Bestimmung von Basisgrößen kann nicht immer einfach sein. So kann es notwendig werden, zunächst mehrere Messungen vorzunehmen, um eine Basisgröße abzuleiten.

Den Wert für das Unternehmen messen (10.2.P7)

Ein Hauptzweck von Metriken besteht darin, den Wert zu messen, den ein Projekt für das Unternehmen generiert. In einigen Fällen ist dieser Wert offensichtlich. Der Umsatz kann gesteigert werden. Lagerbestände können reduziert werden. In einem Prozess werden weniger Personen benötigt. In vielen Fällen kann es jedoch schwierig oder sogar unmöglich werden, diesen Wert genau zu quantifizieren. Die Probleme können umfassen:

• Das Projekt generiert schrittweise Verbesserungen, die nur schwer zu messen sind.
  
• Das Projekt generiert einen schwer messbaren Nutzen, wie z.B. erhöhte Kundenzufriedenheit oder Produktqualität.
  
• Das Projekt bringt eine Infrastruktur mit sich, die von einer großen Anzahl von Leuten genutzt werden kann. Um wie viel werden z.B. die Mitarbeiter produktiver sein, wenn die Speicherkapazität ihrer PCs verdoppelt wird? Was ist der quantifizierbare Nutzen eines neuen Telefonsystems?
  
• Das Projekt resultiert in einem größeren Umfang an Informationen. Man kann nicht ohne weiteres bestimmen, um wie viel dadurch Entscheidungen verbessert wurden.
  
• Es können im Laufe der Zeit Verbesserungen durch mehrere Projekte erzielt werden, ohne dass der Beitrag eines jeden einzelnen Projekts ermittelt werden kann.
  
• Es entstehen eine Reihe kleiner Verbesserungen, die nicht auf sinnvolle Weise umgelegt werden können, wie z.B. die Eliminierung von Prozessschritten. Die Durchlaufzeit des Prozesses wird verringert, dafür wird zusätzliche Zeit für andere Arbeiten benötigt.

Ein wesentlicher Faktor ist, dass bei Projekten Kosten/Nutzen-Analysen durchgeführt werden, bevor diese Projekte beginnen. Sehen Sie sich deren Dokumentationen durch, wie Nutzen quantifiziert wurde und ob Sie ähnliche Resultate messen können, wenn Sie Ihr Projekt abschließen. Wenn Sie quantifizierbaren Nutzen identifizieren, sollten die Metriken aufzeigen können, wie viel an Wert generiert wurde. Wenn Sie nicht quantifizierbaren Nutzen identifizieren, dann werden Sie mit indirekten Indizien auf den Nutzen verweisen müssen.

Erheben von Metriken mit Kundenzufriedenheits-Befragungen (10.2.P8)

Mit Metriken können Sie sehen, wie sich Ihre Leistungen gegenüber den Erwartungen Ihrer Kunden entwickeln. Wenn unsere Welt vollkommen wäre, wären auch alle erhobenen Metriken sachlich, relevant und genau. In vielen Fällen ist es jedoch nicht praktikabel oder unerschwinglich teuer, exakte Zahlen zu erheben. Sie können aber mit einer Erhebung der Kundenzufriedenheit jede quantifizierbare Metrik ergänzen. Anstatt z.B. die exakte Antwortzeit einer Applikation gegen einen Service Level Standard zu messen, können Sie einfach die Hauptanwender befragen, wie zufrieden sie mit der Antwortzeit sind. Auf die gleiche Weise können Sie Fragen stellen, wie lange die Lösung von gemeldeten Fehlern in der Applikation dauert. Dazu können Sie verfolgen, wann die Meldung das erste Mal eintrifft, wann Sie das erste Mal darauf reagieren und wann das Problem gelöst ist. Auf der anderen Seite können Sie auch einfache Umfragen bei Ihren Kunden machen, wie sie mit der Zeit zufrieden sind, die zur Lösung ihre Probleme vergeht.

Umfragen sind von qualitativer Natur, das heißt sie reflektieren die Meinungen der befragten Personen. Aus diesem Grund werden Sie nicht unbedingt alle Ihre Erfolgskriterien auf Umfrage-Metriken aufbauen wollen. Einige Resultate können viel leichter quantitativ erzielt werden. So hat es z.B. keinen Sinn, eine Umfrage in der Finanzabteilung durchzuführen, ob Ihre Ausgaben im Rahmen des Budgets liegen. Ihnen sollten diese Daten selbst zur Verfügung stehen. In einer Reihe von anderen Fällen kann jedoch eine qualitative Umfrage als Ersatz für eine quantitative Metrik dienen.

Metriken vergangener Projekte können zukünftige Projekte unterstützen (10.2.P9)

Die Erhebung eines konsistenten Satzes von Metriken am Ende eines Projekts kann Ihrer Organisation helfen, die Trends bei der Entwicklung von Projekten über einen längeren Zeitraum zu erkennen. Diese Metriken sollen aufzeigen, wie gut Projekt-Teams ihre Zusagen bezüglich Qualität, Kosten und Zykluszeit einhalten. Wenn dies für immer mehr Projekte durchgeführt wird, wird eine Basis für immer bessere Vergleiche aufgebaut.

Wenn Sie die Metriken unternehmensweit einholen, sollten Sie zusätzlich zu den eigentlichen Metriken auch einige demographische Daten zum Projekt sammeln. Die demographischen Daten des Projekts sind lediglich vorgegebene Merkmale, die jedes einzelne Projekt etwas näher beschreiben. Wenn Sie die demographischen Daten und die Metriken in einer Akte oder einer Datenbank aufbewahren, können sie allgemeine Trends detaillierter und aussagekräftiger aufzeigen. Auch ohne demographische Daten können Sie jederzeit die Ist-Kosten mit dem Budget vergleichen und dann die Entwicklung über den Zeitraum verfolgen. Der Vorteil beim Sammeln einiger demographischer Daten ist, dass Sie ähnliche Projekte miteinander vergleichen können. So können Sie beispielsweise die Kosten- und den Arbeitsaufwand eines Mainframe Projektes in Relation zu einem Web-Entwicklungsprojekt setzen. Oder sie messen, wie gut Projekte aus der Verkaufsabteilung im Vergleich mit Projekten aus dem Finanzbereich abschneiden.

Ein weiterer Nutzen, der sich aus dem Sammeln von demographischen Daten zum Projekt ergibt, ist, dass Sie die Informationen als Input für zukünftige Schätzungen verwenden können. Gehen wir beispielsweise davon aus, Sie haben ein Web-Entwicklungsprojekt vor sich, bei dem Sie ASP und SQL* Server verwenden. Für Ihre Schätzung wird es außerordentlich hilfreich sein, welche Aufwände und Kosten bei ähnlichen Projekten angefallen sind. Allgemein werden Ihnen demographische Daten und Metriken abgeschlossener Projekte für die Planung zukünftiger Vorhaben äußerst wertvolle Informationen liefern. Ein Musterbeispiel für ein Schema zur Erhebung von Projekt-Demographiken und Metriken befindet sich in den Vorlagen.

Vergewissern Sie sich, dass Ihre Metriken eine vollständige Geschichte erzählen (10.2.P10) 

Bei vielen Metriken besteht das Problem, dass sie auf eine Art und Weise dargelegt werden, die dem Leser keine vollständige Information vermittelt. Der Projektmanager und das Projekt-Team mögen zwar wissen, was die Aussage bestimmter Metriken ist. Andere Leser wissen dies unter Umständen nicht. Abhilfe schafft, wenn die Metriken immer gleichzeitig mit dem Ziel darzulegen werden. Wenn Sie Ihre aktuellen Ausgaben bis dato darlegen, dann fügen Sie dem auch hinzu, welche Ausgaben Sie an diesem Punkt im Projekt erwartet hatten. Denn, wenn Sie berichten, dass Ihr Projekt bislang Ausgaben in Höhe von € 100 000 gehabt hat, und dass Ihr Gesamtbudget sich auf € 150 000 beläuft, weiß der Leser nicht, ob dies eine gute oder eine schlechte Situation ist. Gewiss, befinden Sie sich noch unterhalb des Budgetlimits, doch noch ist die Arbeit nicht abgeschlossen. Besser ist, mitzuteilen, dass Sie bis dato € 100 000 ausgegeben haben und dass Sie gemäß Ihrer Schätzung an diesem Punkt im Projekt € 110 000 hätten können. Wenn dieser Trend sich fortsetzt, veranschlagen Sie die Endkosten des Projekts auf € 135 000 im Vergleich zu Ihrem Budget von € 150 000. Wenn Sie die Metriken mit diesem Kontext präsentieren, können Ihre Leser verstehen, was diese Zahlen besagen.

Teilen Sie dem Team den Zweck und den Nutzen von Metriken mit und schulen Sie es darin (10.2.P11)

Wenn Sie mit Ihrem Team darüber sprechen, wie wichtig es ist, ein Qualitätsprodukt herzustellen, werden die Mitglieder üblicherweise verstehen, was Sie meinen. Qualität ist ein Begriff und hat eine Assoziation, die jedem vertraut ist. Für Metriken ist dies vielfach nicht so eindeutig. Das Projektteam und vielfach auch die Kunden verstehen nicht, warum der Projektmanager ein Programm zur Erhebung von Metriken erstellt. Sie erkennen möglicherweise nicht intuitiv, dass Sie Messungen vornehmen müssen, um eine sachliche Vorstellung davon zu gewinnen, ob die Lieferobjekte und die Prozesse den Erwartungen entsprechen. Darüber hinaus erkennen sie unter Umständen nicht die Beziehung zwischen dem Einholen von Metriken und der Möglichkeit damit einen Prozess zu verbessern.

Der Projektmanager muss sich die Zeit dazu nehmen, zu erklären, weshalb Metriken benötigt werden, und wie das gesammelte Informationsmaterial dabei helfen wird, Verbesserungen einzuführen. Außerdem sollte das Team wissen, wie man Metriken erkennt, die einen Hinweis auf den Zustand eines Prozesses oder eines Lieferobjektes geben werden. Eine Schulung des Teams und des Kunden wird dem Projektmanager helfen, bessere Metriken mit weniger Nachbereitung und weniger Kontrollen zu erhalten. Wenn in Ihrem Unternehmen die Qualität allgemein groß geschrieben wird, sollte der gesamte Mitarbeiterstab diese Schulung erhalten.

Kritische Erfolgsfaktoren (Critical Success Factors, CSF) und Schlüsselindikatoren der Leistung (Key Performance Indicators, KPI)  (10.2.P12)

Die Begriffe Critical Success Factor (CSF) und Key Performance Indicator (KPI) werden verwendet, um Erfolgsziele auszudrücken. (Key Performance Indicators werden manchmal auch als Key Business Indicators, KBIs, bezeichnet.) Diese Größen sind sehr wichtig für die Messung Ihres Geschäftserfolgs. Metriken werden als CSF und KPIs bezeichnet, wenn sie von entscheidender Bedeutung für den Erfolg Ihres Unternehmens oder Ihrer Organisation sind. Es wird davon ausgegangen, dass Ihre Organisation ihre Vorhaben nur dann erfolgreich durchführen können wird, wenn diese CSF und KPIs erreicht werden.

Viele Organisationen verwenden die beiden Begriffe gleichbedeutend, doch es gibt einen kleinen Unterschied. Key Performance Indicators konzentrieren sich üblicherweise auf Prozesse. Einer Ihrer KPIs könnte beispielsweise lauten, die Zeitdauer zu reduzieren, in der eine Bestellung an einen Kunden versendet wird. Dies ist ein prozessbezogener Messwert. Ein CSF hingegen hat üblicherweise etwas mit den Charakteristika eines Lieferobjekts zu tun, wie etwa ein CSF zur Reduzierung der Fehlerzahl in einem Ihrer Produkte.