Die 7 größten Fehler bei der Systemevaluation

Ausgangslage und Vorgehensweisen

Ob CMS oder Suchmaschine, ob Social Software oder Collaborationstool, ob Portal oder Dokumentenmanagement: in jedem Projekt kommt der Zeitpunkt, an dem sich Unternehmen nach dem „richtigen“ System zur Umsetzung ihrer Vorhaben umsehen. Ein entscheidender Schritt, der großen Einfluss sowohl auf die Benutzerakzeptanz als auch auf die Gesamtkosten einer Lösung hat. Doch häufig leider auch ein Schritt, den Unternehmen nicht professionell angehen.

Ausgangslage für eine Systemevaluation

Übersichtlich ist er nicht gerade, der Markt für Systeme im Bereich Online-Medien und Informationsmanagement. Alleine in manchen Unterbereichen dieses Markts für „Content Technologien“ findet man teilweise weit über hundert Anbieter. Und diese Bereiche sind weder genormt, noch stabil oder klar abgegrenzt, so dass schon die Bestimmung der richtigen Systemkategorie für die eigenen Bedürfnisse zu einer Herausforderungen werden kann.

Marktübersichten von Technologieanalysten, wie die „Content Technology Vendor Map“ der Real Story Group helfen in dieser Situation einen ersten Eindruck der wichtigsten Akteure und ihrer Produkte zu bekommen:

Mehr als einen ersten Überblick sollte man sich von solchen Aufstellungen jedoch nicht erwarten, denn sie geben immer nur einen Ausschnitt aus der Marktrealität wieder. So sind in solchen Übersichten weder alle Anbieter aufgeführt (üblicherweise liegt der Fokus auf größeren Anbietern und geografisch meist auf Nordamerika), noch sind alle existierenden Systemkategorien abgedeckt. Auch die Zuordnung der einzelnen Systeme zu Kategorien (im obigen Beispiel zu „U-Bahn-Linien“) ist nicht immer eindeutig und umfassend.

Die Ausgangslage für eine Systemevaluation kann also durchaus schwierig und verwirrend sein. Insbesondere für Instrumente, die mehrere der aufgeführten Systemkategorien umfassen, wie dies beispielsweise bei Intranets, Mitarbeiterportalen oder „Digital Workplace“-Projekten der Fall ist.

Nun sind verwirrende oder von Unreife geprägte Märkte für Unternehmen jedoch meist kein Neuland, sondern etwas, mit dem sich Beschaffungsabteilungen auch in anderen Bereichen konfrontiert sehen. Der Marktzustand alleine reicht also nicht aus, um zu erklären, warum sich viele Firmen dermaßen schwer damit tun, die richtigen Systeme für ihre Online-Medien auszusuchen.

Die wichtigsten Ursachen, für Fehler bei der Systemevaluation, sind in folgenden Umständen zu sehen:

• Den meisten Unternehmen fehlt schlicht die Erfahrung mit der Evaluation derartiger Systeme. Diese weisen im Vergleich zu anderen IT-Beschaffungsvorhaben durchaus spezifische Besonderheiten aus, so dass übliche Vorgehensweisen nur bedingt erfolgsversprechend sind.
• Bei vielen Projekten in diesem Bereich handelt es sich um durchaus komplexe Vorhaben. Diese Komplexität hat Auswirkungen auf alle Ebenen: die Technologie, die Konzeption und auch die Vorgehensweise. Und die Fehleranfälligkeit eines Evaluationsprozesses steigt mit zunehmender Komplexität überproportional.

Es sind also insbesondere die Vorgehensweisen, die in Systemauswahlen zu Problemen führen. Als direkte Folge davon sind Unternehmen mit den gewählten Systemen allzu häufig nicht zufrieden und die Kosten fallen im Endeffekt höher als geplant aus.

Die folgenden sieben Punkte stellen die wichtigsten Vorgehensfehler dar, die in der Praxis häufig anzutreffen sind und die allesamt schwerwiegende Einflüsse auf die Qualität des Ergebnisses einer Systemevaluation haben. Und die man deshalb tunlichst vermeiden sollte.

Fehler Nr. 1: Unklares Vorhaben

In vielen Projekten wird zu früh mit der Systemauswahl begonnen. Und zwar meist zu einem Zeitpunkt, an dem noch überhaupt nicht klar ist, wie der Anwendungsfall des zukünftigen Systems denn konkret aussieht. Obwohl dieses Verhalten eher an „spontanes Shopping“ erinnert als an einen gesteuerten Beschaffungsprozess, ist es in Organisationen aller Größen und Branchen häufig anzutreffen.

Bevor jedoch die Frage nach dem „Warum?“ nicht ebenso geklärt ist, wie die Fragen nach dem „Was?“ und dem „Wie?“, kann die Frage nach dem „Womit?“ logischerweise nicht sinnvoll beantwortet werden. Dementsprechend muss zunächst die Frage nach der Strategie und den Zielen (also dem „Warum?“) gestellt werden. Auf dieser Grundlage können dann die geschäftlichen Anforderungen (das „Was?“) definiert werden und in Systemanforderungen übersetzt werden (das „Wie?“). Erst dann besteht eine Basis zur Beantwortung der Frage nach dem „Womit?“.
Die Reihenfolge dieses Vorgehens sollte deshalb unbedingt eingehalten werden.

Fehler Nr. 2: Äpfel mit Birnen vergleichen

Jedes Vorhaben ist unterschiedlich, jedem Vorhaben kann aber eine oder mehrere Systemkategorien zugeordnet werden, die ihm am besten entsprechen. Leider werden die zu evaluierenden Systeme jedoch häufig nicht nach einer klaren Systematik, sondern relativ willkürlich ausgewählt. Für ein neues Intranet vergleicht man dann beispielsweise gerne mal ein Wiki-System mit einem CMS, einem Portalsystem und einer Collaborationsplattform. Welches Produkt davon für die eigenen Anforderungen am Besten geeignet ist, kann dann meist gar nicht sinnvoll festgestellt werden, weil sich das Bewertungsschema im Laufe des Auswahlprozesses als ungeeignet für derart unterschiedliche Systemarten mit völlig verschiedenen Schwerpunkten erweist.Und selbst wenn ein Resultat dabei herauskommt, so bedeutet das in diesem Fall nur, dass man nun festgestellt hat, dass man zum Beispiel eher Äpfel als Birnen braucht, nicht jedoch, dass man schon die am besten geeignetste Apfelsorte gefunden hat.

Somit ist die Festlegung der passenden Systemkategorie(n) und die daran anschliessende Auswahl der zu untersuchenden Systeme ein entscheidender Schritt zu Beginn eines jeden Evaluationsprozesses.

Fehler Nr. 3: Herstellerunabhängigkeit falsch einschätzen

„Mein Dienstleister berät mich neutral!“ Während immer mehr Unternehmen die Wichtigkeit einer unabhängigen und objektiven Beratung in der Systemevaluation erkennen, herrschen meistens falsche Vorstellungen darüber, welche Voraussetzungen erfüllt sein müssen, damit ein Dienstleister überhaupt neutral beraten kann.

Und tatsächlich sind nur wenige Agenturen, Berater und Systemintegratoren in der Lage, neutral zu beraten. Das liegt gleich an mehreren Faktoren:

• Marktkenntnis: die meisten Dienstleister kennen nur einen kleinen Ausschnitt des Markets und beziehen nur die ihnen geläufigen Anbieter in das Auswahlverfahren mit ein. Somit bleiben viele unter Umständen besser geeignete Produkte von Anfang an unberücksichtigt (und man verbringt außerdem viel Zeit damit, Systeme zu evaluieren, die sowieso nicht in Frage kommen).
• Bevorzugung von Systemen, die man selber implementiert: Dienstleister, die technische Umsetzung anbieten, kennen in der Regel eine bestimmte Anzahl von Systemen sehr gut – diese werden üblicherweise einfach aufgrund dieser Kenntnis bevorzugt, egal ob sie auf das Anwendungsgebiet des Kunden passen oder nicht.
• Finanzielle Anreize: Vermittlungsprovisionen, Incentives, Kick-backs – die Bezeichnungen sind unterschiedlich, der Effekt jedoch immer derselbe. Sobald ein Dienstleister Geld von einem Systemanbieter bei Vermittlung seiner Produkte bezieht, berät er nicht mehr neutral. Als Kunden sollte man auf eine schriftliche Zusicherung bestehen, das der „neutrale“ Dienstleister von keinem Anbieter entsprechende Vergütungen erhält.

Auf dieser üblicherweise anzutreffenden Basis kann keine Empfehlung erfolgen, welches System sich für den individuellen Anwendungszweck des eigenen Unternehmens am Besten eignet. Nur neutrale Marktanalysten und wirklich unabhängige, spezialisierte Berater sind in der Lage, Empfehlungen auszusprechen, die ausschliesslich im Interesse des Anwenders liegen.

Fehler Nr. 4: Excel die Entscheidung überlassen

Wie vergleicht man dutzende, manchmal sogar hunderte von Anforderungskriterien über verschiedene Systeme hinweg? Klar: eine Excel-Tabelle muss her. Nur sollte man von dieser Tabelle nicht das endgültige Ergebnis erwarten.

Eine Systemevaluation ist keine wissenschaftliche Arbeit, an deren Ende ein mathematisch exaktes, völlig objektives Ergebnis herauskommt. Zu unterschiedlich sind die Ansätze der verschiedenen Hersteller und zu wenig klar sind häufig auch die direkten Auswirkungen der einzelnen Kriterien auf die Gesamtlösung. In der Praxis geht es somit vielmehr darum, die großen Mengen an heterorgenen und überwiegend unstrukturierten Informationen, die im Laufe eines Evaluationsprozesses anfallen, zu abstrahieren, zu konsolidieren und qualittiv auswertbar zu machen.

Dabei kann am Ende der Evaluation zwar gerne ein quantitatves Gesamtergebnis zu jedem System herauskommen, dieses sollte aber nicht als absolute Wertung betrachtet werden. Ein System, das 99% aller Kriterien erfüllt, wird zwar bestimmt besser geeignet sein, als eines, das nur 50% aufweisen kann. Bei gut gewählten Auswahlkriterien und zu untersuchenden Systemen liegen die Ergebnisse jedoch typischerweise deutlich näher zusammen. Und ob ein System mit 78% Übereinstimmung dann tatsächlich klar gegenüber einem mit „nur“ 75% zu bevorzugen ist, muss in der Praxis doch hinterfragt werden.

Fehler Nr. 5: freie Präsentationen

Sobald die Anzahl der Anbieter auf eine überschaubare Größe reduziert wurde und die grundsätzliche Einsatzeignung feststeht, sollte man Anbieterpräsentationen durchführen. Dieser Schritt ist wichtig, um ein besseres Gefühl für die Software zu bekommen und einen Abgleich zwischen dem eigenen Eindruck und den Antworten des Anbieters in den Ausschreibungsunterlagen herzustellen (und da gibt es nicht selten die eine oder andere Überraschung).

Die Effektivität solcher Produktdemonstrationen hängt jedoch entscheidend von deren Ablauf ab. Eine fest definierte, für alle Anbieter gleiche Struktur ist schon aufgrund der Vergleichbarkeit erforderlich. Die richtige Wahl und Vorbereitung der Agendapunkte ist jedoch genauso wichtig, damit auch die für den nächsten Entscheidungsschritt relevanten Dinge präsentiert werden. So sollten zum Beispiel immer genau definierte Anwendungsfälle vorgegeben werden, damit man bei allen Systemen die wichtigsten Einsatzgebiete der zukünftigen Lösung in vergleichbarer Form zu sehen bekommt.

Fehler Nr. 6: keine Probefahrt

Was bei jedem Autokauf eine Selbstverständlichkeit ist, fällt bei Softwarebeschaffungen aus Gründen des damit verbundenen Aufwands häufig unter den Tisch: die Probefahrt. Aber ohne einen „Proof of Concept“ mit den sich in der Endauswahl befindlichen Systemen durchgeführt zu haben, sollte man keine Evaluation beenden.

Das damit unter Umständen beträchtlicher Aufwand verbunden sein kann, ist zwar korrekt, im Vergleich zum Aufwand und den Kosten einer Fehlentscheidung ist dieser jedoch vernachlässigbar.

Durch einen „Proof of Concept“ wird nicht nur eine ungleich bessere Einschätzung der Systeme möglich, er gibt auch einen Vorgeschmack auf die Zusammenarbeit mit dem Systemanbieter oder Integrationsdienstleister. Und wenn diese bereits vor Vertragsabschluss nicht gut funktioniert, hat man ein weiteres, zwingendes Ausschlusskriterium vorliegen.

Fehler Nr. 7: zu spät verhandeln

„Wir haben uns für ihre Software entschieden, können Sie am Preis noch was machen?“ Dass am Ende eines Evaluationsprozesses nicht der beste Zeitpunkt für Verhandlungen ist, dürfte einleuchtend sein. Trotzdem verpassen es viele Unternehmen im Eifer des Auswahlprozesses zu den richtigen Zeitpunkten im jeweils richtigen Maße zu verhandeln.

Dabei muss man sich zunächst bewusst machen, dass Preise für Software häufig sehr willkürlich sind. Massive Unterschiede zwischen Listenpreisen und individuell angebotenen Konditionen sind eher die Regel als die Ausnahme. Dementsprechend ist es für beschaffende Unternehmen wichtig, den Verhandlungshebel möglichst an der richtigen Stelle anzusetzen. Und das ist weder zu früh im Auswahlprozess (wenn noch zu viele Anbieter im Spiel sind und der Anreiz für den einzelnen Hersteller noch relativ gering ist), noch zu spät (wenn also kaum mehr Konkurrenz besteht und die Anbieter die Preise der anderen Kandidaten relativ gut einschätzen können).

Bonus-Tipp: die Kunst des richtigen Filterns

Eine Systemauswahl ist immer eine schrittweise Verfeinerung einer Auswahl, von einer großen Anzahl von nur potentiell passenden Kandidaten, hin zu einer kleinen Anzahl von möglichst genau passenden Anbietern. In diesem Prozess ist es wichtig, in jedem Verfeinerungsschritt die richtige Anzahl an Kandidaten mit dabei zu haben. Nicht zu viele – sonst ist der Aufwand zu groß, aber auch nicht zu wenige – sonst wird die Auswahlmöglichkeit eingeschränk, was fast zwangsläufig zu letztlich unnötigen Kompromissen führt.

Die genaue Anzahl von Anbietern je Schritt lässt sich dabei nur grob bestimmen, da jedes Evaluationsszenario unterschiedlich ist und die ideale Anzahl von vielen Faktoren abhängt. Es kommt dabei stark auf die Erfahrung des Evaluationsleiters an, ob die Steuerung des „Filters“ gut funktioniert oder eher zufällig erfolgt.

Fazit: „Drum prüfe …“

In Gesprächen mit Unternehmen bekommt man häufig den Eindruck, dass die Folgen eines Systemwechsels stark unterschätzt werden. Dementsprechend wird auch der Wichtigkeit, bei einer Softwareevaluation die bestmögliche Wahl zu treffen, nicht ausreichend Bedeutung zugemessen. Man könne ja in 3 bis 4 Jahren wieder auf ein anderes System umsteigen, wenn sich das jetzt ausgewählte doch nicht als idealer Kandidat herausstellen sollte. Bis dahin haben sich die Lizenzkosten ja ammortisiert, so der Gedankengang.

In der Regel machen die Lizenzkosten einer Software jedoch nur einen kleinen Teil der Gesamtkosten eines Systems aus. Denn die direkt von einer ausgewählten Software abhängigen Kostenfaktoren sind zahlreich und weitreichend. Sie umfassen beispielsweise Anpassungen und Weiterentwicklungen, die individuell auf Basis der Software erfolgt sind, ebenso wie erstellte Schnittstellen und Integrationsmaßnahmen in die bestehende IT-Landschaft. Aber auch Konzeptionsarbeiten müssen bei einem erneuten Systemwechsel normalerweise wieder neu durchgeführt werden, so dass die Aufwände eines späteren Wechsels nicht selten, die des ursprünglichen Projekts noch deutlich übertreffen.

Vor diesem Hintergrund – den man natürlich noch um Aspekte wie die Umgewöhnung der Anwender auf ein neues System, den erneut erforderlichen Kompetenzaufbau in der IT, etc. ergänzen müsste – sollte man an Systemevaluationen besser mit der Einstellung herangehen, dass das Resultat für die sprichwörtliche Ewigkeit halten muss.

Von dieser Einstellung wird nicht nur das Evaluationsergebnis positiv beeinflusst, sondern es zeigt sich mit zunehmender Ausweitung der Online-Medien auch, dass diese Systeme mit der Zeit einen Umfang erlangen, der ein Auswechseln der jeweiligen Plattformen in der Tat kaum noch möglich macht.

Es würde wohl kein Unternehmen einen unnötigen Austausch eines Kernsystems, wie zum Beispiel eines ERP-Systems, riskieren. Der gleiche Maßstab sollte auch für derart komplexe Instrumente wie fortgeschrittene Intranets, umfassende E-Commerce-Plattformen oder einen digitalen Arbeitsplatz angelegt werden.

Doch auch wenn man sich (aus heutiger Sicht) nicht unbedingt „ewig bindet“, sollte man eine Systemevaluation doch eher als das Eingehen einer Ehe statt einer unverbindlichen Affäre ansehen. Deswegen ist auch der Prüfungsaufwand, den ein professioneller Auswahlprozess mit sich bringt, auf jeden Fall gerechtfertigt.