Praktische Anwendung des QUALIFY-Instruments - Auswahl von Qualitätsindikatoren für den Qualitätsbericht der Krankenhäuser

Auftrag und Zielsetzung
BQS-Qualitätsindikatoren wurden entwickelt, um im internen Qualitätsmanagement und für einen anonymen externen Qualitätsvergleich eingesetzt zu werden. Eine verbindliche  Verwendung zur öffentlichen Berichterstattung („Public reporting“) von Krankenhausergebnissen war bislang nicht vorgesehen.
Die BQS wurde am 16.5.2006 vom Gemeinsamen Bundesausschuss beauftragt, Indikatoren zu identifizieren, die zur Information von Patienten und Versicherten geeignet sind. Diese Analyse sollte dem Gemeinsamen Bundesausschuss die Entscheidung ermöglichen,   ob und in welcher Form Ergebnisse der externen stationären Qualitätssicherung in den Strukturierten Qualitätsberichten der Krankenhäuser nach § 137 SGB V verpflichtend und einheitlich dargestellt werden können.
Die öffentliche Qualitätsberichterstattung in Medizin und Pflege mittels einheitlicher Qualitätsindikatoren ist für das deutsche Gesundheitswesen weitestgehend Neuland, steht aber im Fokus hohen öffentlichen Interesses. Es ist daher wichtig, dass  Qualitätsindikatoren verwendet werden, bei denen die Gefahr von Fehlsteuerungen und Fehlinterpretationen  möglichst gering ist.

BQS-Qualitätsindikatoren
Im Jahr 2006 waren die Krankenhäuser verpflichtet, in 24 Versorgungsbereichen (BQS-Leistungsbereiche) Daten für die externe Qualitätssicherung in einer einheitlichen Form zu erfassen. In diesen Leistungsbereichen standen 180 BQS-Qualitätsindikatoren zur Verfügung, deren Ergebnisse für alle Krankenhäuser ausgewertet wurden. Diese Indikatoren wurden in die Analyse einbezogen.

Bearbeitung des Auftrags des Gemeinsamen Bundesausschusses
Der Auftrag des Gemeinsamen Bundesausschusses wurde durch die BQS und die BQS-Fachgruppen bearbeitet.

Durchführung der Analyse und Ergebnisse

Nicht alle 20 Kriterien des QUALIFY-Instruments waren für den Auftrag, Indikatoren für die öffentliche Berichterstattung zu identifizieren, anwendbar und relevant. Daher wurde das QUALIFY-Instrument für den Auftrag angepasst.

Es wurden 14 Kriterien identifiziert, die für die spezielle Fragestellung eine besondere Bedeutung hatten und für die eine geeignete Informationsgrundlage für die Bewertung zur Verfügung gestellt werden kann (Tabelle 1). In Tabelle 2 wird dargestellt, welche Gütekriterien aus welchen Gründen für die Bewertung nicht eingesetzt wurden.

Ein Qualitätsindikator wurde als geeignet für die öffentliche Berichterstattung angesehen, wenn bei allen 14 bewerteten Kriterien eine Eignung festgestellt wurde.

Für das Kriterium Indikatorevidenz  wurde die Eignung bei einer Einstufung „mittel“, „hoch“ oder „sehr hoch“ angenommen. Für die anderen 13 Kriterien wurde die Eignung  bei einem Bewertungsergebnis von „trifft zu“ oder „trifft eher zu“ angenommen.

Allen Mitgliedern der BQS-Fachgruppen wurde das QUALIFY-Instrument vor den Fachgruppensitzungen zur Verfügung gestellt. In den Sitzungen wurde die Anwendung des QUALIFY-Instruments und des Bewertungsverfahrens nochmals erläutert und diskutiert.

Die Bewertung der einzelnen Kriterien wurde vorbereitet, indem bewertungsrelevante Informationen vor den Sitzungen verschickt wurden und in den Sitzungen durch spezielle Moderationsvorlagen ergänzt und erläutert wurden.

Eine vollständige Prüfung aller 184 verfügbaren BQS-Indikatoren anhand des QUALIFY-Instruments war im verfügbaren Zeitrahmen nicht möglich. Daher musste eine Priorisierung erfolgen.

Die BQS-Fachgruppen haben zunächst die relevantesten Leistungsbereiche identifiziert, d.h. diejenigen mit den höchsten Fallzahlen. 12 von 24 Leistungsbereichen wurden auf diese Weise für die Analyse priorisiert (Tabelle 3).

Im nächsten Schritt wurden Indikatoren identifiziert, bei denen in der Vergangenheit bereits methodische Einschränkungen bei einzelnen Gütekriterien erkannt worden sind (beispielsweise Ergebnisindikatoren mit eingeschränkter Risikoadjustierung). Auch Sentinel-Event-Indikatoren wurden aus der Bewertung ausgeschlossen, da aufgrund der Seltenheit der beobachteten Ereignisse eine eingeschränkte Diskriminationsfähigkeit dieser Indikatoren bekannt war.

Durch dieses Vorgehen wurden 55 Qualitätsindikatoren priorisiert, für die eine formale Bewertung mit Hilfe des QUALIFY-Instruments begonnen wurde.

Für diese 55 Indikatoren erfolgte die formale Bewertung mit Hilfe des QUALIFY-Instruments durch die BQS und die BQS-Fachgruppen.

Anhand dieser Bewertung wurden 31 Qualitätsindikatoren aus 11 BQS-Leistungsbereichen  identifiziert, die für eine öffentliche Berichterstattung methodisch uneingeschränkt empfohlen wurden: Download.

Der Gemeinsame Bundesausschuss hat sich in seiner Beschlussfassung zur verpflichtenden Veröffentlichung von Ergebnissen im Qualitätsbericht der Krankenhäuser gestützt. Für 27 dieser als uneingeschränkt geeignet bewerteten Indikatoren besteht die Verpflichtung zur Veröffentlichung im Qualitätsbericht.
Für die vier als uneingeschränkt geeignet bewerteten Qualitätsindikatoren aus dem Leistungsbereich „Ambulant erworbene Pneumonie“  hat der Gemeinsame Bundesausschuss eine Empfehlung zur Veröffentlichung ausgesprochen. Er ist damit dem Votum der BQS-Fachgruppe Pneumonie gefolgt, die empfohlen hatte, Ergebnisse zu diesem Leistungsbereich erst ab dem Auswertungsjahrgang 2007 zu berichten. Begründet wurde diese Empfehlung damit, dass nach erstmaliger Einführung dieses Leistungsbereichs im Jahr 2005 die Erfahrungen und Vereinbarungen aus dem Strukturierten Dialog im Jahr 2006 noch nicht ganzjährig umgesetzt sein konnten.

Die Ergebnisse der Bewertung dieser Indikatoren mit Hilfe des QUALIFY-Instruments ist für alle 14 angewendeten Gütekriterien auf der Website www.bqs-qualitätsindikatoren.de veröffentlicht.

Erfahrungen in der praktischen Anwendung des QUALIFY-Instruments

Praxistauglichkeit des QUALIFY-Instruments
Das Bewertungsverfahren bedeutete für die BQS-Fachgruppen einen stärkeren Formalisierungsgrad der Beratungen und Abstimmungen als dies bislang der Fall war. Daher wurden standardisierte Moderationswerkzeuge eingesetzt, um das Instrument und die Vorgehensweise zu erläutern.
In der Praxis hat sich gezeigt, dass in den ersten Sitzungen zunächst Vorbehalte wegen des hohen Formalisierungsgrades bestanden. Eine Diskussionszeit von 2-4 Stunden pro Fachgruppe war erforderlich, um das Instrument und die Anwendung zu erläutern. Danach bildete sich in den Fachgruppen  relativ rasch eine Vertrautheit mit dem Ablauf der Bewertungen.
Die methodische Bewertung von Qualitätsindikatoren mit Hilfe des QUALIFY-Instruments erfordert für jeden Qualitätsindikator einen Beratungsaufwand in den Expertengremien von 2-5 Stunden sowie erheblichen Aufwand, um die Informationsbasis für die Bewertung zu erarbeiten und aufzubereiten.
Insgesamt hat sich das Instrument als aufwändig, aber praktisch handhabbar erwiesen.

Nutzen des QUALIFY-Instruments
In der Literatur erfolgt die Bewertung der methodischen Eigenschaften von Qualitätsindikatoren anhand einer Vielzahl von Kriterien, die teilweise Wechselwirkungen aufweisen und sich nicht eindeutig hierarchisch gliedern lassen. Es existieren national und international keine einheitlichen Definitionen.
Diese hohe Komplexität konnte mit Hilfe der klaren Struktur und der einheitlichen Definitionen des QUALIFY-Instruments reduziert werden. Die Gliederung in  praktisch handhabbare Einzelkriterien ermöglichte eine strukturierte Diskussion und Bewertung.
Die Einheitlichkeit der Bewertung gewährleistet, dass gleiche Anforderungen an Qualitätsindikatoren in allen Leistungsbereichen angelegt werden.
Alle Bewertungsergebnisse können transparent dargestellt werden. Dies ermöglicht eine offene wissenschaftliche Diskussion sowohl zum Instrument wie auch zu den Bewertungsergebnissen der einzelnen Qualitätsindikatoren.
Somit kann eine öffentliche Diskussion, ob die „richtigen“ Qualitätsindikatoren ausgewählt worden sind, mit Hilfe der Kriterien strukturiert erfolgen.

Weiterentwicklung des QUALIFY-Instruments

Die praktischen Erfahrungen haben gezeigt, dass zukünftig bei einzelnen Gütekriterien verfeinerte Moderationswerkzeuge eingesetzt werden können, um komplexe Sachverhalte anschaulicher zu machen und damit eine zügigere Bewertung zu ermöglichen. Beispielsweise wurde beim Gütekriterium „Statistische Unterscheidungsfähigkeit“ die Visualisierung der dreischrittigen Methodik nach den ersten Erfahrungen verbessert.

Es bestehen unvermeidbare Redundanzen zwischen einzelnen Gütekriterien. In einzelnen Fällen sollte daher überprüft werden, ob die Gütekriterien nicht klarer gegeneinander abgegrenzt werden können.  Beispielsweise erfasst das Kriterium „Bedeutung“ auch Nutzenaspekte, so dass das Kriterium „Nutzen“ eindeutiger auf die praktische Nutzung des Indikators fokussiert werden könnte.

Für das Gütekriterium „Reliabilität“ hat sich gezeigt, dass eine verbesserte Informationsgrundlage angestrebt werden sollte. Bei der Neuentwicklung von Indikatoren sollte zukünftig in einem Pilottest anhand gezielter Testverfahren (Test-Retest, Inter-Rater-Reliabilität) eine verbesserte Informationsbasis für die Bewertung des Kriteriums geschaffen werden.

Die wissenschaftliche Publikation des QUALIFY-Instruments und seiner Pilotanwendung wird eine Diskussion ermöglichten, auf deren Basis eine methodische Weiterentwicklung des Instruments erfolgen kann.