Das QUALIFY-Instrument: Beschreibung und Anleitung

Gütekriterien und ihre Kategorisierung: Übersicht

QUALIFY ist ein Instrument zur strukturierten Bewertung von Qualitätsindikatoren im Gesundheitswesen. Es überprüft, ob diese geeignet sind, Unterschiede in der Versorgungsqualität zuverlässig darzustellen. Das Instrument wurde so konzipiert, dass es in allen Sektoren der Versorgung (ambulante und stationäre Akutversorgung, ambulante und stationäre Rehabilitation) eingesetzt werden kann. Die Notwendigkeit der Entwicklung ergab sich aus der Tatsache, dass ein vergleichbares Instrument bislang international nicht zur Verfügung stand.

Das QUALIFY-Instrument beruht auf 20 Gütekriterien (s. Tabelle 1), mit denen jeweils eine bestimmte Eigenschaft des zu bewertenden Qualitätsindikators gemessen wird.

Tabelle 1: QUALIFY: Gütekriterien und Kategorien

	Methodisches Gütekriterium
Relevanz	Bedeutung des mit dem Qualitätsindikator erfassten Qualitätsmerkmals für das Versorgungssystem
	Nutzen
	Berücksichtigung potenzieller Risiken / Nebenwirkungen
Wissenschaftlichkeit	Indikatorevidenz
	Klarheit der Definitionen (des Indikators und seiner Anwendung)
	Reliabilität
	Statistische Unterscheidungsfähigkeit
	Risikoadjustierung
	Sensitivität
	Spezifität
	Validität
Praktikabilität	Verständlichkeit und Interpretierbarkeit für Patienten und interessierte Öffentlichkeit
	Verständlichkeit für Ärzte und Pflegende
	Beeinflussbarkeit der Indikatorausprägung
	Datenverfügbarkeit
	Erhebungsaufwand
	Implementationsbarrieren berücksichtigt
	Die Richtigkeit der Daten kann überprüft werden
	Die Vollständigkeit der Daten kann überprüft werden
	Die Vollzähligkeit der Daten kann überprüft werden

Einzelne Gütekriterien zeigen Wechselwirkungen untereinander: So ist beispielsweise die Klarheit der Definitionen eine wichtige Voraussetzung für eine hohe Reliabilität eines Qualitätsindikators. Umgekehrt kann bei unklaren Definitionen eine gute Reliabilität nicht erwartet werden. Das QUALIFY-Instrument kann für verschiedene Zielsetzungen eingesetzt werden: Bewertung bereits verwendeter Indikatoren, Unterstützung bei der Neu- und Weiterentwicklung von Indikatoren. Eine praktische Anwendung von QUALIFY  war die Identifikation der für die öffentliche Berichterstattung geeigneten Qualitätsindikatoren. Vorgehensweise und praktische Erfahrungen finden Sie unter Anwendung.

Als Grundlage für eine transparente Bewertung von Qualitätsindikatoren an Hand von QUALIFY stehen für jedes einzelne Gütekriterium folgende Informationen zur Verfügung:

• eine eindeutige Definition des Gütekriteriums
• eine eindeutige Beschreibung des Bewertungsprozesses (Operationalisierung): sie legt alle notwendigen Einzelschritte von der Fragestellung bis zur Auswertung der Ergebnisse fest.
• eine Kernaussage: für jedes Gütekriterium gibt es eine konkrete Aussage, die bewertet wird (Bsp. für das Gütekriterium Risikoadjustierung: "Alle bekannten relevanten Einflussfaktoren auf das Ergebnis des Qualitätsindikators sind berücksichtigt.“).
• Bewertungsstufen: es handelt sich um definierte Bewertungsoptionen zur Kernaussage (z. B. Trifft zu, trifft nicht zu, Enthaltung).
• eine Informationsgrundlage: Die Bewerter erhalten vor der Bewertung neben den Bewertungskriterien strukturierte Materialien, die für die verschiedenen Gütekriterien und Indikatoren sehr unterschiedlich sein können.

Die 20 Gütekriterien sind den Kategorien Relevanz (3 Gütekriterien), Wissenschaftlichkeit (8 Gütekriterien) und Praktikabilität (9 Gütekriterien) zugeordnet (Tabelle 1):

• Die Gütekriterien der Kategorie Relevanz bewerten, ob ein Indikator relevante Qualitätsaspekte der im Fokus der Betrachtung stehenden Versorgung misst. Die Relevanz ist unmittelbar abhängig von dem Setting, in dem die Qualitätsindikatoren eingesetzt werden (z. B. können Qualitätsindikatoren zur Versorgung mit Hüftendoprothesen in Deutschland hoch relevant, in Regionen mit niedriger Lebenserwartung aber irrelevant sein).
• Die Gütekriterien der Kategorie Wissenschaftlichkeit prüfen unmittelbare methodische Eigenschaften eines Qualitätsindikators. Die Bewertung dieser Kriterien ist methodisch begründbar.
• Die Gütekriterien der Kategorie Praktikabilität überprüfen die praktische Anwendbarkeit oder Umsetzbarkeit des Qualitätsindikators in einem konkreten Umfeld.

Die Kategorisierung unterstützt das Verständnis der Einzelkriterien und der Beziehung der Kriterien untereinander. Außerdem lässt sich aus den Kategorien eine sinnvolle Sequenz bei der Bewertung ableiten.

Bewertung von Qualitätsindikatoren durch QUALIFY: Allgemeine Prinzipien

Für die Bewertung von Qualitätsindikatoren durch QUALIFY wird wie folgt vorgegangen:

1. Definition der Zielsetzung der Bewertung durch QUALIFY. Dieser Schritt unterstützt einen zielorientierten Ablauf der sich anschließenden Bewertung.
2. Benennung des Expertengremiums und Moderators (nimmt nicht an der Bewertung teil). Patientenvertreter sollten unbedingt an der Bewertung beteiligt sein.
3. Erläuterung der Methodik bei der Erstellung der Bewertungsgrundlagen und für den eigentlichen Bewertungsprozess.
4. Auswahl der für die Zielsetzung relevanten Gütekriterien aus der Gesamtliste. Falls einzelne Gütekriterien nicht bewertet werden, bedarf es einer expliziten Begründung.
5. Festlegung der Entscheidungsregel, nach der die Einzelergebnisse zusammengeführt werden zu einer Annahme oder Ablehnung der Eignung des Qualitätsindikators für die jeweilige Zielsetzung.
   
6. Bewertung der Qualitätsindikatoren.

Bei der Bewertung der Qualitätsindikatoren sind folgende Aspekte zu berücksichtigen:

• Die Bewertung erfolgt in Schritten: Aus praktischen Überlegungen bietet es sich an, zunächst die Kriterien der Relevanz anzuwenden. Nur für relevante Qualitätsindikatoren lohnt sich die z. T. sehr aufwändige Bewertung der Wissenschaftlichkeit eines Qualitätsindikators. Zuletzt kann dann die praktische Umsetzbarkeit des Qualitätsindikators, wie z. B. die Datenverfügbarkeit bewertet werden. Die Reihenfolge der Bewertung kann aber auch beliebig variiert werden, das Bewertungsergebnis bleibt davon unberührt.
• Es empfiehlt sich unbedingt, die ausgewählten Gütekriterien nacheinander zu bewerten.
  
• Vor Anwendung eines Gütekriteriums aus dem QUALIFY-Instrument ist sicherzustellen, dass alle Bewerter die Definition, die Kernaussage und die zur Verfügung gestellten Informationsgrundlagen verstanden haben.
• Die Bewertung erfolgt anonym und ohne Absprache mit den anderen Teilnehmern der Bewertungsrunde. Dies gewährleistet die Gleichberechtigung aller Teilnehmer.
• Das spezielle Vorgehen zu den einzelnen Gütekriterien ist in den folgenden Kapiteln ausführlich dargestellt. Dabei werden auch praktische Hinweise für die Anwendung des Instrumentes gegeben.