Entwicklung eines Instruments für die Bewertung von Qualitätsindikatoren an Hand von Gütekriterien (QUALIFY)

Projektziel

Ziel des Projekts war die Entwicklung eines Instruments für die Bewertung von Qualitätsindikatoren an Hand von Gütekriterien. Mit diesem Instrument sollen Qualitätsindikatoren, die für die Anwendung im Gesundheitswesen entwickelt wurden, methodisch zu bewerten. d. h. die Prävention, die ambulante und stationäre Akutversorgung und die ambulante und stationäre Rehabilitation.

Entwicklungsmethodik

Für das Projekt wurde ein Entwicklungsteam aus Methodikern (Projektgruppe) gebildet:

• A. Reiter
• B. Fischer
• J. Kötting
• H. Barlag
• K. Döbler

• M. Geraedts, Universität Düsseldorf
• W. H. Jäckel, Universität Freiburg

Schritt 1: Literatur-Review
Vorgehen:

1. Literaturrecherche in Medline und Embase und zusätzlich im Internet (vgl. Suchstrategie),
2. Abstractscreening: Relevanzbewertung aller gefundenen Artikel
3. Gütekriterien einschließlich ggf. vorhandener Definition und/oder Operationalisierung wurden aus den Originalarbeiten (Volltext) exzerpiert

Suchstrategie Literaturdatenbanken:
Die beiden Datenbanken wurden im September 2005 nach Artikeln abgesucht, die gleichzeitig einen Begriff der Gruppe 1, einen Begriff der Gruppe 2 und als Hauptschlagwort 'health care quality' beinhalten. Statt des Begriffes 'health care quality' können auch Begriffe stehen, die in der Browser-Hierarchie der Datenbank diesem Begriff zugeordnet sind (’term is exploded’).

Suchstrategie Websites:
Die Projektbeteiligten haben gemeinsam die Liste der relevanten Institutionen erstellt. Die Websites dieser Institutionen einschließlich eventuell vorhandener Links wurden nach Gütekriterien durchsucht. Die Details sind in der Anlage zusammengefasst.

Abstractscreening:
Für alle in der Literaturrecherche identifizierten Literaturstellen wurden die Abstracts ausgedruckt und gelesen. Alle Artikel deren Titel, Abstacttext oder Schlagworte (EMTREE MEDICAL INDEX TERMS) einen Hinweis auf die Abhandlung von Gütekriterien gab, wurden identifiziert und im Volltext bestellt.

Exzerpieren aus den Originalarbeiten:
Aus allen im Abstractscreening als relevant identifizierten Arbeiten wurden vorhandene Definitionen und/oder Operationalisierungen exzerpiert.

Ergebnis:

• 1.128 Artikel gefunden
• 270 Artikel als potenziell relevant eingestuft
• 43 Artikel relevant
• 208 Gütekriterien, z.T. mit Definitionen, exzerpiert (mit Mehrfachnennungen, z.B. 28 mal Validität)

Schritt 2: Definition und Kategorisierung
Auf der Basis der 208 Exzerpte wurden Begriffs-Cluster gebildet und Gemeinsamkeiten wie Unterschiede in den Definitionen der verschiedenen Quellen herausgearbeitet. Der Versuch, eine hierarchische Taxonomie von Gütekriterien zu erarbeiten, wurde fallen gelassen. Es wurden 20 Gütekriterien ausgewählt, Definitionen erarbeitet und den Kategorien Relevanz, Wissenschaftlichkeit und Praktikabilität zugeordnet.

Ergebnis:

• 20 Gütekriterien mit aufeinander abgestimmten Definitionen
  

Schritt 3: Operationalisierung
Für jedes Gütekriterium wurde eine Operationalisierung erarbeitet. Dabei wurde wo möglich auf Exzerpte aus der relevanten Literatur zurückgegriffen. Häufig mussten eigene Operationalisierungen erarbeitet werden.

Ergebnis:

• Operationalisierung für 20 Gütekriterien

Schritt 4: Bewertungsverfahren
Für das Bewertungsverfahren wurde ein Review von Konsensfindungs- und Bewertungsmethoden durchgeführt. Auf dieser Basis wurde für jedes Gütekriterium ein Bewertungsverfahren festgelegt. Wichtige Grundlage hierfür waren die zuvor erarbeiteten Definitionen und Operationalisierungen sowie das BQS-Fachgruppen-Konzept.

Ergebnis:

• Bewertungsverfahren bzw. Algorithmen für die 20 Gütekriterien
  

Schritt 5: Pretest und Anpassung des Instruments
Anhand einer Auswahl von 6 Qualitätsindikatoren mit unterschiedlichen methodischen Eigenschaften wurde das Instrument durch die Projektgruppe getestet. Folgende Qualitätsindikatoren wurden für den Pretest verwendet:

• Herzchirurgie: Risikoadjustierte Letalität
• Mammachirurgie: Präparatröntgen
• Mammachirurgie: Postoperatives Hämatom (kein BQS-Indikator)
• Geburtshilfe: Müttersterblichkeit
• Karotischirurgie: Indikation bei asymptomatischer Karotisstenose
• Dekubitus (Patient safety indicator nach Defintion der AHRQ, Erfassung anhand administrativer Routinedaten, kein BQS-Indikator)

Die Auswahl berücksichtigte sowohl Indikatoren zur Indikationsstellung, Prozess- und Ergebnisindikatoren als auch Sentinel-Event- und Rate-Based-Indikatoren. Des Weiteren wurden sowohl aus der praktischen Arbeit bei der BQS als methodisch stabil erkannte Indikatoren, als auch auf den ersten Blick schwache Indikatoren (Postoperatives Hämatom) ausgewählt.

Vorgehensweise zur Anpassung des Instruments:

1. Bewertung der Indikatoren mit Hilfe des Instruments:
   Zu jedem Gütekriterium erfolgte eine unabhängige Bewertung durch die Beteiligten. Nach Abschluss der Bewertung wurden die Ergebnisse diskutiert, insbesondere im Falle divergenter Bewertungen.
2. Überarbeitungsbedarf an Definitionen und Operationalisierungsschritten anhand der Bewertungsergebnisse:
   In dieser Stufe zeigten sich nur noch kleine Abweichungen im Verständnis der Gütekriterien, die durch klarere Formulierungen beseitigt werden konnten.
3. Anpassung des Instruments

Ergebnis:

• QUALIFY: Das QUALIFY-Instrument umfasst 20 Gütekriterien in den 3 Kategorien Relevanz, Wissenschaftlichkeit und Praktikabilität. Für jedes Gütekriterium stehen eine Definition, eine Operationalisierung und ein Bewertungsverfahren zur Verfügung.