Risikoadjustierung

Dieses Gütekriterium ist besonders bedeutsamfür die öffentliche Berichterstattung, damit die Ergebnisse tatsächlich die Behandlungsqualität und nicht den Case-Mix des bewerteten Leistungserbringers wiedergeben. Die Einflussfaktoren sind zumeist Patientenmerkmale wie Krankheitsschwere und Komorbidität. Auch Patientenpräferenzen können hier berücksichtigt werden. Die Bewertung dieses Gütekriteriums setzt hohe methodische und fachlich-medizinische Kompetenzen bei Bewertern voraus.

Wesentliche Einflussfaktoren auf die Ausprägung der Messgröße sollen identifiziert, erfasst und im Rahmen einer Adjustierung berücksichtigt werden. Im Rahmen einer durchzuführenden Risikoadjustierung müssen dabei nur Einflussfaktoren berücksichtigt werden, die

• nicht von der Versorgung durch den bewerteten Leistungserbringer abhängig sind
• nicht gleichmäßig über alle Leistungserbringer verteilt sind
• in gemeinsamer Betrachtung mit schon berücksichtigten Risikofaktoren noch relevanten Einfluss aufweisen
• bei Nichtberücksichtigung das Ergebnis zum Qualitätsziel tatsächlich verzerren (so kann z.B. auf Einflussfaktoren die nur sehr selten und vereinzelt auftreten verzichtet werden, wenn ein Einfluss auf die Ergebnisse der Krankenhäuser zum Qualitätsindikator vernachlässigbar gering erscheinen)

Die im Weiteren zu berücksichtigenden Einflussfaktoren sollen reliabel messbar sein. Außerdem soll die verwendete Risikoadjustierungsmethode selbst (z.B. Stratifizierung, Additiver Score) geeignet gewählt sein, um eine von Einflussfaktoren möglichst unbeeinflusste Beurteilung des Qualitätsziels zu ermöglichen.

Folgende Aussagen erhalten eine Bewertung:

1. „Alle bekannten relevanten Einflussfaktoren auf das Ergebnis des Qualitätsindikators sind berücksichtigt.“
2. „Die verwendeten Risikofaktoren sind insgesamt reliabel messbar.“
3. „Die Methode der Risikoadjustierung ist geeignet um eine unverzerrte Aussage hinsichtlich des Qualitätsziels treffen zu können.“

Der Kernaussage "Der Indikator ist ausreichend risikoadjustiert“ wird das ungünstigste Ergebnis aus den drei bewerteten Aussagen zugeordnet.

Zur abschließenden Bewertung der Kernaussage zu einer ausreichenden Risikoadjustierung werden getrennte Bewertungen zur Vollständigkeit der relevanten Risikofaktoren, zur Reliabilität der verwendeten Risikofaktoren und zur Methode der Risikoadjustierung vorgenommen. Für jede dieser drei Bewertungen werden unterschiedliche Informationsgrundlagen zusammengestellt.

• von der Qualität des Leistungserbringers abhängen
• gleichmäßig über alle Leistungserbringer verteilt sind
• in gemeinsamer Betrachtung mit den berücksichtigten Risikofaktoren keinen relevanten zusätzlichen Einfluss aufweisen oder
• das Ergebnis zum Qualitätsziel nicht verzerren

für eine Risikoadjustierung nicht berücksichtigt werden sollen oder notwendig sind.

Zur Bewertung wird zunächst eine Tabelle der bereits berücksichtigten Einflussgrößen zum Qualitätsindikator zur Verfügung gestellt. Darüber hinaus gehende potentielle Einflussfaktoren werden in einer Liste bisher nicht berücksichtigter potentieller Einflussfaktoren gesammelt. Diese generiert sich hauptsächlich aus Angaben zur Messgröße in der wissenschaftlichen Fachliteratur (z.B. nationale und internationale Publikationen und Leitlinien), jedoch können auch Informationen aus dem Strukturierten Dialog oder fachliches und klinisches Wissen der Fachexperten genutzt werden, um potentielle Einflussfaktoren zur Diskussion zu stellen.

So fern nicht berücksichtigte potentielle Einflussfaktoren vorliegen, werden möglichst viele relevante Informationen zum Zusammenhang zwischen diesen Einflussfaktoren und der Ausprägung der Messgröße zusammengestellt. Zum einen kann durch eine Recherche der Fachliteratur vorhandene Information zusammengetragen werden. Liegen Daten zum Einflussfaktor und zur Messgröße vor, kann zum anderen eine datengestützte Analyse erfolgen, deren Ergebnisse in eine Bewertung einfließen. Insbesondere die p Werte eines χ²-Testes auf Unabhängigkeit in der Vierfeldertafel können Hinweise auf einen möglichen Zusammenhang liefern. Graphische Darstellungen zur relativen Häufigkeit eines Einflussfaktors in den einzelnen Krankenhäusern können zudem die Annahme einer gleichmäßigen Verteilung über die Krankenhäuser erhärten oder entkräften.

Neben der Liste der berücksichtigten Einflussfaktoren und der Liste der nicht berücksichtigten Einflussfaktoren kann es hilfreich sein eine dritte Liste zu pflegen, in der benannte potentielle Einflussfaktoren gelistet werden, die entweder von der Qualität des Leistungserbringers abhängen oder gleichmäßig über alle Leistungserbringer verteilt sind oder in gemeinsamer Betrachtung mit den berücksichtigten Risikofaktoren keinen relevanten zusätzlichen Einfluss aufweisen oder das Ergebnis zum Qualitätsziel nicht verzerren oder für die ein tatsächlicher Einfluss verneint werden muss. Diese Liste verdeutlicht, dass die hier aufgeführten Faktoren bewusst nicht berücksichtigt werden, vereinfacht aber auch gegebenenfalls eine abweichende Auffassung einzelner Bewerter.

Eine Bewertung erfolgt analog zum Gütekriterium „Reliabilität“, mit dem Unterschied, dass hier nicht die Messgröße im Fokus der Bewertung steht. Stattdessen werden hier zunächst für jeden einzelnen verwendeten Risikofaktor die Informationsgrundlagen zur Reliabilität wie im Kapitel Reliabilität beschrieben zur Verfügung gestellt. Die entsprechenden Einzelbewertungen dienen dann selbst als Informationsgrundlage einer Gesamtbewertung der Reliabilität aller beim Qualitätsindikator verwendeten Risikofaktoren. Für jeden verwendeten Risikofaktor wird dazu das relative Risiko (oder alternativ das Odds-Ratio) zum Auftreten eines Ereignisses bei der Messgröße bestimmt und die Risikofaktoren sinnvoll in Faktoren mit hohem und niedrigen Einfluss eingeteilt. Als Informationsgrundlage zur Gesamtbewertung dienen schließlich eine Darstellung der Häufigkeiten der Einzelbewertungen und das Ergebnis aus einem Bewertungsschema, wobei Faktoren mit hohem Einfluss mit höherem Gewicht eingehen können.

Als Informationsgrundlage dienen hier zunächst die Benennung des Qualitätsziels im Wortlaut und des verwendeten Risikoadjustierungsverfahren. Je nach verwendeter Methode der Risikoadjustierung (und Qualitätsziel) werden unterschiedliche Informationsgrundlagen erstellt, um eine Eignung der Methode selbst und eine angemessene Verwendung zu bewerten. Bei der BQS werden dabei zur Zeit folgende Methoden verwendet: Risikoadjustierung nicht erforderlich, Risikostandardisierte Fallkonstellation, Stratifizierung, Additive Scores, Logistische Regression. Hilfreich ist hier zunächst ein Zusammentragen der Gründe, warum die entsprechende Methode ursprünglich von den Fachexperten ausgewählt wurde, sowie Informationen zur Fallzahl in den zur Beurteilung des Qualitätsziels relevanten Grundgesamtheiten. Darüber hinaus können folgende Informationen nützlich sein:

Bei Risikoadjustierung nicht erforderlich: Informationen, ob es tatsächlich keine Einflussfaktoren gibt, bzw. ob eine Risikoadjustierung korrekterweise nicht notwendig ist.

Bei Risikostandardisierter Fallkonstellation, Stratifizierung, Additiver Score: Informationen, ob oder warum ggf. ausgeschlossene Fälle, Schichten oder Score-Klassen zur Beurteilung des jeweiligen Qualitätsziels nicht oder nur von geringer Bedeutung sind. In Einzelfällen kann ein Vergleich des Ranking der Ergebnisse bei zur Beurteilung verwendeten und nicht verwendeten Schichten oder Klassen Hinweise auf den Nutzen von zusätzlichen Beurteilungen zum Qualitätsziel geben. Bei additiven Scores, die nicht nur die Score-Klassen ohne Risikofaktoren oder mit allen Risikofaktoren gleichzeitig betrachten, können Informationen zu den Ergebnisraten bei Vorliegen einzelner Risikofaktoren oder auch in Kombination Aufschluss darüber geben, ob sich die verwendete additive Gewichtung in den Ergebnisraten widerspiegelt.

Bei Logistischer Regression: Bei einer Neuberechnung eines logistischen Regressionsmodells sollen die Werte des Hosmer-Lemeshow-Tests, der ROC-Kurve, sowie für den relativen Vergleich bei der Modellentwicklung die Werte zum Pseudo-R² und Akaikes Informationskriterium transparent gemacht werden. Bei einer Folge-Verwendung ohne weitere Neuberechnung werden Informationen zur beobachteten Rate und aus dem Modell erwarteten Rate zur Verfügung gestellt, welche nicht zu weit auseinander liegen sollten. Für den Fall, dass bei einer Folge-Verwendung Informationen zu jüngeren Modellen bei vergleichbarer Grundgesamtheit vorliegen, könnte zusätzlich ein Vergleich der Regressionskoeffizienten beider Modelle und hierbei auftretende mögliche signifikante Unterschiede wertvolle Zusatzhinweise liefern.

In allen Fällen ist es hierbei hilfreich, wenn ein Team aus biometrischen und medizinischen Fachexperten auf Grundlage der vorliegenden Informationen einen Bewertungsvorschlag erarbeitet und begründet.

Bewertungsprozess
Es werden getrennte Bewertungen zur Vollständigkeit der relevanten Risikofaktoren, zur Reliabilität der verwendeten Risikofaktoren und zur Methode der Risikoadjustierung vorgenommen. Der Kernaussage "Der Indikator ist ausreichend risikoadjustiert“ wird das ungünstigste Ergebnis aus den drei bewerteten Aussagen zugeordnet.

1. Die zu bewertende Aussage zur Vollständigkeit der Risikofaktoren lautet

„Alle bekannten relevanten Einflussfaktoren auf das Ergebnis des Qualitätsindikators sind berücksichtigt, die

• nicht von der Qualität des Leistungserbringers abhängen
• nicht gleichmäßig über alle Leistungserbringer verteilt sind
• in gemeinsamer Betrachtung mit den berücksichtigten Risikofaktoren noch relevanten Einfluss aufweisen
• bei Nichtberücksichtigung das Ergebnis zum Qualitätsziel tatsächlich verzerren“

Zunächst werden allen Bewertern die Informationsgrundlagen zur Kenntnis gegeben und verständlich gemacht.

Ist dabei die Liste der nicht berücksichtigten potentiellen Einflussfaktoren gefüllt und können p Werte des χ²-Testes aus einer Datenanalyse zu den nicht berücksichtigten potentiellen Einflussfaktoren genutzt werden, wird eine Bewertungsempfehlung wie folgt vorgeschlagen:

Liegen Daten zu den nicht berücksichtigten potentiellen Einflussfaktoren nicht vor, erfolgt eine Bewertung anhand der wissenschaftlichen Fachliteratur und Fachkompetenz der Experten.

Anschließend wird die Aussage von allen Bewertern wie in Anlage 1 beschrieben bewertet.

1 = trifft nicht zu
2 = trifft eher nicht zu
3 = trifft eher zu
4 = trifft zu
Enthaltung

2. Die zu bewertende Aussage zur Reliabilität der verwendeten Risikofaktoren lautet

„Die verwendeten Risikofaktoren sind insgesamt reliabel messbar.“

Den Bewertern wird das Ergebnis der Bewertung zur Reliabilität der einzelnen verwendeten Risikofaktoren zur Kenntnis gegeben und die vorliegenden Berechnungen zu den relativen Risiken dargestellt. Es wird erläutert wie eine Einteilung in Faktoren mit hohem und niedrigem Einfluss stattgefunden hat. In der Regel hat es sich als praktikabel herausgestellt Risikofaktoren mit einem relativen Risiko von >= 2 als Risikofaktoren mit hohen Einfluss einzustufen, und entsprechend bei einem relativen Risiko von < 2 eine Einstufung mit niedrigem Einfluss vorzunehmen. Hier kann jedoch ggf. auch eine andere Einteilung sinnvoll sein, insbesondere dann, wenn sich z.B. viele Risikofaktoren um den Wert „2“ häufen sollten. Die Darstellung der Häufigkeiten der Einzelbewertung und die Grundlage zur Empfehlung aus dem gewichteten Bewertungsschema kann dann z.B. einer tabellarischen Darstellung entnommen werden:

Tabelle: Beispiel für einen einfachen gewichteten Bewertungsvorschlag. Risikofaktoren mit relativen Risiko >=2 werden im Beispiel doppelt gewichtet.

Im Beispiel aus Tabelle xy würde eine Bewertungsempfehlung entsprechend „trifft eher nicht zu“ lauten.

Anschließend wird die Aussage „Die verwendeten Risikofaktoren sind insgesamt reliabel messbar“ von allen Bewertern wie in Anlage 1 beschrieben bewertet.

Bewertungsstufen
1 = trifft nicht zu
2 = trifft eher nicht zu
3 = trifft eher zu
4 = trifft zu
Enthaltung

3. Die zu bewertende Aussage zur Methode der Risikoadjustierung lautet

„Die Methode der Risikoadjustierung ist geeignet um eine unverzerrte Aussage hinsichtlich des Qualitätsziels treffen zu können.“

Nachdem alle Bewerter die Informationsgrundlagen zur Kenntnis genommen und verstanden haben, bewerten sie die Aussage. Der Prozess ist detailliert in der Anlage 1 beschrieben.

Bewertungsstufen
1 = trifft nicht zu
2 = trifft eher nicht zu
3 = trifft eher zu
4 = trifft zu
Enthaltung

Bewertung der Kernaussage des Gütekriteriums Risikoadjustierung
„Der Indikator ist ausreichend risikoadjustiert“

Der Kernaussage wird die ungünstigste Bewertung aus den drei oben bewerteten Aussagen.

Bewertungsstufen
1 = trifft nicht zu
2 = trifft eher nicht zu
3 = trifft eher zu
4 = trifft zu
Enthaltung