Validität

Die Inhaltsvalidität ist ein zentrales Gütekriterium für Indikatoren, was in jedem Fall in einer Evaluation bewertet werden muss. Eine mangelhafte Validität kann zu einer systematischen Verzerrung der Versorgungsbewertung führen, so dass der Qualitätsindikator nicht mehr ausreichend aussagekräftig ist. Eine wichtige Voraussetzung für eine hohe Validität ist eine gute Reliabilität.

Bei der Feststellung, was der Qualitätsindikator zu messen vorgibt, gilt es, sich ausschließlich auf den Versorgungsaspekt, der im Qualitätsindikator ausdrücklich abgebildet ist, zu beziehen. Eine umfassende Aussage zur Versorgungsqualität über alle diagnostischen und therapeutischen Prozesse eines Leistungserbringers nur durch einen Qualitätsindikator ist wünschenswert, aber definitiv nicht praktikabel. Deshalb beziehen sich Qualitätsindikatoren immer auf einzelne konkrete Versorgungsaspekte, die den Kriterien der Relevanz (s. Gütekriterium „Bedeutung des mit dem Qualitätsindikator erfassten Qualitätsmerkmals für die Patienten und das Versorgungssystem“) entsprechen sollten. 

Häufig wird im Sprachgebrauch die Aussage „dieser Indikator ist valide“ gleichgesetzt mit einer generellen methodischen Hochwertigkeit. Auch der Begriff „face validity“ soll wohl ausdrücken, dass der Indikator auf den ersten Blick qualitativ hochwertig erscheint. Ein objektives Maß für eine generelle methodische Hochwertigkeit eines Qualitätsindikators gibt es aber nicht. Die methodische Qualität kann nur Schritt für Schritt über die Anwendung der einzelnen Gütekriterien überprüft werden. Deshalb wird im QUALIFY-Instrument der Begriff Validität grundsätzlich in dem in der Definition genannten engen, klar definierten und praktisch überprüfbaren Sinn benutzt.

Ursachen für mangelhafte Validität können vielfältig sein, als Beispiel sei ein BQS-Qualitätsindikator aus dem Versorgungsbereich Brustchirurgie „Entdeckte Malignome bei offenen Biopsien“ (Verfahrensjahr 2006) erwähnt: Dieser Indikator soll im Nenner die Anzahl der offenen Biopsien aus diagnostischen Gründen erfassen. Tatsächlich erfasst der Qualitätsindikator alle offenen Eingriffe ohne vorausgegangene Histologie, da offene Biopsien aus diagnostischen Gründen nicht über OPS-Codes oder die BQS-Dokumentation identifizierbar sind. Nicht jeder offene Eingriff ohne vorausgegangene Histologie ist aber ein diagnostischer Eingriff und auch offene Eingriffe mit vorausgegangener Histologie können in Einzelfällen diagnostischer Natur sein (z. B. Histologie-Befund der ersten Operation in Diskrepanz zum mammographischen Befund). Konkret bedeutet dies, dass dieser Indikator nicht exakt misst, was er messen soll und daher eine eingeschränkte Inhaltsvalidität hat. Diese mangelhafte Validität wurde im Verfahrensjahr 2007 der BQS dadurch behoben, dass offene Biopsien aus diagnostischen Gründen in der BQS-Dokumentation erfasst werden.

In der Literatur werden neben der Inhaltsvalidität weitere Aspekte der Validität benannt: Konstruktvalidität und Kriteriumsvalidität. Konstruktvalidität wird z. B. von der Agency for Healthcare Research and Quality (AHRQ) definiert als „The indicator should be related to other indicators or measures intended to measure the same or related aspects of quality.“ (www.ahrq.gov/clinic/epcsums/hcupqisum.htm). Kriteriumsvalidität liegt vor, wenn die Messungen mit einer anderen konstruktvaliden Messung (dem Kriterium) hoch korrelieren (http://arbeitsblaetter.stangl-taller.at/FORSCHUNGSMETHODEN/Guetekriterien.shtml). Zur Überprüfung der Konstrukt- und Kriteriumsvalidität ist damit ein Goldstandard erforderlich, der nicht zur Verfügung steht. Daher wird auch international auf die Überprüfung dieser Kriterien in der Praxis verzichtet. Die Bewertung der Validität erfolgt daher in QUALIFY mit dem Blick auf die inhaltliche Validität. Weiterhin gibt es weitere Formen der Validität, die nicht in Zusammenhang stehen mit den bisher genannten Formen: die interne und externe Validität.
Die interne Validität besagt, dass ausreichende wissenschaftliche Evidenz vorliegt, dass die Messgröße zur Qualitätsbeurteilung von Versorgungsaspekten dienlich ist (AWMF & ÄZQ 2001). Eine weitere Definition lautet: Interne Validität bezeichnet das Ausmaß, mit dem die Ergebnisse einer Studie den „wahren“ Effekt einer Intervention/Exposition wiedergeben, d.h. frei von systematischen Fehlern (Bias) sind. Die innere Validität beruht auf der Integrität des Studiendesigns und ist Voraussetzung für die Anwendbarkeit der Studienergebnisse in der Routineversorgung (http://www.versorgungsleitlinien.de/glossar/glossar/validitaet). Dieser Aspekt ist in QUALIFY mit dem Gütekriterium Indikatorevidenz abgedeckt. Externe Validität liegt vor, wenn durch Messung und nachfolgende Orientierung an den vorgegebenen Referenzbereichen die medizinische Versorgung der Zielgruppe und deren Versorgungsergebnisse verbessert werden (AWMF & ÄZQ 2001). Dieser Aspekt findet sich in QUALIFY im Gütekriterium Nutzen wieder. Eine andere Definition lautet: Die Externe Validität (Übertragbarkeit, Anwendbarkeit) beschreibt die Übertragbarkeit von Studienergebnissen auf die Patienten in der Routineversorgung, d.h. auf Patienten, die nicht an der Studie teilgenommen haben (http://www.versorgungsleitlinien.de/glossar/glossar/validitaet). Dieser Aspekt wird in QUALIFY bei der Indikatorevidenz berücksichtigt: Durch die Anwendung der PICO-Methode bei der Literaturrecherche werden nur Studien berücksichtigt, deren Studienpopulation der im Qualitätsindikator abgebildeten Population entspricht.

Insgesamt ist festzustellen, dass insbesondere bei dem Gütekriterium Validität in der Literatur eine Vielzahl an verschiedenen und sich teilweise widersprechenden Definitionen herrscht. Die hier dargestellten Definitionen stellen daher nur einen Auszug dar.

Definition
Der Indikator misst, was er zu messen vorgibt (Inhaltsvalidität).

Kernaussage
Folgende Aussage wird bewertet: „Der Indikator ist ausreichend valide.“

Informationsgrundlage für die Bewertung
Informationsgrundlagen für die Bewertung der Inhaltsvalidität sind die Bezeichnung des Qualitätsindikators, die Rationale (medizinisch-inhaltliche Begründung für den Qualitätsindikator, s. a. Indikatorevidenz), die Rechenregel und Rückmeldungen von Anwendern des Qualitätsindikators (z. B. Leistungserbringer, Strukturierter Dialog).

Bewertungsprozess
Nachdem alle Bewerter die Informationsgrundlagen zur Kenntnis genommen und verstanden haben, bewerten sie die Kernaussage. Die Experten bewerten unter zusätzlicher Berücksichtigung ihrer empirischen Erfahrungen, ob der Qualitätsindikator tatsächlich das misst, was er zu messen vorgibt.

Eine detaillierte Prozessbeschreibung finden Sie hier.

Bewertungsstufen
1 = trifft nicht zu
2 = trifft eher nicht zu
3 = trifft eher zu
4 = trifft zu
Enthaltung