Zwischenergebnisse vom März 2015: Die RELY 1-Studie

Die RELY 1-Studie überprüfte, ob Psychiater nach einem Training in funktionsorientierter Begutachtung im Rahmen realer IV-Begutachtungen eine akzeptable Reproduzierbarkeit in der Einschätzung der Arbeitsfähigkeit erzielen.

Die Studie konnte wie geplant mit 30 Teilnehmern – Antragstellern für eine IV-Rente – durchgeführt werden. Administrative Änderungen im Begutachtungsverfahren durch die zuständigen Behörden führten jedoch zu erheblichen Verzögerungen bei der Durchführung der RELY 1-Studie, weshalb die Begutachtungen mit einer durchschnittlichen Latenz von mehr als einem Jahr nach dem Training stattfanden. Jeder Teilnehmer wurde von vier Psychiatern unabhängig begutachtet, im direkten Gespräch oder über eine Videoaufnahme. Abbildung 1 zeigt die gutachterlichen Einschätzungen der Arbeitsfähigkeit aller 30 Antragsteller.

  • Die beobachtete Reliabilität mit einem ICC-Wert von 0.43 war mässig, die angestrebte Reliabilität der Gutachter bei der Einschätzung der Arbeitsfähigkeit (ICC von 0.6) wurde in RELY 1 nicht erreicht.

  • Die Übereinstimmung unter den Gutachtern (ausgedrückt als SEM-Wert) lag bei 24.3 Prozentpunkten Arbeitsfähigkeit und war deutlich höher als der Wert, den die Akteure in ihrer Umfrage erwartet hatten.

  • Die Erwartung der Akteure, dass die Beurteilung der Arbeitsfähigkeit zwischen 2 Gutachtern maximal 25 Prozentpunkte auseinander liegen sollte (idealerweise weniger), wurde in 61.6% (109/177) der Vergleiche erfüllt. Das bedeutet, dass bei knapp 40% der Beurteilungen der Unterschied zwischen 2 Gutachtern grösser war.

  • Auf die Frage nach ihrer subjektiven Sicherheit in die eigene Einschätzung der Arbeitsfähigkeit gaben die Psychiater einen Wert von 7.17 (auf einer Skala von 0=sehr unsicher bis 10=sehr sicher) an.

Perspektive Antragsteller und Psychiater

  • Die Antragsteller äusserten einen hohen Grad an (subjektiv wahrgenommener) Fairness mit der funktionsorientierten Begutachtung (mittlerer Wert 8.00 auf einer Skala von 0=sehr unzufrieden bis 10=sehr zufrieden).

  • Die Psychiater bewerteten die funktionsorientierte Begutachtung positiv. Sie hoben die Strukturiertheit des Vorgehens („man vergisst nichts“), die funktionelle Ausrichtung und die positive Resonanz der Antragsteller (‘Arbeit wird zu Beginn des Gesprächs angesprochen’) hervor. Die meisten Psychiater gaben an, die funktionsorientierte Begutachtung nun auch in ihrer eigenen Praxis anzuwenden.

Wir führten die geringe Reproduzierbarkeit auf das erhebliche Zeitintervall zwischen Training und Begutachtung sowie ein zu wenig intensives Training zurück, mit der Folge, dass die neuen Komponenten der funktionsorientierten Begutachtung - Strukturierung und Standardisierung - nicht zum Tragen kamen. Unsere Ergebnisse entsprachen vielmehr Werten, wie wir sie in unserem systematischen Review über konventionelle Begutachtungen beobachtet hatten, die auf Grundlage professioneller Erfahrung ohne systematischen Einsatz von Instrumenten durchgeführt worden waren.

Des Weiteren zeigen die Zwischenergebnisse aus der RELY 1-Studie, dass die hier erstmals getestete funktionsorientierte Begutachtung eine plausible Methode darstellt, um die Arbeitsfähigkeit einer versicherten Person zu erfassen. So erleichtert sie den Ablauf der Begutachtung und findet bei den Gutachtern und den versicherten Personen eine hohe Akzeptanz.

Die Forschergruppe ging nach wie vor davon aus, dass die funktionsorientierte Begutachtung die Reproduzierbarkeit unter den Gutachtern verbessert und führte eine Fortsetzung der Studie durch (RELY 2). Ziel der RELY 2-Studie war, die Fragestellung aus RELY 1 unter Bedingungen zu überprüfen, die unserer ursprünglichen Studienplanung entsprachen und die die Rückmeldungen der RELY 1-Gutachter nach mehr und intensiviertem Training in der funktionsorientierten Begutachtung integrierten.

RELY-Studien

 

Ergebnisse vom Juli 2019: Die RELY 2-Studie

Die RELY 2-Studie überprüfte, ob Psychiater nach einem intensiviertem Training in funktionsorientierter Begutachtung, mit weiterentwickeltem Manual und kurzem Intervall zwischen Training und Anwendung in der Studie im Rahmen realer IV-Begutachtungen eine akzeptable Reproduzierbarkeit (Überbegriff für Reliabilität und Übereinstimmung) in der Einschätzung der Arbeitsfähigkeit erzielen.

Die Studie konnte mit 40 Teilnehmern durchgeführt werden. Davon waren 25 Teilnehmer neu rekrutiert, die Videos von 15 weiteren Teilnehmern mit gut gemachter funktionsorientierter Begutachtung wurden aus RELY 1 übernommen. Auch hier wurde jeder Teilnehmer von vier Psychiatern unabhängig begutachtet, im direkten Gespräch oder über eine Videoaufnahme. Abbildung 2 zeigt die gutachterlichen Einschätzungen der Arbeitsfähigkeit aller 40 Antragsteller. 

  • Die beobachtete Reliabilität mit einem ICC-Wert von 0.44 war mässig. Die angestrebte Reliabilität der Gutachter bei der Einschätzung der Arbeitsfähigkeit (ICC von 0.6) wurde damit auch in RELY 2 nicht erreicht.

  • Die Übereinstimmung unter den Gutachtern (ausgedrückt als SEM-Wert) lag bei 19.4 Prozentpunkten Arbeitsfähigkeit, war aber noch immer deutlich schlechter als die Akteure erwarten würden.

  • Die beobachteten Unterschiede unter den Gutachtern waren deutlich höher als die Erwartungen, welche die Akteure in der Umfrage als ‘maximal akzeptablen Unterschied’ angegeben hatten.

  • Die Erwartung der Akteure, dass die Einschätzung der Arbeitsfähigkeit zwischen 2 Gutachtern maximal 25 Prozentpunkte auseinanderliegen sollte (idealerweise weniger), wurde in 73.6% (170/231) der Vergleiche erfüllt. Bei einem Viertel der Beurteilungen war der Unterschied zwischen 2 Gutachtern grösser.

  • Auf die Frage nach ihrer subjektiven Sicherheit in die eigene Einschätzung der Arbeitsfähigkeit gaben die Psychiater einen Wert von 7.44 an (auf einer Skala von 0=sehr unsicher bis 10=sehr sicher).

Perspektive Antragsteller und Psychiater

  • Gefragt nach ihrer Zufriedenheit und wie fair sie die Begutachtung erlebt haben (subjektiv wahrgenommene Fairness), zeigten sich die Antragsteller sehr zufrieden (durchschnittlicher Wert: 9.42 auf einer Skala von 0=sehr unzufrieden bis 10=sehr zufrieden).

  • Auch die Psychiater attestierten dem Training in funktionsorientierter Begutachtung einen substantiellen professionellen Nutzen.
 

Vergleich RELY 1 mit RELY 2

Ergebnisse (Tabelle 1)

Ein Vergleich der Reliabilitätswerte für die gutachterliche Beurteilung der Arbeitsfähigkeit zeigte keinen Unterschied zwischen den beiden Studien (RELY 1 vs. 2, ICC: 0.43 vs. 0.44, Tabelle 1).

Ein Vergleich der Übereinstimmung der Gutachter in der Beurteilung der Arbeitsfähigkeit zeigte, dass RELY 2 signifikant niedrigere Streuungswerte hatte als RELY 1: SEM-Werte in RELY 2 vs. RELY 1: 19.4 versus 24.6 Prozentpunkte Arbeitsfähigkeit. Dies entspricht einer Verbesserung um 21% (relativ).

Die Erwartung der Akteure, dass die Einschätzung der Arbeitsfähigkeit zwischen 2 Gutachtern maximal 25 Prozentpunkte auseinander liegen sollte (idealerweise weniger), wurde in RELY 1 zu 61.6% (109/177) erfüllt, und in RELY 2 zu 73.6% (170/231). Damit verbesserten sich die Psychiater in RELY um 19.5%. Diese Verbesserung war statistisch signifikant.

Tabelle 1: Reliabilität und Übereinstimmung der Gutachten in RELY 1 und RELY 2

Verbliebene Arbeitsfähigkeit der Antragsteller, Reliabilität  und Übereinstimmung der Gutachter in der Beurteilung der Arbeitsfähigkeit bezogen auf die Erwartungen der Akteure (Umfrage, Schandelmaier 2015).

 

Arbeitsfähigkeit der Patienten

gemäss Gutachten

Reliabilität

(=Unterscheid-barkeit der Patienten)

Übereinstimmung

Umfrage

 

Skala: 100%-0%

Mittelwert

ICC°

Kriterium für Übereinstimmung+ erfüllt

Beobachtung in der Studie

 

SEM*

niedriger

ist besser

Erwartung

der Akteure

 

SEM*

 

 

 

RELY 1

119 Beurteilungen

55.0%

0.43

61.6%

(109/177)

24.6%-Punkte  

Arbeitsfähigkeit

9.0%-Punkte  

Arbeitsfähigkeit

 

RELY 2

155 Beurteilungen

62.9%

0.44

73.6%

(170/231)

19.4%-Punkte

Arbeitsfähigkeit

° ICC: Intraclass Correlation Coefficient

+Kriterium für Übereinstimmung:  ‘2 Gutachter unterscheiden sich in ihrer Beurteilung der AF weniger als 25 Prozentpunkte’

*SEM: (Standard Error of Measurement) Mass für die Streuung

Interpretation der Ergebnisse

  •  Ausgangspunkt: Psychiater erzielen nur niedrige Übereinstimmung, wenn sie die Arbeitsfähigkeit von Patienten mit psychischen Störungen beurteilen.


  • Die funktionsorientierte Begutachtung, ein neu entwickeltes Vorgehen mit Fokus auf Arbeit, findet grosse Anerkennung bei Psychiatern (hilfreich, da strukturierter und systematischer), bei Patienten (subjektiv als fair empfunden), und Versicherern (transparent und funktionsorientiert).


  • Intensiviertes Training in funktionsorientierter Begutachtung verbessert die Übereinstimmung, bleibt aber trotzdem deutlich hinter den Erwartungen von Akteuren in der Schweiz zurück (Umfrage Schandelmaier 2015: Stakeholder Survey mit mehr als 600 Akteuren) Der maximal akzeptierte Unterschied unter den Aktueren lag bei 25%-Punkten Arbeitsfähigkeit;  der beobachtete Unterschied in den RELY-Studien lag in RELY 1 bei 68%-Punkte Arbeitsfähigkeit und in RELY 2 bei 54%-Punkte Arbeitsfähigkeit.


  • Verbesserte Transparenz ( = bessere Nachvollziehbarkeit der gutachterlichen Überlegungen) bedeutet nicht verbesserte gutachterliche Übereinstimmung in der Beurteilung der Arbeitsfähigkeit.


  • Braucht es eine gesellschaftliche Diskussion über das Ausmass an gewünschter Übereinstimmung unter Gutachtern?  Wie kann man die gewünschte Übereinstimmung erreichen? Was muss dazu gemacht werden? Zu welchen Kosten?