Résultats intermédiaires de mars 2015: l'étude RELY 1

L'étude RELY 1 a examiné si les psychiatres parviennent à une reproductibilité acceptable dans leur évaluation de la capacité de travail dans le cadre d'expertises AI réelles après une formation en expertise à orientation fonctionnelle.

L'étude a pu être réalisée comme prévu avec 30 participants – des demandeurs de rente AI. Toutefois, les modifications administratives apportées par les autorités compétentes à la procédure d'expertise ont entraîné des retards importants dans la mise en œuvre de l'étude RELY 1, ce qui explique que les expertises aient eu lieu en moyenne plus d'un an après la formation. Chaque participant était évalué indépendamment par quatre psychiatres lors d'un entretien direct ou par enregistrement vidéo. La figure 1 (infra) montre les évaluations de la capacité de travail des 30 demandeurs de rente par les experts.

  •  Avec une valeur ICC de 0,43, la fiabilité observée était médiocre; la fiabilité des experts dans l'évaluation de la capacité de travail (ICC de 0,6) qui était visée n'a pas été atteinte dans l'étude RELY 1.
  • La concordance entre les évaluateurs (exprimée comme SEM) était de 24,3 points de pourcentage de capacité de travail et était bien pire que la valeur attendue par les acteurs dans leur enquête.
  • L'attente des acteurs selon laquelle l'appréciation de la capacité de travail entre deux évaluateurs devrait différer de 25 points de pourcentage (idéalement moins) au maximum était remplie dans 61,6 % (109/177) des comparaisons. Cela signifie que dans près de 40 % des appréciations, la différence entre 2 évaluateurs était plus grande.
  • Interrogés sur leur sentiment subjectif de certitude concernant leur évaluation de la capacité de travail, les psychiatres ont indiqué une valeur de 7,17 (sur une échelle allant de 0=très incertain à 10=très sûr).

Perspective des demandeurs de rente et des psychiatres

  • Les demandeurs de rente ont déclaré qu'ils estimaient (vécu subjectif) que l'expertise à orientation fonctionnelle était très impartiale (valeur moyenne de 8,00 sur une échelle graduée de 0=très insatisfait à 10=très satisfait).
  • Les psychiatres ont noté positivement l'expertise à orientation fonctionnelle. Ils ont mis en relief la structuration de la procédure («rien n'est oublié»), l'orientation fonctionnelle et l'écho positif auprès des demandeurs de rente («le travail est abordé au début de l'entretien»). La plupart des psychiatres ont indiqué qu'ils utilisaient désormais l'évaluation à orientation fonctionnelle dans leur propre pratique.

Selon nous, la faible reproductibilité est due au délai important séparant la formation de l'expertise, ainsi qu'au fait que la formation n'était pas assez intensive, de sorte que les nouvelles composantes de l'expertise à orientation fonctionnelle - structuration et standardisation - n'ont pas été prises en compte. Nos résultats correspondent plutôt à des valeurs telles que nous les avions observées dans notre revue systématique sur les expertises conventionnelles qui avaient été menées sur la base de l'expérience professionnelle sans l'emploi systématique d'instruments.

En outre, les résultats intermédiaires de l'étude RELY 1 montrent que l'expertise à orientation fonctionnelle testée ici pour la première fois représente une méthode plausible pour appréhender la capacité de travail d'une personne assurée. Elle facilite ainsi le déroulement de l'expertise et est très bien acceptée à la fois par les évaluateurs et les assurés.

Le groupe de chercheurs a continué à supposer que l'évaluation à orientation fonctionnelle améliore la reproductibilité entre les experts et a décidé de poursuivre l'étude RELY 1 avec une nouvelle étude (RELY 2). L'objectif de cette dernière était d'étudier la problématique de RELY 1 dans des conditions correspondant à notre planification initiale de l'étude, et incluant le feed-back des experts de RELY 1 après une formation plus longue et plus intensive en expertise à orientation fonctionnelle.

 

Résultats de juillet 2019: l'étude RELY 2

L'étude RELY 2 s'est penchée sur la question de savoir si les psychiatres, après une formation plus intensive à l'expertise à orientation fonctionnelle, avec un manuel plus élaboré et un délai court entre la formation et son application dans l'étude, parviennent à une reproductibilité (terme générique pour fiabilité et concordance) acceptable dans l'évaluation de la capacité de travail dans le cadre d'expertises AI réelles.

L'étude a pu être conduite avec 40 participants. Parmi eux, 25 étaient de nouvelles recrues, tandis que les vidéos des 15 autres participants, avec une évaluation à orientation fonctionnelle bien réalisée, avaient été reprises de l'étude RELY 1. Là encore, chaque participant a été évalué indépendamment par quatre psychiatres lors d'un entretien direct ou via un enregistrement vidéo. La figure 2 (infra) montre les évaluations de la capacité de travail des 40 demandeurs de rente par les experts.

  • Avec une valeur ICC de 0,44, la fiabilité observée était médiocre. La fiabilité des experts dans l'évaluation de la capacité de travail (ICC de 0,6) qui était visée n'a donc pas non plus été atteinte dans l'étude RELY 2.
  • La concordance entres les évaluateurs (exprimée comme SEM) était de 19,4 points de pourcentage de capacité de travail, mais restait encore bien pire que ce que les acteurs auraient attendu.
  • Les différences observées parmi les évaluateurs étaient sensiblement plus importantes que  les attentes que les acteurs avaient qualifiées de «différence maximale acceptable» dans l'enquête.
  • L'attente des acteurs selon laquelle l'estimation de la capacité de travail entre deux évaluateurs devait différer au maximum de 25 points de pourcentage (idéalement moins), était remplie dans 73,6 % (170/231) des comparaisons. Dans un quart des évaluations, la différence entre 2 experts était plus importante.
  •  Interrogés sur leur sentiment subjectif de certitude concernant leur évaluation de la capacité de travail, les psychiatres ont indiqué une valeur de 7,44 (sur une échelle allant de 0=très incertain à 10=très sûr).

Perspective des demandeurs de rente et des psychiatres

  • Lorsqu'on leur a demandé s'ils étaient satisfaits et dans quelle mesure ils avaient trouvé que l'expertise était équitable (impartialité subjectivement perçue), les demandeurs de rente se sont montrés très satisfaits (valeur moyenne: 9,42 sur une échelle graduée de 0=très insatisfait à 10=très satisfait).
  • Les psychiatres ont également témoigné de l'utilité professionnelle substantielle qu'ils tirent de la formation à l'expertise à orientation fonctionnelle.
 

Comparaison de RELY 1 avec RELY 2

Résultats (tableau 1)

La comparaison des valeurs de fiabilité pour l'évaluation de la capacité de travail par les experts n'a révélé aucune différence entre les deux études (RELY 1 vs. 2, ICC: 0,43 vs. 0,44, tableau 1).

La comparaison de la concordance des experts dans l'évaluation de la capacité de travail a montré que la dispersion était significativement moindre dans RELY 2 que dans RELY 1: valeurs SEM dans RELY 2 vs. RELY 1: 19,4 versus 24,6 points de pourcentage de capacité de travail. Cela correspond à une amélioration (relative) de 21 %.

L'attente des acteurs que l'évaluation de la capacité de travail entre 2 experts diffère au maximum de 2 points de pourcentage (idéalement moins) a été remplie à 61,6 % (109/177) dans RELY 1, et à 73,6 % (170/231) dans RELY 2. Les psychiatres se sont donc améliorés de 19,5 % dans RELY 2 (cette amélioration étant statistiquement significative).

 

Tableau 1: fiabilité et concordance des experts dans RELY 1 et RELY 2

Capacité de travail résiduelle des demandeurs de rente, fiabilité et concordance des experts dans l'évaluation de la capacité de travail par rapport aux attentes des acteurs (enquête, Schandelmaier 2015).

 

 

Capacité de travail des patients selon les expertises

Fiabilité

(=capacité à différencier les patients)

Concordance

Enquête

 

Échelle: 100%-0%

Moyenne

ICC°

Critère de concordance + rempli

Observation dans l'étude

 

SEM*

les valeurs basses sont meilleures

Attente des acteurs

 

SEM*

 

 

 

RELY 1

119 évaluations

55,0 %

0.43

61,6 %

(109/177)

24,6 % points

de capacité de travail

9,0 % points  

de capacité de travail

 

RELY 2

155 évaluations

62,9 %

0,44

73,6 %

(170/231)

19,4 % points

de capacité de travail

 

° ICC: Intraclass Correlation Coefficient: notre valeur attendue était de 0,6 (mesurée sur une échelle de 0 à 1).

+Critère de concordance: «2 experts diffèrent de moins de 25 points de pourcentage dans leur évaluation de la CT»

*SEM (Standard Error of Measurement): mesure de la dispersion

Interprétation des résultats

  • Point de départ: les avis des psychiatres ne concordent que faiblement lorsqu'ils évaluent la capacité de travail de patients souffrant de troubles psychiques.
  • L'évaluation à orientation fonctionnelle, une nouvelle méthode axée sur le travail, est très appréciée par les psychiatres (utile car elle est plus structurée et plus systématique), les patients (perçue subjectivement comme juste), et les assureurs (transparente et fonctionnelle).
  • Une formation intensive en expertise à orientation fonctionnelle améliore la concordance, mais reste cependant nettement en deçà des attentes des acteurs en Suisse (enquête Schandelmaier 2015: Stakeholder Survey avec plus de 600 acteurs). La différence maximale acceptée entre les acteurs était de 25 % points de capacité de travail; la différence observée dans les études RELY était de 68 % points de capacité de travail dans RELY 1 et de 54 % points de capacité de travail dans RELY 2.
  • L'amélioration de la transparence (= meilleure intelligibilité des considérations des experts) ne signifie pas une meilleure concordance des experts dans l'évaluation de la capacité de travail.
  • Est-il nécessaire d'avoir une discussion sociétale sur le degré de concordance souhaitée entre les experts ? Comment parvenir à la concordance souhaitée ? Que faut-il faire pour cela ? Et quel en est le coût ?