Vers une mesure d'accord interjuge prenant en compte le pourcentage d'accord, le hasard et le désaccord [r-libre/3222]

Caron, Pier-Olivier (Mar 2018). Vers une mesure d'accord interjuge prenant en compte le pourcentage d'accord, le hasard et le désaccord. Paper presented at the 40e Congrès annuel de la Société Québécoise pour la Recherche en Psychologie (SQRP), Québec.

File(s) available for this item:

PDF - Caron(2018)_sqrp_interjuge_2.pdf
Content : Slideshow
Restricted access

Request a copy

Item Type:	Conference papers (unpublished)
Refereed:	Yes
Status:	Unpublished
Abstract:	L’accord interjuge est une mesure évaluant le degré auquel juge, évaluateur, observateurs classifient des objets de la même façon. Elle est utile en analyse du comportement comme mesure de confiance. Si les observateurs ne s’entendent pas sur l’occurrence d’une réponse alors aucune science du comportement ne peut se construire. La présentation propose une nouvelle méthode pour calculer l’accord interjuge. D’abord, les inconvénients des mesures habituelles comme le pourcentage d’accord qui ne considère par le hasard et le kappa de Cohen qui ne considère pas l’accord absolu sont discutés. Ensuite, la nouvelle méthode est introduite et répond à ces deux problèmes. Brièvement, la méthode pondère les fréquences attendues du test de khi-carré par un facteur différentiel de l’accord attendue (cible). Elle vise à détecter lorsque les juges sont systématiquement en désaccord. Des simulations Monte-Carlo variant l’accord et le désaccord systématiques sont présentées par la suite. Les simulations montrent que le nouveau test détecte 74% des cas contenant du désaccord systématiques (les observateurs ne s’entendent pas assez) alors que le kappa de Cohen approuve 84% des cas (les observateurs s’entendent suffisamment). Les implications du nouveau test pour l’entraînement à l’observation, ses limites et la comparaison à d’autres mesure d’accord interjuge sont discutés.
Depositor:	Caron, Pier-Olivier
Owner / Manager:	Pier-Olivier Caron
Deposited:	22 Mar 2024 17:07
Last Modified:	22 Mar 2024 17:07

Actions (login required)

RÉVISER