A Three-Step DIF Analysis of a Reading Comprehension Test Across Regional Dialects to Improve Test Score Validity

In sociolinguistic contexts where standardized languages coexist with regional dialects, the study of differential item functioning is a valuable tool for examining certain linguistic uses or varieties as threats to score validity. From an ecological perspective, this paper describes three stages in the study of differential item functioning (DIF): detection, comprehension and evaluation of its consequences. The research focuses on a reading comprehension test in Basque with 1,943 respondents representing two regional dialects. After assessing the dimensionality of the data fitting unidimensional and bifactor models, we start with a multi-method approach (Item Response Theory, Mantel-Haenszel, Standardization) to detect DIF. In a second step, we study the causes of DIF based on a qualitative methodology approach built on the focus group technique. Finally, the impact of DIF on the test level is evaluated through indicators of differential test functioning (DTF) derived from the IRT, and comparisons between situations that consider the presence/absence of DIF. The paper stresses the importance of the comprehensive study of DIF in language accreditation tests as a tool for improving score validity. En entornos sociolinguisticos definidos por la coexistencia de una lengua minorizada y estandarizada, junto a dialectos regionales, el estudio del funcionamiento diferencial del item (DIF) puede resultar de gran valor en la exploracion de ciertos usos o variedades linguisticas que podrian representar amenazas contra la validez de las puntuaciones. Adoptando una perspectiva ecologica, este trabajo plantea tres etapas en la investigacion del DIF: deteccion, comprension y evaluacion de sus consecuencias. La propuesta se ilustra a traves del estudio de una prueba de comprension lectora en euskera que fue respondida por 1,943 candidatos procedentes de dos regiones dialectales. La deteccion del DIF se lleva a cabo con la aplicacion de tres procedimientos diferentes: teoria de la respuesta al item, Mantel-Haenszel, y estandarizacion. En un segundo estadio, y siguiendo una aproximacion cualitativa construida sobre la tecnica de los grupos focales, se analizan las posibles causas del DIF. Por ultimo, se evalua el impacto del DIF en el nivel del test a traves de indicadores de funcionamiento diferencial del test (DTF) derivados de la teoria de la respuesta al item, y de comparaciones entre situaciones que consideran la inclusion/exclusion de items con DIF. El articulo destaca la importancia de un abordaje integral del DIF en pruebas de acreditacion linguistica como herramienta para fortalecer la validez de las puntuaciones.