Robust estimation of loss-based measures of model performance under covariate shift

We present methods for estimating loss-based measures of the performance of a prediction model in a target population that differs from the source population in which the model was developed, in settings where outcome and covariate data are available from the source population but only covariate data are available on a simple random sample from the target population. Prior work adjusting for differences between the two populations has used various weighting estimators with inverse odds or density ratio weights. Here, we develop more robust estimators for the target population risk (expected loss) that can be used with data-adaptive (e.g., machine learning-based) estimation of nuisance parameters. We examine the large-sample properties of the estimators and evaluate finite-sample performance in simulations. Last, we apply the methods to data from lung cancer screening using nationally representative data from the National Health and Nutrition Examination Survey (NHANES) and extend our methods to account for the complex survey design of the NHANES. Dans cette & eacute;tude, les auteurs pr & eacute;sentent des m & eacute;thodes visant & agrave; estimer les mesures de performance bas & eacute;es sur la fonction de perte d'un mod & egrave;le pr & eacute;dictif, lorsque la population cible diff & egrave;re de la population source. Le contexte consid & eacute;r & eacute; est celui o & ugrave; seules les donn & eacute;es de covariables sont disponibles sur un & eacute;chantillon al & eacute;atoire simple de la population cible, tandis que les donn & eacute;es de r & eacute;ponse et covariables le sont pour la population source. Contrairement aux approches ant & eacute;rieures qui ajustent les diff & eacute;rences entre les populations en utilisant des estimateurs de pond & eacute;ration avec des poids de rapports de cotes inverses ou de rapports de densit & eacute;, cette & eacute;tude propose des estimateurs robustes du risque (perte moyenne) dans la population cible. Ces estimateurs peuvent & ecirc;tre associ & eacute;s & agrave; des techniques d'estimation adaptatives aux donn & eacute;es, telles que l'apprentissage statistique, pour les param & egrave;tres nuisibles. Les propri & eacute;t & eacute;s asymptotiques des estimateurs propos & eacute;s sont & eacute;tudi & eacute;es th & eacute;oriquement, et leur comportement & agrave; taille finie est & eacute;valu & eacute; par simulations. L'application empirique porte sur des donn & eacute;es de d & eacute;pistage du cancer du poumon issues de l'enqu & ecirc;te "National Health and Nutrition Examination Survey" (NHANES), repr & eacute;sentative de la population am & eacute;ricaine. De plus, une extension permettant de tenir compte du plan de sondage complexe du NHANES est propos & eacute;e.