Developing a Performance-Based Assessment to Measure Pre-Service Secondary Teachers' Digital Competence to Use Digital Mathematics Tools

Digital competence is an increasingly important component of teacher competence. So far, self-reports are a commonly used, efficient, but potentially problematic assessment method. Standardized and valid assessments to measure digital competence for teachers-particularly of a concrete subject-and proximally to performance are lacking. To address this, we developed a performance-based assessment for pre-service mathematics teachers based on the TPACK and DigCompEdu frameworks, both widely used in teacher education. The test focuses on digital competence related to mathematics tools such as computer algebra systems, dynamic geometry, and spreadsheet software, where technical-mathematical and pedagogical competences are required. This report presents the assessment design and provides validity evidence regarding the internal structure of the test, its sensitivity to intervention, and the relation of the scores to external variables, like affective-motivational aspects or prior experiences with tools based on a study with N = 118 pre-service teachers. First, we confirmed a two-dimensional structure of technical-mathematical and pedagogical aspects of digital competence through a confirmatory factor analysis. Second, expectations regarding the relation to external variables were partially confirmed. Third, we identified the sensitivity of the assessment to an intervention. Especially as expected, the relations between scores and self-assessment results were mixed. Our results indicate that the assessment is suitable for measuring pre-service mathematics teachers' digital competence in two aspects close to performance. We discuss possible uses to evaluate learning opportunities in teacher education. Die Bedeutung von digitalen Kompetenzen als Bestandteil der professionellen Handlungskompetenz von Lehrkr & auml;ften steigt. Bisher gelten Selbsteinsch & auml;tzungen hierf & uuml;r als weit verbreitete, effiziente, aber potenziell problematische Erhebungsmethode. Standardisierte und valide Beurteilungsverfahren zur Messung der - insbesondere fachspezifischen - digitalen Kompetenzen von Lehrkr & auml;ften, die nah an tats & auml;chlichen Unterrichtshandlungen orientiert sind, fehlen bisher. Im Rahmen einer Studie wurde daher ein performanzbasierter Kompetenztest f & uuml;r angehende Mathematiklehrkr & auml;fte entwickelt, der auf den in der Lehrkr & auml;ftebildung weit verbreiteten Frameworks TPACK und DigCompEdu basiert. Der Test wird zur Erfassung digitaler Kompetenzen im Zusammenhang mit digitalen Mathematikwerkzeugen wie Computeralgebrasystemen, dynamischer Geometriesoftware und Tabellenkalkulationsprogrammen eingesetzt, wobei technisch-mathematische und fachdidaktische Aspekte digitaler Kompetenzen ber & uuml;cksichtigt werden. Im Artikel stellen wir das Testdesign vor und erbringen anhand einer Studie mit N = 118 angehenden Mathematiklehrkr & auml;ften Validit & auml;tsnachweise zur internen Teststruktur, zur Sensitivit & auml;t gegen & uuml;ber Interventionen und zum Zusammenhang zwischen Testergebnissen und externen Parametern wie affektiv-motivationalen Aspekten oder vorherigen Erfahrungen beim Werkzeugeinsatz. Durch eine konfirmatorische Faktorenanalyse verifizieren wir eine zweidimensionale Struktur von technisch-mathematischen und fachdidaktischen Aspekten digitaler Kompetenzen. Erwartungen bez & uuml;glich des Zusammenhangs mit externen Variablen werden in Teilen best & auml;tigt. Zudem k & ouml;nnen wir eine Sensitivit & auml;t der Testergebnisse hinsichtlich einer Intervention nachweisen. Die Zusammenh & auml;nge zwischen den performanzbasierten Testergebnissen und einer parallel durchgef & uuml;hrten Selbsteinsch & auml;tzung sind jedoch wie erwartet uneinheitlich. Insgesamt deuten unsere Ergebnisse darauf hin, dass eine performanzbasierte Kompetenzmessung im Rahmen der Ausbildung von Mathematiklehrkr & auml;ften prinzipiell geeignet zu sein scheint. Wir diskutieren m & ouml;gliche Anwendungen bei der Evaluation von Lerngelegenheiten in der Lehrkr & auml;ftebildung.