机器学习模型可解释性方法、应用与安全研究综述

被引：152

作者：

纪守领 ^{[1
]}

李进锋 ^{[1
]}

杜天宇 ^{[1
]}

李博 ^{[2
]}

机构：

[1] 浙江大学计算机科学与技术学院网络空间安全研究中心

[2] 伊利诺伊大学香槟分校计算机科学学院

来源：

计算机研究与发展 | 2019年 / 56卷 / 10期

基金：

浙江省自然科学基金;

关键词：

机器学习; 可解释性; 解释方法; 可解释机器学习; 安全性;

D O I：

暂无

中图分类号：

TP181 [自动推理、机器学习]; TP309 [安全保密];

学科分类号：

081104 ; 0812 ; 081201 ; 0835 ; 0839 ; 1402 ; 1405 ;

摘要：

尽管机器学习在许多领域取得了巨大的成功,但缺乏可解释性严重限制了其在现实任务尤其是安全敏感任务中的广泛应用.为了克服这一弱点,许多学者对如何提高机器学习模型可解释性进行了深入的研究,并提出了大量的解释方法以帮助用户理解模型内部的工作机制.然而,可解释性研究还处于初级阶段,依然还有大量的科学问题尚待解决.并且,不同的学者解决问题的角度不同,对可解释性赋予的含义也不同,所提出的解释方法也各有侧重.迄今为止,学术界对模型可解释性仍缺乏统一的认识,可解释性研究的体系结构尚不明确.在综述中,回顾了机器学习中的可解释性问题,并对现有的研究工作进行了系统的总结和科学的归类.同时,讨论了可解释性相关技术的潜在应用,分析了可解释性与可解释机器学习的安全性之间的关系,并且探讨了可解释性研究当前面临的挑战和未来潜在的研究方向,以期进一步推动可解释性研究的发展和应用.

引用

页码：2071 / 2096

页数：26

共 28 条

[1] A Survey of Methods for Explaining Black Box Models[J] . Riccardo Guidotti,Anna Monreale,Salvatore Ruggieri,Franco Turini,Fosca Giannotti,Dino Pedreschi.ACM Computing Surveys (CSUR) . 2018 (5)
[2] Methods for interpreting and understanding deep neural networks[J] . Grégoire Montavon,Wojciech Samek,Klaus-Robert Müller.Digital Signal Processing . 2018
[3] DeepCpG: accurate prediction of single-cell DNA methylation states using deep learning[J] . Christof Angermueller,Heather J. Lee,Wolf Reik,Oliver Stegle.Genome Biology . 2017 (1)
[4] On the interpretation of weight vectors of linear models in multivariate neuroimaging[J] . Stefan Haufe,Frank Meinecke,Kai G?rgen,Sven D?hne,John-Dylan Haynes,Benjamin Blankertz,Felix Bie?mann.NeuroImage . 2014
[5] An empirical evaluation of the comprehensibility of decision table, tree and rule based predictive models[J] . Johan Huysmans,Karel Dejaeger,Christophe Mues,Jan Vanthienen,Bart Baesens.Decision Support Systems . 2010 (1)
[6] Investigating and reflecting on the integration of automatic data analysis and visualization in knowledge discovery[J] . Enrico Bertini,Denis Lalanne.ACM SIGKDD Explorations Newsletter . 2010 (2)
[7] On the analysis and interpretation of inhomogeneous quadratic forms as receptive fields
Berkes, Pietro
Wiskott, Laurenz
[J]. NEURAL COMPUTATION, 2006, 18 (08) : 1868 - 1895
[8] Data Mining and Knowledge Discovery in Predictive Toxicology[J] . C. Helma.SAR and QSAR in Environmental Research . 2004 (5-6)
[9] Extracting symbolic rules from trained neural network ensembles
Zhou, ZH
Jiang, Y
Chen, SF
[J]. AI COMMUNICATIONS, 2003, 16 (01) : 3 - 15
[10] Review and comparison of methods to study the contribution of variables in artificial neural network models[J] . Muriel Gevrey,Ioannis Dimopoulos,Sovan Lek.Ecological Modelling . 2002 (3)

← 1 2 3 →