澳门新萄京娱乐场 / Blog / 科技成果 / 工具轻松搞定,无需写代码
科技成果 6

工具轻松搞定,无需写代码

原标题:无需写代码!谷歌(谷歌)生产机器学习模型分析神器,代号What-If

原标题:测试机器学习模型不用写代码!谷歌(Google)“what-if”工具轻便化解

引言

在机器学习园地,AUC值平时用来评论三个二分类模型的训练效益,对于众多机械学习或然数额挖掘的从业者或在校学员来讲,AUC值的定义也时时被聊起,但鉴于大多数时候我们都是借助一些软件包来磨炼机器学习模型,模型评价目标的估测计算往往被软件包所封装,由此大家经常会忽略了它们的现实性意思,那在有个别时候会让我们对此手头正在拓展的天职感到疑忌。作者也曾境遇类似的主题素材,因而期望借由本文来梳理下AUC值的意义与计量办法,通超过实际际的例子辅助读者加深精晓,同时提交了选拔scikit-learn工具库计算AUC值的不二等秘书籍,供各位参考。

铜灵 编写翻译整理

科技成果 1

定义

AUC的完备是Area under the Curve of
ROC
,也就是ROC曲线下方的面积。那里出现了另一个定义,就是ROC曲线。那么ROC曲线是个什么样事物吗?我们参看下维基百科上的概念:在时域信号检查实验理论中,接收者操作特征曲线(receiver
operating characteristic
curve
,或者叫ROC曲线)是1种坐标图式的解析工具,用于 (一)
选取最好的能量信号侦测模型、放弃次佳的模子。 (2)
在同样模型中设定最棒阈值。这么些概念最早是由世界世界二战中的电子工程师和雷达工程师发明的,用来侦测沙场上的敌军载具。总结来说,能够把ROC曲线明白为一种用于总括分析的图片工具。

那么具体到机械学习的理论中,ROC曲线该怎么通晓啊?首先,供给提出的是,ROC剖析的是贰元分类模型,也正是出口结果唯有两连串型的模子,比如:(阴性/阴性)(有病/没病)(垃圾邮件/非垃圾邮件)。在二分类难点中,数据的竹签平日用(0/一)来代表,在模型磨炼完毕后实行测试时,会对测试集的每一种样本总计二个介于0~一之间的概率,表征模型以为该样本为中性(neuter gender)的概率,大家得以选定贰个阈值,将模型总结出的票房价值进行贰值化,比如选定阈值=0.5,那么当模型输出的值超越等于0.伍时,大家就觉着模型将该样本预测为阴性,也正是标签为1,反之亦然。选定的阈值不一样,模型预测的结果也会相应地改成。2元分类模型的单个样本预测有二种结果:

  1. 真中性(neuter gender)(TP):剖断为阴性,实际也是中性(neuter gender)。
  2. 伪阳性(FP):剖断为中性(neuter gender),实际却是中性(neuter gender)。
  3. 真中性(neuter gender)(TN):决断为阴性,实际也是中性(neuter gender)。
  4. 伪中性(neuter gender)(FN):判定为中性(neuter gender),实际却是阴性。

那多种结果能够画成二 × 2的混淆矩阵:

科技成果 2

二阶混淆矩阵

有了混淆矩阵,就足以定义ROC曲线了。ROC曲线将假阴性率(FPENCORE)定义为
X 轴,真中性(neuter gender)率(TP奥迪Q5)定义为 Y 轴。在那之中:

  • TPMurano:在具有实际为阴性的样书中,被正确地认清为中性(neuter gender)的样本比率。
  • FP牧马人:在具备实际为中性(neuter gender)的范本中,被错误地认清为阴性的样本比率。
  • TPR = TP / (TP + FN)
  • FPR = FP / (FP + TN)

给定二个二分类模型和它的阈值,就足以遵照全部测试集样本点的真实值和预测值总计出二个(X=FPTiguan, Y=TP陆风X8)
坐标点,那也正是绘制单个点的主意。那整条ROC曲线又该怎么画吗?具体方法如下:

在咱们磨练完3个二分类模型后,能够行使该模型对测试集中的成套样本点计算二个对应的票房价值值,各个值都介于0~一之间。假若测试集有91八个样本点,大家能够对那九十七个样本的预测值从高到低排序,然后逐一取每一种值作为阈值,一旦阈值鲜明大家就足以绘制ROC曲线上的2个点,根据这种办法依次将98个点绘制出来,再将逐条点依次连接起来,就拿走了大家想要的ROC曲线!

下一场再回来最初的主题材料,AUC值其实正是ROC曲线下方所覆盖的面积,当大家绘制出ROC曲线之后,AUC的值自然也就总括好啊。

明天,谷歌(谷歌(Google))推出了已开源的TensorFlow可视化学工业具TensorBoard中一项新职能:What-If
Tool,用户可在不编写程序代码的情事下分析机器学习(ML)模型。

倒计时*科技成果 ,*8**天

示例

此处引用上海政法高校张伟楠先生机器学习课件中的例子来讲明:

科技成果 3

AUC计算示例

如上图所示,大家有几个测试样本,模型的预测值(按大小排序)和范本的实事求是标签如右表所示,绘制ROC曲线的壹切经过如下所示:

  1. 令阈值等于第3个预测值0.玖壹,全部大于等于0.玖1的预测值都被剖断为中性(neuter gender),此时TP兰德PRADO=百分之二10伍,FP福特Explorer=0/4,全数大家有了第多少个点(0.0,0.二伍)
  2. 令阈值等于第三个预测值0.85,全体大于等于0.85的预测值都被决断为阴性,那种情景下第叁个样本属于被错误预测为阴性的中性(neuter gender)样本,也正是FP,所以TP奥迪Q伍=百分之二拾伍,FP翼虎=四分之一,所以我们有了第三个点(0.二伍,0.二伍)
  3. 服从那种艺术依次取第3、肆…个预测值作为阈值,就能挨个拿到ROC曲线上的坐标点(0.五,0.25)、(0.75,0.25)…(1.0,1.0)
  4. 将逐条点依次连接起来,就获得了如图所示的ROC曲线
  5. 计算ROC曲线下方的面积为0.7五,即AUC=0.75

不用写代码?

新智元将于6月3日在新加坡国家会议中央开办AI WOPAJEROLD
201八世界人工智能高峰会议,MIT物理教师、今后生命研讨所创办者、《生命三.0》小编马克斯Tegmark,将发布阐述《我们怎么样选择AI,而不是被其压制》,切磋怎样面对AI军事化和杀人民武装器的面世,欢迎到实地沟通!

代码

在知晓了AUC值的估量原理后,大家再来看看哪些在代码中落到实处它。常常繁多的机器学习工具都卷入了模型目的的持筹握算,当然也囊括AUC值。这里大家来共同看下scikit-learnAUC的计量方法,如下所示:

>>> import numpy as np
>>> from sklearn.metrics import roc_auc_score
>>> y_true = np.array([0, 0, 1, 1])
>>> y_scores = np.array([0.1, 0.4, 0.35, 0.8])
>>> roc_auc_score(y_true, y_scores)
0.75

能够看看,使用scikit-learn工具提供的roc_auc_score函数总括AUC值卓绝轻松,只须要提供样本的实际上标签和预测值那五个变量就可以,大大有利了大家的运用,真心多谢那个开源软件的小编们!

毋庸置疑,只需为TensorFlow模型和数据集提供指针,What-If
Tool就能交付多少个可用来商讨模型结果的可相互的视觉分界面。

总结

观看那里的伴儿们是或不是对AUC值的概念有了越来越好的明亮呢。总的来讲,AUC值就是三个用来评价二分类模型优劣的常用目标,AUC值越德州仪器常注明模型的意义越好,在其实使用中我们得以依靠软件包的应和函数举办快速总结。借使各位还有1部分标题仍然是对小说中的有个别部分有问号,欢迎在评论区钻探。

科技成果 4

来源:Google AI

参考

ROC曲线维基百科
张伟楠先生课件
机械学习和总结里面包车型大巴auc怎么精晓? –
果壳网

250张人脸和在模型中检查测试微笑后的结果

编辑:大明

What-If
Tool里作用多数,包括自动用Facets将数据集可视化,也有从数量汇总手动编辑示例并查看更动效果的成效,仍是能够自动生成都部队分关系图,呈现模型预测随着单个特征的变动而改动的动向。

【新智元导读】谷歌(Google) AI推出“what-if
”工具,用户完全不必要编写制定代码就能分析机器学习模型。该工具提供交互式可视化分界面,用户能够查究并比较模型结果,能够长足地觉察模型中的错误。

只是,那还不是What-If Tool的整整实力。

创设高效的机械学习体系,必要建议并缓解大多主题材料。仅仅练习模型然后就放着不管是远远不够的。杰出的机械学习从业者要像侦探同样,时刻放在心上探究怎么样越来越好地理解创设的模型:数办事处的改动将对模型的预测结果产生哪些震慑?同一个模型对不相同的群落会有啥样不一致的变现?用来测试模型的数据集的种种化程度如何等等。

7大功能

要回应这个难点并不便于。要回答那些“尽管”难点,平常要编写自定义的一次性代码来分析特定模型。这一个历程不仅作用低下,而且除了程序员,其余人很难加入创新机器学习模型的进度。

What-If Tool首要有7大体义,不掌握有未有你供给的那一款:

谷歌 AI
PAIRubicon铺排的3个要害正是让更普及的人工流生产本事够更便利地对机器学习系统举办检查、评估和调剂。

功效一:可视化揣摸结果

前日,大家专业公布What-If工具,该工具是开源的TensorBoard
Web应用程序的一项新职能,它同意用户在不编写代码的情事下分析机器学习模型。
What-If工具给出了TensorFlow模型和数据集的指针,提供了1个交互式可视化分界面,用于探究模型结果。

根据测算结果的分裂,你的言传身教会被分成差别的颜料,之后可用混淆矩阵和别的自定义情势开始展览拍卖,从分歧风味的角度显示推断结果。

科技成果 5

科技成果 6

What-If工具展现1组250张面部图片及其检验微笑模型的结果

成效二:编辑三个数分公司,看模型表现怎样

What-If工具功效强大,能够应用Facets自动显示数据集,从数量集手动编辑示例并查阅更动的效用,还能够自动生成都部队分注重图(partial
dependence
plots),显示模型的前瞻结果随任何单个成效的更动而转换的情况。

发表评论

电子邮件地址不会被公开。 必填项已用*标注

相关文章

网站地图xml地图