澳门新萄京娱乐场 / Blog / 科技成果 / 给我卫星图像,深度学习系列
科技成果 4

给我卫星图像,深度学习系列

花销不高,还能做得更好

随后,研究者使用了尼日利亚,坦桑尼亚,乌干达,马拉维和卢旺达这五个国家的数据检验了模型的“实战水平”——他们对每个国家都进行了100个验证实验,对比他们的模型与仅使用夜间光照作推断的模型谁比较准确有效。结果,他们的模型表现得明显更加优越,尤其是在估测极端贫穷地区(收入水平远低于国际贫困线的集群)的消费水平方面,这一模型甚至在99.5%的对比试验中表现优于用夜间光照推断的模型。而在估算资产时,这一模型展现出了更大的优势。

科技成果 1机器学习被用于预测尼日利亚,坦桑尼亚,乌干达,马拉维和卢旺达五个国家各地区的支出情况。图片来源:Neal
Jean et al.

研究者认为,这项工作充分展现了机器学习工具的潜力。在这个例子中,只要有正确的设置和精度足够高的卫星图片,经过得当训练的卷积神经网络能够从有限的资源中窥得有效信息。凭借成本和通用性方面的优势,这些结果能够在帮助国际社会分析和对抗贫穷的工作中派上大用场。

(编辑:Calo)

1、概念
Deep Learning
的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。[1]
深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法,为解决深层结构相关的优化难题带来希望,随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法,它利用空间相对关系减少参数数目以提高训练性能。[1]
深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。
同机器学习方法一样,深度机器学习方法也有监督学习与无监督学习之分.不同的学习框架下建立的学习模型很是不同.例如,卷积神经网络(Convolutional
neural
networks,简称CNNs)就是一种深度的监督学习下的机器学习模型,而深度置信网(Deep
Belief Nets,简称DBNs)就是一种无监督学习下的机器学习模型。
[1] 孙志军, 薛磊, 许阳明,等. 深度学习研究综述[J]. 计算机应用研究,
2012, 29(8):2806-2810.

并未参与该项研究的纽约州帕利塞兹市哥伦比亚大学地球研究所政治学家Marc
Levy表示,依然需要用地面调查来构建及验证这一工具。但他说,这项研究表明卫星图像加上地面调查“将比任何一种单独方式更为强大”,特别是在那些进行地面调查很困难甚至不可能的地区。

科技成果 2仅仅凭借夜间的照明情况来推断经济状况的方法,用在贫困地区的分析上会影响效果。图片来源:sustain.stanford.edu

2、核心思想
把学习结构看作一个网络,则深度学习的核心思路如下:
①无监督学习用于每一层网络的pre-train;
②每次用无监督学习只训练一层,将其训练结果作为其高一层的输入;
③用自顶而下的监督算法去调整所有层
3、深度学习的网络学习方式——神经网络
说到深度学习,当然要说的就是神经网络。一些相关的机器学习概念,这里就不再一一写了,已经有些比较优秀的博客大家可以自行查找学习。这里推荐一个很不错的深度学习教程,可以让快速地了解相关概念及部分理论推导,相信不少人都已学习过:
http://ufldl.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B
4、本系列写作目的
本人也是刚接触深度学习一年左右,关于深度学习已经有一些写得很不错的博文,为什么还要写呢,写了说不定还没有别人写得好,也不一定会有人看,总是抱着这样的想法就一直没有动手。现在想想,每个人对的理解肯定会有不同或是说理解的深度、角度会存在不一,而且写博客是对自己检验,要是能帮助人那就更好不过了。于是现在开始动手了,新学期也给自己一点动力,一来可以让自己把零碎的知识网络捋顺,二来也可以督促自己的学习进度。
本系列主要写出自己对神经网络的学习的一些见解,和大家一起学习讨论。希望通过学习了解深度学习中整个神经网络的学习过程。最后能够有一些改善、提高网络学习效率的想法。
在这里也跟一起不如深度学习的朋友们推荐一个 深度学习的QQ群:209306058 。
这里有大牛,就算你在里面潜水也能让你获益匪浅。哈哈 \_

研究人员指出,对于绘制非洲贫困状况来说,白天的卫星图像比夜晚图像好得多。与后者相比,前者预测某一地区处于绝对贫困线以下情况的准确率为81%,并且在预测收入不足这一数字一半的某些地区时的准确率为99%。

从卫星图像中学习洞察贫富信息

卷积神经网络是一种优秀的深度学习结构,经常被用于大型图像识别和自然语言处理等领域。不过,要对卷积神经网络进行有效的训练,通常需要大量的、带有标记的训练数据。但在吉恩的研究中,这样的数据恰恰是稀缺的——即便是详尽的入户调查数据,也只涵盖几百个地点的信息,完全不够用。而高清的卫星图像虽然丰富但这些图片并没有很好地进行结构化处理,大规模提取有效信息相当困难。面对这一挑战,研究团队决定采取多步骤“迁移学习”(transfer
learning)的方式来训练自己的模型。

吉恩和同事首先使用图像识别数据库ImageNet对他们的卷积神经网络模型进行训练,用大量经过分类的图像让模型学会最基本的特征识别(比如边缘、转角)。然后,研究者用上了谷歌静态地图API提供的日间卫星图像——白天的卫星图像更清晰,细节(比如铺设的道路和金属的屋顶)也更多。他们让这一模型程序通过分析白天的图像,预测当地的夜间光照情况。在这个过程中,模型学会了将分辨率较高的图像特征,总结为分辨率较低的图像特征。研究者指出,在低支出地区,夜间光照没有太多区别性,但研究显示,有些只能在白天卫星图上看到的东西,比如说屋顶的材料、和城镇的距离与消费能力有着非常直接的关系。配合以夜间光照的训练结果,他们就更有能力完整捕捉地区整体的经济生活状况。

科技成果 3研究者开发的模型学会分辨卫星图像中的某些可能与夜间光照程度有关的特征。图片来源:sustain.stanford.edu

在这个基础上,他们结合之前已有的实际调查数据和卷积神经网络模型提取出来的图像特征,训练他们的模型估算出集群层次(大致相当于城镇中的区或是乡村的村)的开支和资产水平。

因此由美国加利福尼亚州帕洛阿尔托市斯坦福大学经济学家Marshall
Burke率领的一个社会学家和计算机科学家研究团队,对卫星日间图像进行了筛选。这些图像也仅仅显示出了绝对贫困地区和中等贫困地区之间的一些细微差别。两者都具有泥泞的、坑坑洼洼的道路,蜿蜒地延伸到一个个小村庄。但白天的图像包括了其他一些关键指标:与最近的水源或最近的城市市场有多远?农田在哪里?

科技成果,面对这些困难,人们也开始另辟蹊径,寻找新的数据来源。比较流行的一种做法,是使用夜间的灯光卫星图来进行估计——显而易见,较为发达的地区灯光也更加明亮,也有研究证实了这种相关性。但是对于那些居住在低于国际贫困线的地区而言,这一方法显得有些无力。因为这些极端贫穷的地区夜间光照水平极低,而且没有多少差异可言。另一种想法是使用移动电话的数据,但如何获得运营商的信任来获得数据也成了一大难题。

日间卫星图像能够比夜晚图像更好地描绘贫困状况。图片来源:lightyear105/iStockphoto

严重的数据不足导致人们开始呼吁进行“数据革命”,然而若想在所有这样的国家频繁开展调查,可能需要耗费数千亿美元才能收集到足够的数据量。除了成本上的原因,某些国家也不愿意进行这些调查,因为他们觉得把自己的平庸表现记录下来并不好。

科技成果 4

发表评论

电子邮件地址不会被公开。 必填项已用*标注

相关文章

网站地图xml地图