arxiv.org 关于Remote Sensing 中 Deep learning 的一篇Survey, 这样的文章我连续看了好几篇。

  • 文章不算参考文献30页, 摘要提个了点很有意思。

    Whereas remote sensing (RS) possesses a number of unique challenges, primarily related to sensors and applications, inevitably RS draws from many of the same theories as CV; e.g., statistics, fusion, and machine learning, to name a few.

  • 说RS很多的问题注重和传感器和应用。但是和机器视觉(CV)所采用的研究理论基础是相同的:统计,数据融合,机器学习等等。

    CV相关

  • 文章首先从CV相关的研究入手,对比了深度学习和浅层学习(shallow learning),然后介绍了解码器,CNN,DBN,RNN,DeconvNet,然后从GPU, DLNN, 打数据和相关工具介绍了深度学习如何实现和火起来。文章提到,因为GPU的特性,GPU加速已经测得在8.5到9之间,甚至更高。 CNN卷积,积分和激活计算操作可轻松移植到GPU中。

    RS 和 DL

  • 接下来是正菜。也就是RS中的DL
  • 文章总结了一个表格,总结了目前已经开展过的RS中的deep learning 的应用。包括研究领域,传感器类型,数据集。还做了一个标记集,标记这些研究都采用哪些类型,包括(光谱,空间,时间/多时间,HSI/多光谱,超光谱,航空照片/航拍数据包括卫星数据,RGB彩色图像)。具体查看 这里

    分类(Classification)

  • 由于我比较关关心cnn,有一篇还是很有意思,面对样本较少并且是光谱数据时候,采用了双cnn联合学习,transfer learning(TL) 来解决样本较少的问题:用一个低分辨率或者中分辨率训练好的模型坐TL,最后结果连接岛到三层全连接(FC),用softmax 最终生成类标签。和我前段时间一直在尝试用general model训练好的模型做TL增加了一个spatial的cnn,很有意思。文献:J. Yang, Y. Zhao, J. Cheung, et al., “Hyperspectral Image Classification Using Two-Channel
    Deep Convolutional Neural Network,” in 2016 IEEE Geoscience and Remote Sensing Sym-posium (IGARSS), 5079–5082 (2016).)

    3D 分析部分

  • CNN 加一个LSTM 已经成为了一个比较常见的方法。同样通过根据RS数据的特点,通过旋转等手段增加train samples 也成为了一个必然的过程。

Segmentation,物体识别和追踪

  • 这部分有还是建立在VHR(超高分辨率)图像上,无论是多光谱还是RGB和CV没有多大的差异。

天气预报

  • 这块也是我关注的重点,仍旧是CNN结合LSTM 比较有意思,有一个预测降水的研究就是用FC和LSTM。
  • 台风这块也很有趣,因为NOAA有很详尽的台风追逐数据,用CNN去识别VHR的云变化,然后融合检测数据追逐台风和预测。

自动标记和目标检测

  • 这里基本就是transfer learning 的天下,得益于CV。识别植物这样的任务训练模型难度大大降低。数据本身和训练效率是反而比参数更需要考虑。

图像增加(Image Enhancement)语义标签(Semantic Labeling)

  • 因为不太关注,这几块感兴趣大家可以自己查看

变化检测

  • 这个是在目标检测的基础下,加入时序是一个自然的拓展。

降维

  • 我没想到会把这个单独列出来,但是想想也很有趣,对于对光谱,例如文章举例的降192根据相关性分组然后每个组用一个cnn输出在连接两个FC做分类,解决HSI数据高维度的问题。

待续