承接上文

DL in RS 所面临的挑战

  • 文章总结了9个点，一共11个开放问题。

1. 有限的数据集下深度学习系统是否还能发挥作用

这里说到了两点

  • 虽然RS数据量很大，但是可以训练的（带标记的数据）其实是有限的。而且大多数RS研究并没有公开标记数据。
  • 缺乏一个像ImageNet这样的可以作为benchmark的数据集。

不过文章有提到一个数据集“NWPU-RESISC45”就是为了解决这两个问题所设计的。同样文章把先用的可用数据集也做成了表格online了。

2. 深度学习如何改进 基于RS的模型

  • 目前很多基于RS的研究都有很复杂的模型（典型：作物模型），输入输出复杂，而且是非线性的。
  • 但是在我看来这其实正是深度学习的强项，例如文章举例到DBN就可以解决绝大数非线性模型问题。作物分析中的特征提取也是ANN的强项。这块的应该应该是非常显著。但是网络的建立和试验反而是一个难点。

3. 应该使用怎么用的工具去理解深度学习到底是怎么工作的。

  • 这应该是一个非常共性的问题，随着网络的深入，能解决问题的同时，说明如何解决这个问题已经成为难题，尤其是需要通过写作的方式表达。同样训练和参数选择有的时候在我看来充满着运气和玄学。

4. 深度学习和大数据（Big Data）

  • 其实在我看来，大数据（Big Data）最大的成就在于强调了强相关性的重要性，很多时候其实很难找到因果。
  • 文章主要还是强调数据的大，毕竟高维和高分辨率的RS数据本身处理就很困难，大多数研究的数据可能是一个很短的时间序列，或者根本就是几幅数据。如何面对这个数据量本身就有很大的研究空间。

5. 如何结合非传统数据源

  • 文章说的非传统数据源比如社交媒体，视频数据等。目前在RS领域结合这些数据研究已经有不少，如何把这些数据与深度学习结合，也是一个可以研究的点。

6. 如何使用深度学习进行异构数据提取（数据融合）

  • 这块一直是我关注的重点，CNN,SVM等这些分类算法，多尺度数据融合，为最终决策提供一个数据驱动。

7. 深度学习框架如何扩展才能适应RS复杂的问题

  • 因为RS的各种应用不同，每个应用都有自己的特定的要求，如何将一个通用的框架带入到具体的应用，类似于定制化深度学习的概念。

8. 如何成功使用迁移学习 transfer learning

  • 这块也是我关注的重点。学习本身就是为了泛化能力。就像孩子面对新的事物会用最熟悉的手段（抓，捏等）去试探和掌握。同样，如何把一些已经训练好的模型，通过特征，参数，知识的迁移，快速的熟悉一个新的领域，个人觉得是解决参数获取和网络训练是一个玄学最合适也最合理的方法。其实可以想象成一个另类的先验。
  • 文章提到的几个点都很有趣：
    • 从高分辨率训练的模型如何迁移到低分辨率。
    • 不同时间序列，不同的大气环境？
    • 不同的光谱选择？
  • 文章所列的几个CNN的案例都值得一看，比如用结合AlexNet， GgooleNet 和VGGNet 来做作物识别。用夜光遥感的模型来分析贫困。比如中波红外训练的模型用到长波红外上等等。

9. 哪些新的进展可以让研究者理解和促进深度学习系统。

  • 文章举例BP和SGD这些让深度学习系统取得革命性进展的算法。其实还想从DL和RS的结合去发现有没有可能取得一些这样的进步。

10. 如何应对深度学习的高门槛。

  • 确实深度学习从理论上就要求研究者很高的数学背景。而且学习曲线机器陡峭。同时训练的成本通常都很巨大。文章举例GPU,先不说时间消耗，组建一个可以用的GPU集群就需要很大的投入。更不用说如何集成的问题。这些都是巨大的挑战。

11. 如何更好的训练。

  • 看到这里其实我个人的观点还是动手去试试，各种方法天花乱坠都不如自己动手试验，毕竟网络这个东西是一个进化的过程。保不齐你自己训练的网络就是那个奇点。

全文完