▍摘要
第五期未来论坛青年科学家创新联盟YOSIA Webinar在线研讨会请来中科院长春光机所研究员、博士生导师；长光卫星公司型号总师，钟兴老师做主旨分享。
以“AI如何帮助卫星遥感释放价值”为题，钟兴老师分享了他的研究心得并与山世光、卢山、张娅、汪玉、董彬等多领域专家做了跨学科探讨。下面是本期研讨会的精彩内容：
整个分享以遥感的基本概念和原理为出发点介绍了卫星遥感是如何产生价值的；AI与卫星遥感的三个结合点，分别是：成像获取、预处理、后端应用；AI+遥感应用面临的挑战与现状；同时还展示了长光卫星公司近期在AI+遥感领域进行的探索性研究与一些应用案例，案例涉及变化检测、目标检测、目标跟踪、地物分类等多个领域。
随后由董彬主持，钟兴老师与参会嘉宾进行了以下几个跨学科议题的讨论：
·卫星多谱段信息的融合
·智能算法中的卫星数据集
·卫星的智能调度
·星上智能处理系统
·鸽群卫星的协同管理
▍分享嘉宾
主讲嘉宾：
钟兴，未来论坛青创联盟成员，中科院长春光机所研究员、博士生导师，长光卫星公司型号总师
讨论嘉宾：
卢山，未来论坛青创联盟成员，芝加哥大学计算机系副教授
山世光，未来论坛青创联盟成员，中科院计算所研究员，中科视拓创始人、董事长兼CTO
汪玉，未来论坛青创联盟成员，清华大学电子工程系长聘副教授
张娅，未来论坛青创联盟成员，上海交通大学教授
主持嘉宾：
董彬，未来论坛青创联盟成员，北京大学北京国际数学研究中心研究员
AI如何帮助卫星遥感释放价值
今天我一个题目主要包括四个方面，首先是卫星遥感如何产生价值，其次是AI有哪些结合点，然后是面临的挑战和现状，最后是我们一些初步的探索研究和应用的案例。
首先我们知道现在卫星的遥感系统是朝着全球覆盖、全天侯全天时的连续动态的高分辨率观测方向进行发展。卫星遥感分为主动方式和被动方式，它的物理本质上是要获取我们目标对象的几何辐射特征，通过一定的矫正和加工，得到用户感兴趣的信息。
这里面几何信息主要是包括目标的形状，地理分布。辐射信息包括目标的表面材质、光谱特性等等。
那么这些几何辐射特性的获得都是由有效载荷来执行的。有效载荷是指卫星的相对平台而言的这种功能部分，各种相机，高分辨相机、超光谱相机等等。
卫星遥感价值的产生，我认为主要分为三个环节，首先是获取我们的标准数据，其次是把这种标准数据变成数据的产品，最后是提供清晰的服务。例如动态检测的产品，去提取一些这种信息融合之后得到的一些指标性的参数用于分析。
那么遥感要产生价值，它的用户需求和应用基础，包括几个方面。对于用户来说的话，他其实对遥感数据要求及时的交付，稳定一致的质量，以及它的易用性。一般来讲总结起来我们把它归纳为，在需求方面是三个分辨率和两个质量。三个分辨率是指空间分辨率，光谱分辨率和实践分辨率，质量主要是指数据的几何质量和辐射质量。
数据质量可以有一系列的量化指标表示，决定了数据的可用性。但是总的归类也是可以分为辐射和几何。辐射质量可以决定象素反应的物理信息是否真实，是否能够探测识别和确认地物。几何质量决定象素代表的地理信息是否准确，是否可以正确的拼接满足测绘，因为我们对地观测，所有看到的东西都需要跟地面的一些地理坐标建立联系。
采样距离必须和一定的几何辐射质量组成一个指标体系才有意义。就这个采样距离本身来说，它仅仅是几何的概念，可以理解为一定尺度的地面目标，用多少象素去进行表征。
一般而言，例如我们平时说的0.3、0.5、1米这些都是指的仅仅是个采样距离的概念。那么目前国际上的卫星大概都在亚米级以内，甚至是0.5米以内。在我们绝大部分的民用系统里面，亚米级也已经成为主流。
上图是全球分辨率发展的趋势，那么商用卫星的分辨率越来越接近军用，并且我国在这些年和世界先进水平的差距也在迅速的缩小。上图是吉林一号0.72米的图的样例，在一些目标细节的勘察方面，已经非常的清晰。
第二个方面，时间分辨率。时间分辨率我们一般用重访时间进行描述。主要取决于卫星的机动能力、轨道高度和组网的形式。例如不同的应用它对时间分辨率的需求是不同的，像军用和安全，几乎是要求近实时的时间分辨率。减灾和应急绝大部分是要求三个小时以内。一般而言,越微观细致的需求，它需要的时间分辨率越高。宏观的需求，时间分辨率可能是一个季度到半年。
在有一定时间分辨率的基础上，遥感产生价值一个非常重要的方面，就是：对不同时间的遥感图象进行变化检测。例如制备覆盖的情况，地表的一些变化。
这些年我们可以看到出现的一些可以拍摄摄视频的卫星。那么视频卫星是怎么回事呢？对于传统的卫星来讲，一般的采用是推扫成像，卫星飞到哪拍摄到哪，因此获得的是一个静态的图象。
视频图象指的是，在飞行的过程中始终卫星盯着同一个点，能获得一个连续的视频，因此，可以持续动态的观察。目前具备拍摄摄视频能力的卫星中国和世界发展是同步的。
AI与卫星遥感的结合点在哪⾥
下面和大家探讨的是，AI和卫星遥感的结合点在哪里。遥感的传统的获取和处理过程可以分成三个部分，第一个是成像获取，第二个是预处理，第三个是应用处理。
成像获取就是目标本质的几何辐射的特征，卫星拍摄摄目标的时候，需要一些拍摄摄条件，例如侧白角。还有就是辐射传输的条件，例如大气的状态等等。这些特征和条件一起决定了我们得到的原始图象是什么样的，但是原始图象需要经过成像模型的处理得到标准产品。因此传统方式是一个过程，目的是从图像到达信息。
首先来看成像获取过程。成像获取过程的现状和痛点应该可以分为几个方面，一个是拍摄摄点，我们卫星，特别是对于高分辨卫星来说，它并不是每时每刻都在拍摄摄，因为能源的原因，因为存储或者数传的原因，它需要靠地面规划，效率是不高的。
另一个，拍摄摄到的图象经常存在很多云，拍摄摄的参数也调整和预设。有没有可能用AI解决成像获取过程呢？我们注意到在今年的四月份美国的DARPA发布新作，新作的重要的目标是，在没有操作中心的情况下运行三十天，所有的数据在轨完成无需地面处理的支持，这里面已经引入了AI概念，一个平台能够利用多核DSP和GPU。
更具体一些，它的主要应用方向，包括星上自主进行云的判断，目标海位的搜索识别，自动任务规划，自动识别火点等等。因此，可以提升一个获取的效率。
还有一种应用的场景是针对传统的规划获取链条长的问题。最终实际上对用户面、卫星来说其实只需要信息产品向单向诉求。我们在设想，星上AI还有一种可能是把场景直接语意化，例如我们一些用户比较关心港口有哪些船，都有哪些类型的船，有多少只，在什么地方。
实际上，这样一个米级的遥感图象，如果拍摄摄一个港口的话，恐怕是好几个G容量，传输需要耗费大量的资源也需要时间。实际上在星上AI的处理之后，这些几个G的图象完全可以变成几个KB或者兆B级的文本，文本里面是时间、地点等要素。因此，可以快速的直接分发给终端用户使用。
再看三个过程中的第二个过程—预处理。预处理在传统的遥感里非常的重要，因为绝大部分的遥感应用并不是看图说话。遥感应用是需要从图象上获取目标经纬度、客观亮度等信息，并且大部分的信息都需要在GIS系统，地理信息系统里面进行使用，要和别的地理信息数据综合应用。因此它一定要符合规范。因此，目前的预处理两个目的，一个是几何方面，就是将图象的象素坐标和真实的地理坐标之间的关系建立起来。第二个辐射方面，图象的灰度值和真实浮亮度的关系建立起来。
在预处理的实现途径方面，传统的主流观点认为预处理是一切应用的基础，需要通过星地一体的方式。途径不外乎就是两个方面，第一种是用更加复杂的模型描述物理过程，增加误差项目的描述方法。
第二个是追求更加精确的模型参数，在遥感器的设计优化，实验室定标，在轨定标等等，需要进行相当大的努力。
举个鸽群卫星的例子，鸽群整个颗卫星批量化制造之后才二十万美元左右，卫星稳定度很差，测量精度也比较差，很难用传统的方法去进行预处理。因此，制造成本大幅度降低。那么它在预处理的过程中就引入了Basemap的概念，意思是利用world view高质量卫星拍摄摄的图象作为技术底图进行几何辐射自动化的校正处理，同样可以得到一些所谓的传感器校正产品。因此，它就完全不需要非常严密的模型或者说需要很高的传感器。
除了获取和预处理之外，其实在卫星遥感领域目前的发展非常迅速的还是在后端的应用处理方面。这是公认的将这个AI用到遥感方面是推进大数据应用的这样一个非常好的捷径。
AI加遥感应用它主要分为两种，一种叫一步到位应用，一种叫多层次的应用。一步到位的应用主要是进行目标的检测或者说是目标的变化检测。那么在一步到位检测一个基础上，在结合其他的一些信息加一些其他知识，获得一个多层次的应用。
目前来看，应用案例更多一些，国外有很多初创公司例如：Space Know、OrbitalInsight 、Descartes Labs等公司都在做相关的研究，国内的商汤科技、极海纵横、长光卫星也都在开展这一领域的研究，研究内容包括通过检测油罐预估石油储备、通过检测车辆预估商业收益、以及路网提取、农作物检测、图像检索等等。
总结一下，AI如何和遥感技术结合，其实是三个过程都有结合点。例如成像过程，能够让卫星自己思考拍摄什么地方，怎么拍摄。用到载荷上是载荷自己思考已经拍摄到的东西有没有价值，用什么参数拍摄摄合适。
那么对于预处理，AI完全不同于现有的成像模型，例如通过底图的自主学习纠正，可以降低卫星的硬件投入。
AI+遥感⾯临的困难和挑战
下面介绍一下遥感+AI的困难和挑战。卫星遥感目前的自动化处理还处于前机器学习时代，研究者更多的关注模型的开发和精度的验证。目前在高分辨率影象的自动解意，虽然已经有监督非监督等机器学习方法，但是精度达不到预期要求。
首先在现实困难方面，和别的领域不一样，就卫星遥感器本身，至今还不算批量化产品，或许美国的鸽群现在是批量化，但是它中间也了经过了十四代的更新。因此卫星遥感器个体之间存在较大的差异，同时现在常用的各种模型的精度受遥感器的本身状态影响比较大。一类经过多年开发并验证的模型，往往无法通用。
第二， 因为模型的验证费时费力，需要进行调动卫星并且进行现场的勘察，也会有困难。
第三，遥感数据获取的链路长，米级的高分辨数据缺乏公开流通性。我们目前也争取在把所有的查询终端直接面向用户公开到网上。
第四，航天的试错成本比较高，还处在起步阶段。这方面商业化的小卫星或许将成为一个突破口。在面临的挑战方面，主要是包括资源处理，处理效率，资源需求处理效率和精度等等。
探索性研究进展
我们的一些探索性研究进展在包括多光谱遥感影象的象素及地物分类方面。包括高分辨率影象的典型目标的识别、船只的识别，准确率目前可以高于90%。
另一个例子是探索性研究，也即结合新的谱段模型进行的开发工作，上图是载荷和卫星的研制并行的，利用短波红外提取海面舰船上的尾迹，利用美国的AVIRIS数据制作的应用，因为我们的研发的短波红外卫星还未升空，因此，可以看到在通过短波红外的光谱差运算之后，整个的船运行的尾迹很长。
目前处理方面的重点方向，主要包括样本的增量处理，包括迁移学习以及特征融合和优化等方面。
最后，我本身的领域主要还是前端，当然，也在尝试搭建后端的应用团队。我的观点是，遥感卫星的本质其实很简单，卫星的功能实现的载体或者信息抓获的工具，和大街上的摄像头本质上没有什么区别，都可以称作象素制造者。
因此，现阶段研究AI遥感应用恰逢其时，并将大有可为！
▍讨论环节
张娅：是不是可以考虑利用多种谱段，比如红外或者其他的光谱来采集遥感图像。或者用多种摄像头采集，利用这些谱段之间的互补特征来做数据分析，这样是不是能够达到更好的分割，达到更好的目标识别的效果呢？
钟兴：在卫星领域这种技术叫多源信息融合，实际上谱段在遥感领域是最基本的手段，比如说最早的黑白影像我们叫全色，后来加上了RGB，目前几乎所有的遥感卫星的基本配制是全色、RGB、加近红外，这是一个标准五谱。它是一个非常基础的配置，并且很多的识别或者分类的应用是一定要用到谱段信息的。
比如说前面我讲的一些植被指数，它也可以用来做分类，因为比如说植被在近红外段和别的波段明显的反射率差别，这个信息是一定会利用的。基于一些新的谱段的加入，确实我认为也能够起到很好的提取的效果。
比如说刚才最后一个例子里面舰船尾迹的提取，就是利用了短波红外，因为短波红外舰船驶过之后，水体里面有很多小气泡。短波红外有一个特性就是说水面反射非常小，但是气泡的反射在短波红外波段非常的强烈，因此一下子就把气泡抓住了，就把尾迹提出来。
我感觉有点像足球里面说换人如换刀，新的谱段加入一定能起到好的作用。但加入更多的谱段，其实有非常多的限制因素。
首先就是我们地面可能在追求分辨率，或者追求成像效果，对这些摄像头的尺寸重量不是特别敏感。但是在卫星上做的时候，一点点参数的变化就会非常敏感。
比如说刚才说的短波红外，它要获得和可见光一样的几何分辨能力的话，这个镜头的口径几乎就要是可见光波段的10倍以上，因此它像0.3米的World View，它的卫星短波红外也只有5米左右，大概是17倍。所以它会带来硬件成本急剧的增长。
另外一个就是说它的谱段越多，这个数据量也会越大，因此我觉得谱段一定是非常非常重要的信息，但是在目前应该说需要考虑怎么便捷的去实现。
山世光：我看钟老师也做了后端的基础学习，或者是做一些识别分类。深度学习现在在卫星这个领域里面的应用的情况大概是什么样子？因为深度学习通常都需要大量的数据才可以做得比较好，我们在这块数据积累的情况大概是什么样子？
钟兴：现在我们应该说标注的工作量非常大，刚才张老师也提到了。但是我们有一个好处，因为我们天上有多颗卫星，吉林一号系列我们已经经过了四次发射，米级分辨率的卫星是有七颗。同时我们自己要做一些模型的训练的话，我们自己内部的数据人员提出来要一些拍摄需求的话，自己的卫星会第一时间满足。所以我觉得数据源这块保障是比较有利的。
另外，我们现在出去面对信息服务的客户，并不是每家都有自己的处理的能力。非传统客户他自己完全处理不了，他就只需要这种信息。因此我们做示范性的同时，能够服务一些这种客户。
在目前来说的话，在机器学习方面，我认为现在在这个“一步到位”应用方面做的一些工作应该说达到了一些应用效果，也在给客户服务。就是说直接提取个路面交通流量，识别舰船，包括船在海面上也能很好的识别，些处理现在做的都还可以。
但是既使是一步到位的处理，您刚才也说数据量或者样本量的问题，我们一项非常重要的工作也是自己去模拟它在不同的拍摄条件下，这些目标可能会有的一些特征，比如说噪声加上几何上的变化，这样训练我们的模型的准确性。
但是在这个过程中，它的一些最基础的工作确实靠人去标注，看大量的图，然后进行验证，这个工作量确实很大，应该说目前只能靠人建这个库。我们的研究还是比较初步的，在多层次应用方面目前还没有开展，仅仅是基础性的提取目标，识别变化这个方面。
卢山：能不能将一些控制论加机器学习的优化算法应用在卫星的调度上呢，这样的话可以很好的协调卫星的能源与所要执行的任务之间的关系。
钟兴：卢老师说这个是一个非常好的启发，实际上现在对于高分辨卫星来说的话，任务规划和资源调配都是通过任务编排来做的。跟您刚才讲的来比的话，我觉得现在卫星上还是蛮弱智的，可以把它看成是一个完全手动的单反相机。
但是星上在一些任务执行的过程中，比如说资源、带宽包括压缩这些，它会去做调配。你是定下来的，不是一个变化的，目前还是属于一个比较弱智的阶段。因为最终其实就是您刚才说的几个因素，其实对卫星来说，面临的就是几个限制问题，就是怎么在能源满足的情况下，用一定的数传带宽获取尽量多的价值数据。其实就是这三个性质。我觉得您的想法对我们来讲非常有启发。
汪玉：星载平台的计算平台将会能量效率有很大的提升，既用同样的功耗和载荷就可以做到一部分星载的智能处理，比如说目标检测识别。我的问题是对于应用层面来看哪些事情是需要在星上做的？
钟兴：哪些事情需要在星上做的，我认为还是从主流或者传统的观点来看，就是预处理。要不要在星上做预处理，实际上在地面做预处理的话，也是用到星上很多传感器的信息通过成像模型去做。
因为只有做了预处理之后，我们的图像才可以去和应用端连接起来，那么这个是一个必要项。就是说你拍这张图，贴到地球表面上应该贴到哪里。然后它的每个谱段的准确度是多少，可能之前我们在地面存的一些处理模型，或者说一些校正参数，比如说相对辐射系数，绝对辐射系数这些东西可能就会放到星上。我认为目前星上的处理平台，汪老师说的是非常对的，已经具备这样的条件了。
只不过现在还没有在星上开始做这个事情。在星上做了这个事情之后，我觉得就可以类比于我们现在的消费产品，拿出来就是能用的东西，现在卫星确实还做不到，只是一个原始的数据，要给它做完处理才可以做的数据。预处理是一个基础，但是方法可以有很多。第二个就是我们一些对于光学来讲，在星上有必要做的就是去云的事情，或者说特定用户的目标提取这些。
包云岗：目前的鸽群卫星是如何协同管理的，会不会机动调整轨道？
钟兴：鸽群卫星是一个非常有意思的星座，它目前的管理实际上可以叫做无为而治的管理，因为它已经达到了几百颗的规模，所以它完完全全靠星上做工作。现在高分辨卫星还是叫任务规划，它现在可以做到一直拍，第一它是三到五米的分辨率，能源的问题相对来说不大，就是一直在拍摄。这样一个最大的好处就是省掉了怎么去规划任务。
因为我们知道一般所谓的星座，它维持轨道的位置需要推进的系统。那么鸽群卫星没有推进系统，它是采用不断的调整卫星的飞行姿态，去改变迎风的面积去控制轨道衰减的速度，最后逐渐的分散到比较合理的位置上。
我是有一个名词来形容它的方式，我认为是暴力组网。所谓的暴力组网它不追求很高的精度，但是它由于卫星多，它可能在需要的时候总有一颗卫星出现在正确的地方。
刚才说侧摆能力，它是几乎不进行侧摆的，就是飞到哪里拍到哪里。因为它是在一个轨道面上，它可以像拨橘子皮一样，地球在转的同时可以把整个覆盖。它即使要进行侧摆，它也不是想照哪里就照哪里，因为控制精度几乎等同于视场大小。
就是说我要看这个地方可能是天安门，结果可能看到鸟巢去了，就是这个精度。但是由于它的星特别多，它下来之后剔掉重复的部分，把其他的东西一拼，还能得到一个完整的图像，这是它的特点。
（全文结束）
