2017-6-6学术讲座|Semantic Segmentation of Street View Images Using Graph Matching and Point Clouds
　



讲座题目：Semantic Segmentation of Street View Images Using Graph Matching and Point Clouds

主讲人：王瑞胜 教授

主持人：余柏蒗 教授

开始时间：2017年6月6日 14:30

讲座地址：闵行校区地理科学学院（资环楼）354室





报告人简介：




王瑞胜，加拿大卡尔加里大学（Univ. of Calgary）地球空间信息工程系终身教授，智能空间信息研究室主任。毕业于武汉大学摄影测量与遥感专业，获加拿大新不伦瑞克大学（Univ. of New Brunswick）地球空间信息工程专业硕士学位及加拿大麦吉尔大学（McGill Univ.）计算机工程专业博士学位。主要研究方向为大规模三维城市建模、激光和图像中物体的提取识别及三维重建、航空遥感图像和探测数据的智能处理等。王博士曾任美国芝加哥诺基亚公司位置与商务部（HERE Maps）研究员（2008-2012），主要研究方向是基于移动激光的下一代地图制作和导航技术。先后八次获得重大创新发明奖，两次获得谷歌研究奖（Google Research Award，2016，2014）。担任《Journal of Applied Remote Sensing》，《Photogrammetric Engineering and Remote Sensing》期刊的Associate Editor，并被Elsevier和ISPRS Journal of Photogrammetry and Remote Sensing评为优秀审稿人。




报告内容：

本报告将介绍一种通过图像和点云数据上进行结构转换实现场景解析的新方法。不同于提取图像和点云数据中的关联特征的传统方法，此法在单独通道中处理图像和点云数据，并在推理步骤中将二者结合。此外，报告人团队提出一种通过找出场景之间最大相似部分的结构转换方法，使用新模型进行图形匹配来实现。经过转换的结构（点云信息）被整合在一个新的能量函数中以增强推理性能。通过集成几个附加项，能量函数不引入任何高阶电位，保留下来局部连接的成对的马尔科夫随机场，可以有效地被优化。经评估，该方法在几个具有挑战性的数据集中表现优秀。




This talk presents a novel scene parsing approach via structure transferring on both images and point clouds. Unlike traditional methods that extract joint features from images and point clouds, we introduce a new framework which processes images and point clouds in separate pipelines and combine them in the inference step. We also propose a structure transfer scheme by finding maximal similar parts across scenes, which is realized via graph matching with a new model. The transferred structures, as well as the information from point clouds, are integrated in a new energy function to enhance the inference performance. Through integrating several additional terms, the energy function does not introduce any higher-order potentials, remaining a locally connected pairwise Markov Random Field (MRF), which can be efficiently optimized. We evaluate the approach on several challenging datasets, achieving promising performance.