叶向阳 毛传龙 王海升 袁世龙
摘 要：近年来，智能驾驶汽车已成为智能工业时代较有前景的发展方向，而作为智能车的关键技术的重要组成部分及重要研究方向之一，环境感知能为智能汽车的加速度控制、轨迹控制、燃油经济性的改善、安全性和舒适性的提高等方面提供重要依据。到目前为止，相较于由人工算法来提取的HOG、LBP等特征，深度学习能够提取到较为丰富的非人工提取的特征。本文基于迁移学习，通过Resnet-101深度学习网络实现对路面类型进行识别，训练所得的模型对本文给出的四种路面类型的识别准确率可达98.33%，相较于使用此前较为常用的Alexnet、GoogLenet等网络有着较为明显的提升，在相同的迭代次数的条件下，Resnet-101的准确率较高，且在道路实车试验中取得了良好的表现。
关键词：迁移学习 卷积神经网络 路面类型识别
Research on Road Terrain Recognition based on Resnet-101 Deep Learning Network
Ye Xiangyang Mao Chuanlong Wang Haisheng Yuan Shilong
Abstract：In recent years， intelligent vehicle has become a more promising development direction in the era of intelligent industry. As an important component of the key technology of intelligent vehicle and one of the important research directions， environment perception can provide important basis for acceleration control， trajectory control， improvement of fuel economy， improvement of safety and comfort of intelligent vehicle. Up to now， compared with HOG， LBP and other features extracted by artificial algorithms， depth learning can extract more abundant non-artificial features. based on transfer learning， this paper realizes the recognition of road surface types through Resnet-101 deep learning network. The recognition accuracy of the four road surface types given in this paper can reach 98.33% with the training model. Compared with Alexnet and GoogLenet， which are commonly used before， this model has a more obvious improvement. Under the condition of the same number of iterations， the accuracy of Resnet-101 is higher， and it has achieved good performance in the road test.
Key words：transfer learning， convolutional neural networks， road terrain recognition
1 前言
隨着智能车领域的逐渐发展，环境感知技术作为车辆行驶时决策控制以及路径规划的依据。而路面类型识别作为环境感知技术的一项重要指标，也逐渐引起了该领域学者的重视。在车辆行驶时，实时识别所在路面的类型，可以高效地帮助车辆提高行驶时的安全性、舒适性以及燃油经济性，同时也能为智能车决策控制以及路径规划提供重要依据，如文献[1]中依据路面类型的识别调整相应的悬架控制策略。
早在2005年，文献[2]便提出了基于破损密度因子特征的五种破损路面程度的识别方法。在此之后，文献[3]提出了基于车轮振动信号的路面类型识别方法;文献[4]提出了基于激光雷达信号的路面类型识别方法。而随着深度学习网络的逐渐发掘，越来越多的领域开始使用卷积神经网络对图像进行分类操作，如文献[5]中使用神经网络框架搜索遥感图像进行分类;文献[6]中使用半监督深度学习对图像进行分类。而迁移学习工具包的逐渐普及，也使越来越多的学者尝试着使用迁移学习通过预训练的神经网络对图像进行重新训练来获取自身所需的网络，如文献[7]中采用迁移学习对胃镜图像进行自动识别。本文依托于文献[8]的迁移学习框架，采用Resnet-101网络对路面类型进行分类，相较于较为传统的Googlenet、Alexnet等深度学习网络，有着更高的识别准确率，可达98.33%，路面识别过程如图1所示。
2 图像收集和预处理
本文采集了沥青、沙石、冰雪、水泥四种较为常见的路面类型的良好光照及道路环境下的图片，将其作为主要的研究对象，并且对相对应的每种路面类型的多个路段均进行了采集，以保证数据的相对丰富和完善。
为进一步丰富数据集，提高所训练的模型的泛化能力，本文预先对所采集的图片数据进行了诸如裁剪、缩放、旋转、平移等的增广处理，并将所采集到的图片转换成三通道下224*224的格式，以便于导入预训练的Resnet101网络进行迁移学习，处理后的数据如图2所示。
3 Resnet-101网络的训练
首先，本文将原始Resnet-101网络的全连接层fc1000层分别替换为适合于本文的数据集的具有1*1*4的矩阵格式的全连接层new_fc层。然后将之前归一化的数据集随机抽取一部分成为训练集，占整个数据集的70%，剩下的归为数据集测试集，输入到Resnet-101神经网络中开始训练。该训练的过程如图3。
最终本文训练所得到的模型测试准确率为98.33%，相较于使用此前较为常用的Alexnet、GoogLenet等深度学習网络，在相同的迭代次数的条件下，具有更高的识别准确率，这些模型的训练结果如表1所示。
4 Resnet-101网络的实测
本研究对训练完成的模型进行实验验证，测试场地为路面光照环境等条件良好的学校道路。测试时，本研究将借助采样频率为30Hz的摄像头捕获的一系列图像作为模型的输入，利用模型将各个路面类型的运算分值显示出来，最后把所得分值最高的路面类型赋予当前路面图像，测试结果如图4所示，测试结果表明训练后的网络效果在实际应用中也同样较为理想。
5 结论
本文提出了一种基于Resnet-101深度学习网络的路面类型识别方法。使用Resnet-101卷积神经网络对含有四种路面类型数据的数据集进行训练，得到准确率为98.33%的优异模型，相对于其他迁移学习框架具有更高的准确率，且在实际测试中得到了良好的验证结果。
资助项目：国家自然科学基金。
参考文献：
[1]刘秋，张晋伟，张华，胡煦，顾亮.基于卷积神经网络的路面识别及主动悬架控制[J].兵工学报2020.8（41）.
[2]肖旺新，张雪，黄卫，严新平.路面破损自动识别的一种新算法[J].公路交通技术.2005，（11）.
[3]卢俊辉，巫世晶，蔡利民.基于车轮振动的路面类型识别方法[M].CN200810047612.0.
[4]王世峰，孟颖，马浩，刘伟.基于激光雷达的路面类型识别方法及装置[M].CN201410777090.5.
[5]景维鹏，张明伟，林敬博.一种神经网络构架搜索遥感图像分类方法[J].哈尔滨理工大学学报2021.（01）.
[6]吕昊远，余璐，周星宇，邓祥.半监督深度学习图像分类方法研究综述[J].计算机科学与探索.2021-3-23.
[7]王跃，王卫东，赵蕾，郑天雷.基于迁移学习的胃镜图像自动识别多分类系统的研究[J].中国医疗设备.2021.36（03）.
[8]MathWorks.DeepLearningToolbox[CP/OL]. https：//ww2.mathworks.cn/help.
