摘要： 提出了一种基于机器视觉和深度学习的智能路牌识别系统。采用嵌入式的ARM9作为前端采集系统，在服务器上采用图像处理算法先对前端采集的路牌图像进行文字区域的提取和分割，然后用训练好的卷积神经网络对分割的文字进行识别，最后将识别信息以语音的形式反馈给使用者。使用前端硬件在高速公路上采集路牌图像并在服务器的CAFFE框架上进行测试，结果表明该系统能实时准确地将路牌信息以语音的方式播报给使用者。

0 引言

随着社会的快速发展，现今的生活中，汽车已经成为主要的交通工具，路牌也成为一种重要的导航工具。无论是高速公路还是国道、省道，到处都树立着路牌。然而，由于路牌常常被竖立在路的两边，当司机需要了解路旁路牌的信息时，注意力很容易被分散，当驾驶者对自己所在道路不熟悉的时候，前方路况和各种标志的路牌会让驾驶者的心里压力变大，驾驶者由于减速观看路牌很容易发生交通堵塞和交通事故，使得交通状况变得更加恶劣。对此，国内外一些研究学者对路牌的识别进行了研究[1]，但效果不是很理想，将路牌识别系统实现的更是少之又少。智能路牌识别系统能有效地提取路牌信息，帮助驾驶者理解路牌的信息，对于安全驾驶有着极其重要意义，对将来智能驾驶战略也将做出突出的贡献。

1 智能路牌识别控制系统的总体设计

本系统由基于嵌入式技术的前端采集、通信传输系统和远程云服务器识别系统组成。前端采集传输采用基于三星Cortex-A9架构的核心板，配备一千万像素摄像头、语音播报模块和4G通信模块构建智能路牌识别系统的硬件平台。摄像头采集含有路牌的图像，由主控芯片对图像进行压缩，压缩后的图像在4G模块下通过SOCKET程序传送到云服务器上。采用云平台服务器作为智能路牌识别器的数据处理中心，在服务器上通过深度学习算法训练文字识别网络，将分割后的图像在训练好的网络上进行识别，然后将得到的结果传输到前端，通过语音模块播报给使用者。智能路牌识别器的总体设计如图1所示。

2 智能路牌识别控制系统的硬件设计

2.1 主控单元模块

该模块采用ARM9核心的处理器作为中央控制单元模块，用它实现对前端采集系统各个单元模块所采集的数据信息进行汇总分析和处理，对各个功能模块发出控制指令，协调整个系统稳定运行。中央控制单元完成图像采集，根据预先板载的压缩算法程序完成图像压缩，通常可达到6：1的压缩率，并发给云服务器，减小了传输时间，保证了信息传输的实时性。中央控制单元同时接收来自云服务器发送的识别结果，不锈钢宣传栏，并将结果通过语音模块反馈给使用者。

2.2 前端采集模块

前端采集采用的是一千万像素的CMOS高清摄像头，它能够清晰地拍摄前方场景信息，用于智能路牌识别系统对路牌信息的采集。得到的高清图片存储在中央控制单元，并由中央控制单元对其进行处理。

2.3 无线通信模块

无线通信模块由外围电路和4G通信芯片构成，使用SOCKET通信和4G通信技术，完成智能路牌识别系统和云端服务器的相互连接。在中央处理器模块的控制下，前端采集压缩的图片在无线通信模块的作用下发送给云端服务器，同时云端服务器将处理完成的信息通过无线传输模块发送给中央控制单元，把结果实时反馈给使用者。

2.4 语音文字播报模块

语音播报模块主要作用是将云端服务器处理的路牌文字信息以语音播报的形式展现给驾驶者，使得驾驶者不用因环顾四周的路牌文字而分心。该模块主要采用SYN6288中文语音合成芯片实现对语音文字的播报，把云端服务器发送的文本文字转化为音频信息。SYN6288语音芯片采用UART和SPI两种通信方式，实现文本智能分析处理、多音字处理功能。该模块的电路如图2所示。

3 智能路牌识别控制系统的软件设计

本系统软件的设计由两部分组成。一部分是前端ARM9加载Linux系统的设计，完成前端信息的采集压缩、云端服务器通信和语音播报的功能。前端采集程序流程图如图3所示。

另一部分是在云端服务器上实现对采集图像的预处理、检测、分割和分类识别功能。云端服务器首先对前端发送的图像解压缩、预处理，利用支持向量机（SVM）算法检测是否含有路牌。检测到路牌之后对路牌区域进行提取，对提取后的路牌进行图像处理，然后利用投影法对文字进行分割，最后进行文字识别。其中文字识别部分采用的是目前流行的深度学习框架——C++AFFE框架，主要采用C++/CUDA高级语言来实现对深度学习网络的训练和文字的识别。云端服务器程序流程图如图4所示。

4 基于卷积神经网络的文字识别算法