一种方向盘上操作手数目检测算法

ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ　，　ｃ口　。，ｚ　计算机工程与应用　２０１５，５１（】０　１　

一种方向盘七操作手数日检测算法　

郭克友　，纪彬　，陈雪洁　，余责珍　

ＧＵＯ　Ｋｅｙｏｕ　，ＪＩ　Ｂｉｎ’，ＣＨＥＮ　Ｘｕｅｊｉｅ　，ＹＵ　Ｇｕｉｚｈｅｎ　

１．北京工商大学材料与机械工程学院，北京１０００４８　

２．北京航空航天大学交通科学与工程学院，北京１００１９１　

１．Ｓｃｈｏｏｌ　ｏｆＭａｔｅｒｉａｌ　ａｎｄ　Ｍｅｃｈａｎｉｃａｌ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｂｅｉｊｉｎｇ　Ｔｅｃｈｎｏｌｏｇｙ　ａｎｄ　Ｂｕｓｉｎｅｓｓ　Ｕｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ　１０００４８，Ｃｈｉｎａ　

２．Ｓｃｈｏｏｌ　ｏｆＴｒａｎｓｐｏｎａｔｉｏｎ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｂｅｉｈａｎｇ　Ｕｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ　１００１９１，Ｃｈｉｎａ　

ＧＵＯ　Ｋｅｙｏｕ，ＪＩ　Ｂｉｎ，ＣＨＥＮ　Ｘｕｅｊｉｅ，ｅｔ　ａ１．Ａｌｇｏｒｉｔｈｍ　ｔｏ　ｄｅｔｅｃｔ　ｎｕｍｂｅｒ　ｏｆ　ｈａｎｄｓ　ｏｎ　ｓｔｅｅｒｉｎｇ　ｗｈｅｅ１．Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉ＿　

ｎｅｅｒｉｎｇ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ，２０１５，５１（１０）：１７７—１８１．　

Ａｂｓｔｒａｃｔ：Ａ　ｍｅｔｈｏｄ　ｏｆ　ｄｅｔｅｃｔｉｎｇ　ｔｈｅ　ｎｕｍｂｅｒ　ｏｆ　ｄｒｉｖｅｒ’Ｓ　ｏｐｅｒａｔｉｎｇ　ｈａｎｄｓ　ｏｎ　ｔｈｅ　ｓｔｅｅｒｉｎｇ　ｗｈｅｅｌ　ｂａｓｅｄ　ｏｎ　ｍａｃｈｉｎｅ　ｖｉｓｉｏｎ　

ｉｓ　ｐｒｏｐｏｓｅｄ．Ｔｈｅ　ｆｉｒｓｔ　ｓｔｅｐ　ｉｓ　ｔｏ　ｃｏｎｆｉｒｍ　ｔｈｅ　ｐｏｓｉｔｉｏｎ　ｏｆ　ｔｈｅ　ｓｔｅｅｒｉｎｇ　ｗｈｅｅｌ　ｉｎ　ｏｎｅ　ｉｍａｇｅ　ａｎｄ　ｔｏ　ｃａｌｃｕｌａｔｅ　ｔｈｅ　ｄｉｍｅｎｓｉｏｎ　

ｐａｒａｍｅｔｅｒｓ　ｏｆ　ｔｈｅ　ｓｔｅｅｒｉｎｇ　ｗｈｅｅｌ　ｉｎ　ｔｈｅ　ｏｖａｌ　ａｒｅａ　ＳＯ　ａｓ　ｔｏ　ｇｅｔ　ｔｈｅ　ｃｏｏｒｄｉｎａｔｅｓ　ｏｆ　ｃｅｒｔａｉｎ　ｐｏｉｎｔ　ｏｎ　ｔｈｅ　ｃｅｎｔｅｒ　ｌｉｎｅ　ｏｆ　ｔｈｅ　

ｗｈｅｅｌ　ｏｖａ１．Ｔｈｅ　ｓｅｃｏｎｄ　ｓｔｅｐ　ｉｓ　ｔｏ　ｅｘｔｒａｃｔ　ｔｈｅ　ｒｅｇｉｏｎ—ｏｆ－ｉｎｔｅｒｅｓｔ（ＲＯＩ）ｗｉｔｈ　ｔｈｅ　ｓｉｚｅ　ｏｆ　３０×６０　ｗｈｏｓｅ　ｃｅｎｔｅｒ　ｉｓ　ｔｈｅ　ｐｏｉｎｔ　

ｃａｌｃｕｌａｔｅｄ　ａｂｏｖｅ　ａｎｄ　ｔｏ　ｎｏｒｍａｌｉｚｅ　ｔｈｅ　ｂａｎｋｅｄ　ａｎｇｌｅ　ｏｆ　ｔｈｅ　ｅｘｔｒａｃｔｅｄ　ＲＯＩ．Ａｆｔｅｒ　ｓｅｖｅｒａｌ　ｐｒｅｐｒｏｃｅｓｓｉｎｇ　ｏｐｅｒａｔｉｏｎｓ　ｓｕｃｈ　ａｓ　

ｈｉｓｔｏｇｒａｍ　ｅｑｕａｌｉｚａｔｉｏｎ　ａｎｄ　ｂｉｎａｒｉｚａｔｉｏｎ，ｔｈｅ　ｄｏｕｂｌｅ－ｔｈｒｅｓｈｏｌｄ　ｄｅｔｅｒｍｉｎａｔｉｏｎ　ｍｅｔｈｏｄ　ｉｓ　ｕｓｅｄ　ｔｏ　ｊｕｄｇｅ　ｗｈｅｔｈｅｒ　ｈａｎｄｓ　ｅｘｉｓｔ　

ｏｒ　ｎｏｔ　ｉｎ　ｓｉｎｇｌｅ　ＲＯＩ．Ａｎｄ　ｔｈｅｎ　ｔｈｅ　Ｖ－ｃｐ　ｇｒａｐｈ　ｉｓ　ｄｒａｗｎ　ａｃｃｏｒｄｉｎｇ　ｔｏ　ｓｅａｒｃｈｉｎｇ　ｔｈｅ　ｗｈｏｌｅ　ａｒｅａ　ｏｆ　ｔｈｅ　ｓｔｅｅｒｉｎｇ　ｗｈｅｅｌ　ｉｎ　ａ　ｐａｒ—　ｔｉｃｕｌａｒ　ｓｔｅｐ　ａｌｏｎｇ　ｔｈｅ　ｃｅｎｔｅｒ　ｌｉｎｅ　ｏｆ　ｔｈｅ　ｏｖａｌ　ｉｎ　ａｎｔｉ—ｃｌｏｃｋｗｉｓｅ　ｄｉｒｅｃｔｉｏｎ．Ｆｉｎａｌｌｙ，ｔｈｅ　ｎｕｍｂｅｒ　ｏｆ　ｄｒｉｖｅｒ’ｓ　ｈａｎｄｓ　ｏｎ　ｔｈｅ　ｓｔｅｅｒ—　

ｉｎｇ　ｗｈｅｅｌ　ｉｓ　ｇｏｔ　ｂｙ　ａｎａｌｙｚｉｎｇ　ｔｈｅ　Ｖ％ｏ　ｇｒａｐｈ．　Ｋｅｙ　ｗｏｒｄｓ：ｓａｆｅｔｙ　ｄｒｉｖｉｎｇ　ａｓｓｉｓｔａｎｔ；ｓｔｅｅｒｉｎｇ　ｗｈｅｅｌ；ｏｐｅｒａｔｉｎｇ　ｈａｎｄｓ；ｍａｃｈｉｎｅ　ｖｉｓｉｏｎ　

摘要：提出一种基于机器视觉检测方向盘上操作手数目的方法。首先确定图像中方向盘的位置，计算方向盘在椭　

圆区域的尺寸参数，进而获得方向盘椭圆形中心线上点的坐标，以此坐标点为中心截取３０ｘ６０大小的窗Ｉ２１为感兴趣　

区域，并将截取的感兴趣区域倾斜角度作归一化处理。归一化之后的感兴趣区域经直方图均衡化和二值化等预处　

理操作后，利用双阈值判定法判断单一感兴趣区域中是否有类似手形存在，再以特定步长沿椭圆中心线按逆时针方　

向搜索全方向盘区域，根据方向盘的Ｖ－￣图形判断方向盘上的操作手数目。　

关键词：安全辅助驾驶；方向盘；操作手；机器视觉　文献标志码：Ａ　中图分类号：ＴＰ３９１　ｄｏｉ：１０．３７７８／ｊ．ｉｓｓｎ．１００２—８３３１．１３０６—０ｌ３３　

１　引言　

公路交通事故每年都给人民的生命和财产造成严　

重危害。在我国，每年因道路交通事故造成的经济损失　

总量约占ＧＤＰ的１．５％　。　。道路交通事故的分析表明，　

大客车、中型客车等营运车辆是一次性死亡１０人以上　

特大事故的主要肇事车型　。驾驶员的违规操作，如双　

手离开方向盘、打手机等，均有可能使驾驶员因缺乏足　

够的注意力而忽视道路上的危险。尤其在遇到紧急情　况（如车辆急刹车、车辆爆胎和同车道内突然出现车辆　

等）时，驾驶员容易因对车辆的控制不及时而造成严重　

的交通事故　。　

文献［７】中指出，驾驶员手在方向盘上的姿势能够　

反映驾驶员感知到的道路风险，并且驾驶员的手部状态　

能提供驾驶员心理负担的相关信息。因此，监测驾驶员　

手在方向盘上的状态对提高驾驶安全有重要意义。　

文献［８】提出一种检测手和方向盘的方法。研究者　

基金项Ｈ：交通运输部信息化科技项目（Ｎｏ．２０１２—３６４．８３５—１１０）。　作者简介：郭克友（１９７５一），男，副教授，主要研究方向为安全辅助驾驶。Ｅ－ｍａｉｌ：ｇｕｏｋｙ＠ｔｈ．ｂｔｂｕ．ｅｄｕ．ｃｎ　收稿日期：２０１　３－０６—１３　修回日期：２０１３—０８—１３　文章编号：１００２—８３３１（２０１５）１０—０１７７—０５　ＣＮＫＩ网络优先出版：２０１３—１１—１２。ｈｔｔｐ：／／ｗｗｗ．ｃｎｋｉ．ｎｅｔ／ｋｃｍｓ／ｄｅｔａｉｌ／１１．２１２７．ＴＰ．２０１３１１１２．１１１９．０１３．ｈｔｍｌ

　Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用　

利用手的肤色特征从彩色图像中识别出手，通过霍夫变　

换和均值平移算法检测出方向盘。实验结果表明，在　

Ｐｅｎｔｉｕｍ　ＩＶ　２．４　ＧＨｚ的ＣＰＵ和５１２　ＭＢ内存的硬件条件　

下，检测一帧的时间为０．７２　Ｓ，没有达到实时检测要求。　文献［９］和［１０］利用多个摄像头监测驾驶员手和头部　

活动，构建上肢的三维模型，然后确定驾驶员的手部姿势　

（双手在方向盘上、单手在方向盘上、无手在方向盘上）　和手部动作（手部休息、手部活动），试验在Ｐｅｎｔｉｕｍ￣Ｄ　

ＣＰＵ　２．８　ＧＨｚ的硬件条件下进行，检测速度为６帧／ｓ，没　

有达到实时要求。　

本文通过安装在大客车、中型客车等营运车辆的驾　

驶员前方的监控摄像头，对方向盘和驾驶员手进行监控，　实时检测方向盘上的操作手数量和位置，提醒驾驶员保　

持正确的驾驶姿势，达到督导驾驶员安全行车的目的。　

２算法整体框架　

操作手检测整体流程图如图１所示。首先确定图　

像中方向盘的位置，计算椭圆周边点的坐标。以椭圆上　

某点坐标为中心截取３０ｘ６０大小的感兴趣区域，对感兴　

趣区域进行图像预处理之后，结合其Ｎ－Ｘ曲线判断此感　

单帧图像检测开始　

确定图像中方向盘位置　

计算椭圆周边点坐标　

截取３０ｘ６０感兴趣区域　

图像预处理Ｊ　Ｊ步长加１　

绘制Ｎ－Ｘ曲线，计算三　

上Ｙ　有类似手型存在ｃ　Ｉ无类似手型存在　

一　绘制　ｐ图形，计算Ｌ１、Ｌ２『　

—　

’　’　—　

无操作手１　ｌ有两只操作手ｉ　ｉ有一只操作手１　ｉ无操作手　

绘制手轮廓　

单帧图像检测结束　

图１　操作手检测整体流程图　兴趣区域中是否有类似手形存在。然后以一度为步长　按照上述判断方法，沿椭圆中心线逆时针方向搜索全方　

向盘区域，得到与全方向盘对应的　曲线。最后根据　

Ｖ－￣曲线判断方向盘上的操作手个数。　

３算法分析　

３．１图像中方向盘位置确定　

方向盘的实物形状为圆形，但由于摄像头的畸变效　

应，方向盘在图像中的形状畸变成椭圆形，所以需将方　向盘视为椭圆来处理。　

本文所用摄像头为０．４　ｍｍ焦距ＣＭＯ８摄像头，摄　

像头固定于驾驶员前上方玻璃处，采集视频分辨率为　

７２０ｘ４８０，摄像头到方向盘中心的直线距离约为８２　ｃｍ。　当监控摄像头安装位置固定后，因摄像头与方向盘　

相对位置固定，方向盘在图像中将具有确定的位置，通　

过手动标定的方式初步确定方向盘椭圆的中心，将方向　

盘所在区域包含在椭圆环内，方向盘在图像中的大致位　置即可确定。　

客车在行驶过程中车身会略有震动，导致摄像头与　

方向盘之问的相对位置会有小幅变动。根据实验测试，　在摄像头正常安装的前提下，车辆颠簸导致的图像中方　

向盘实际中心点与标定中心点的不重合度误差基本小　

于２０个像素，本算法试验结果表明，该误差不会影响算　

法计算结果的准确性。　

同时，为了便于监控驾驶员头部行为以及后续算法　功能性的升级，摄像头监控区域应包含驾驶员上肢、头　

部和方向盘，如图２所示。　

图２图像中方向盘位置　

３．２椭圆周边点坐标的计算　

方向盘的数学模型可以用椭圆表示，方向盘上点坐　标的确定可以通过计算椭圆上点的坐标得到。通过计　

算椭圆上某点的坐标，可以得到３－３节提到的以该点为　

中心的感兴趣区域在图像中的位置，进而从图像中截取　感兴趣区域。现以计算椭圆上任一点Ｍ的坐标为例，　

介绍椭圆上点坐标的计算方法。　以椭圆短轴为　轴，以椭圆长轴为】，轴，建立坐标　

系。已知焦点在】，轴的椭圆的参数方程为：　

ｆ　＝ｂ×ＣＯＳ　

ＩＹ　ａ×ｓｉｎ　

其中，ａ，ｂ分别为椭圆的长半轴和短半轴，ａ＞ｂ；　为　

椭圆离心角，０≤　＜２７ｃ，椭圆上点Ｍ的坐标为（ｘ，ｙ）。

　郭克友，纪彬，陈雪洁．等：一种方向盘上操作手数目检测算法　２０１５，５１（１０）　１８１　

表１视频检测结果比较　

实验结果表明算法在不同时刻的检测精度均在　

９０％￣３２，但在光照较强的条件下（如时刻１０：５５）漏报　

率和错报率会有所增加。　

５结束语　

实验表明，本文提出的算法能够准确检测方向盘上　

操作手的数目和位置，满足实时检测要求，在不同光照　

条件下对手的各种姿态都有较好的检测精度。　

参考文献：　

［１］沙爱敏．高速公路交通事故分析及预防对策研究［Ｄ］．南京：　东南大学，２００６．　【２］毛　，初秀民，严新平，等．汽车驾驶员驾驶疲劳监测技术　研究进展Ⅲ－中国安全科技学报，２００５，１５（３）：１０８—１１２．　［３］宋义伟，夏芹，朱学峰．驾驶员疲劳驾驶监测方法研究的进　展Ⅲ．自动化与信息工程，２００７（４）：３１—３４．　【４］中华人民共和国公安部．公安部、交通运输部联合部署加　强客货运驾驶人安全管理工作［ＥＢ／ＯＬ］．［２０１２—０２．０７］．ｈｔｔｐ：／／　

ｗｗｗ．ｍｐｓ．ｇｏｖ．ｃｎ／ｎ１６／ｎ１２５２／ｎｌ８３７／ｎ２５５７／３１２９３２３．ｈｔｍ１．　［５］张希波，成波，冯睿嘉．基于方向盘操作的驾驶人疲劳状态