基于Kinect的智能家居系统
- 格式:doc
- 大小:2.34 MB
- 文档页数:9
基于嵌入式系统的智能家居控制系统设计一、引言随着信息技术的发展,智能家居成为了现代家庭的一个重要组成部分。
通过智能家居系统,可以实现家居电器的自动化、远程控制、人机交互等功能,提高居住舒适度和生活便利度。
基于嵌入式系统的智能家居控制系统具有可依靠性、扩展性和可移植性强等优点,成为当前智能家居领域的主流技术。
本文将围绕基于嵌入式系统的智能家居控制系统设计展开研究。
二、四个关键模块的介绍1.传感器模块传感器模块是智能家居控制系统中实现物品智能感知的重要组成部分。
传感器模块一般包括温度传感器、湿度传感器、光照传感器、人体红外传感器、烟雾传感器等多种传感器,具有获取环境信息的能力。
传感器模块的信号采集和处理是整个智能家居控制系统的基础。
2.通信模块通信模块是智能家居控制系统中负责实现设备之间信息传递的重要组成部分。
通信模块一般采用WiFi、蓝牙、ZigBee等通信技术,可以实现设备之间的互联互通。
通过通信模块,可以实现智能家居系统的集中控制、远程控制和状态监测等功能。
3.控制模块控制模块是智能家居控制系统中实现设备控制的重要组成部分。
控制模块一般采用单片机、PLC、DSP等嵌入式处理器,实现对家居设备的控制。
控制模块可以实现对设备的远程控制和定时控制。
通过智能算法,可以根据不同的需求,对设备进行复杂的控制和调节。
4.应用模块应用模块是智能家居控制系统中用户界面的重要组成部分。
应用模块一般包括移动终端应用程序、Web应用程序、桌面应用程序等多种应用形式,提供直观的操作界面和友好的用户体验。
应用模块可以实现远程遥控、定时控制等功能,实现对智能家居系统的便捷管理。
三、系统设计基于嵌入式系统的智能家居控制系统一般包括传感器模块、控制模块、通信模块和应用模块四个关键模块,各关键模块的功能、特点已在前面进行了详细介绍。
在系统设计过程中,可以采用以下步骤:1.确定需求根据用户的需求,确定需要实现的功能和特点。
针对不同的需求,可以选用不同的传感器、通信技术和控制算法,实现个性化的智能家居控制系统。
基于嵌入式系统的智能家居控制系统设计智能家居控制系统是利用嵌入式系统技术,将传感器、执行器以及通信技术融入家居系统中,实现对家居设备的自动化控制和远程监控。
该系统可以大大提升家居安全性、舒适度和能源利用效率,给用户带来更加便捷的生活方式。
本文将对基于嵌入式系统的智能家居控制系统设计进行详细探讨。
一、系统架构设计智能家居控制系统通常包括以下组件:传感器、执行器、控制中心和用户界面。
传感器用于感知环境中的各种信息,如光线、温度、湿度等。
执行器用于控制家居设备,如灯光、空调、窗帘等。
控制中心负责接收传感器数据并根据用户设定的规则进行决策控制,同时将控制指令发送给执行器。
用户界面则提供给用户操作设备、监控家庭状态的接口,可以通过手机应用程序或者网页实现。
在系统架构设计中,需要考虑以下要点:1. 通信方式:智能家居控制系统需要通过网络与用户进行远程通信,可以选择Wi-Fi、蓝牙、Zigbee等不同的通信方式。
Wi-Fi通信速度较快,适用于传输大量数据;蓝牙通信距离较近,适用于短距离传输;Zigbee通信消耗少,适合用于节能环保的家居系统。
2. 安全性考虑:智能家居控制系统需要采取安全措施,以防止黑客入侵或者信息泄露。
可以使用加密技术对通信进行保护,如SSL/TLS协议,同时采用身份验证机制,确保只有授权用户才能访问系统。
3. 软硬件平台选择:在嵌入式系统中,需要选择适合的硬件平台和操作系统。
常用的硬件平台有Arduino、Raspberry Pi 等,操作系统可以选择Linux、RTOS等。
选择合适的平台和操作系统可以简化系统的开发和维护工作。
二、系统功能设计1. 远程控制:用户可以通过手机应用程序或者网页远程控制家居设备。
例如,用户在外出时可以通过手机应用程序打开或关闭家中的灯光、电视等设备,以此增强家居安全性。
2. 定时控制:用户可以根据需要设置定时开关家居设备。
例如,可以设定某个时间自动打开空调、关闭窗帘,以提前为用户创造一个舒适的家居环境。
基于体感控制的智能家居系统设计与实现韩娜;钟卓成;吴振权;刘杰聪;刘杰【期刊名称】《信息技术》【年(卷),期】2015(39)12【摘要】随着技术的发展,智能家居在可预见的将来会发展成为物联网的一个分支,社会生活也会倾向家庭的智能化和自动化,所以智能家居的研究和发展在以后将会极大地影响人们地生活,使人们的生活更加舒适.文中项目主要分为两大模块:远程监控模块和体感控制模块.远程监控模块主要通过Cubieboard3开发板和UVC摄像头实现数据获取,并采用H.264视频输入与输出格式的转化与配置.体感控制模块主要是采用微软的Kinect实现体感控制家居设备.该模块主要通过Kinect摄像头捕获人体数据,彩色数据,深度数据和语音数据,对采集到的数据作处理,通过手势识别和语音识别,对家居设备进行控制.【总页数】3页(P91-93)【作者】韩娜;钟卓成;吴振权;刘杰聪;刘杰【作者单位】北京理工大学珠海学院,广东珠海519088;北京理工大学珠海学院,广东珠海519088;北京理工大学珠海学院,广东珠海519088;北京理工大学珠海学院,广东珠海519088;北京理工大学珠海学院,广东珠海519088【正文语种】中文【中图分类】TP273.5【相关文献】1.基于Kinect的智能家居体感控制系统的研究与设计 [J], 傅大梅;倪瑛2.基于体感交互的智能家居控制与监护系统 [J], 赵琳;方艳红;张红英;王学渊3.基于物联网的智能家居控制系统设计与实现 [J], 涂晓军;吴艳4.基于无线传感网的智能家居环境控制系统设计与实现 [J], 陈新5.基于物联网技术的智能家居语言输入形式自主控制系统设计与实现 [J], 张子卿;张华因版权原因,仅展示原文概要,查看原文内容请购买。
基于树莓派智能家居扫地机器人系统设计张殳韬【摘要】随着科技的发展与人们生活水平需求的提高,"智能家居"越来越受到人们的青睐.本文设计了一款高效智能的家居扫地机器人系统.该系统是以搭载了Linux系统的树莓派(Raspberry Pi)为主控核心,以智能手机为客户端,基于ORB-SLAM设计的一款智能家居扫地机器人系统.本系统利用Kinect模块进行周围环境的信息采集,通过ORB-SLAM模块对收集到的信息进行整合与2D绘图,最后采用Socket模块实现手机客户端与机器人的信息交互,实现与树莓派远程通信从而达到远程启动、重点清扫、自定义区域清扫等功能.此外机器人可以通过已绘制好的地图智能设计最优清扫方案并大大减少与家具的不必要碰撞.本文提出的智能家居扫地机器人系统具有市面上现有机器人所不具有的智能自定义管理、大量减少碰撞、高效清扫等优势,为广大用户提供了更为便捷智能的居家体验.【期刊名称】《电子世界》【年(卷),期】2017(000)020【总页数】2页(P149-150)【关键词】智能家居扫地机器人远程;树莓派;ORB-SLAM;Socket通信【作者】张殳韬【作者单位】浙江省杭州第二中学【正文语种】中文机器人具有工作环境要求低、可持续作业、产品质量稳定、效率高等优势,其应用正在逐渐融入人们的生活。
作为家居机器人,其使用目的就是方便人们的生活,将人们从繁琐的家庭劳动中解放出来。
而现在市面上的家居扫地机器人存在清扫效率不高、产品智能化不高、对家居破坏较大等问题。
本文设计了一款基于树莓派智能家居扫地机器人系统。
该系统以树莓派为主控核心,以智能手机为客户端,实现家用扫地机器人的智能清扫。
工作时,启动Kinect相机,继电器模块控制驱动电机使机器人移动,ORB-SLAM模块将Kinect相机采集到的室内信息转换成室内地图。
当图像绘制完成后,智能手机与树莓派中Socket模块建立通信,客户端即可将各种清扫命令传输至树莓派。
基于嵌入式的智能家居系统设计与实现随着科技的不断进步,物联网技术得到了突飞猛进的发展。
智能家居是物联网技术的典型应用领域之一。
智能家居系统将独立家用电器、安防设备连接成一个具有思想的整体,实现家居设备的智能管理和远程监控。
本课题的嵌入式平台采用WinCE操作系统,硬件设备采用ARM10架构的Intel XScale270核心处理器的实验箱作为技术支撑。
系统设计与实现使用Keil、VS2005和Delphi三种集成开发工具实现代码的编写与调试。
软件部分主要涵盖硬件网关设备的WinCE操作系统相关功能设计、嵌入式设备平台服务端软件设计、计算机客户端应用软件的设计及家电控制端底层的设计。
智能家居系统与用户数据交互采用GSM系统,通过短信的方式实现。
家居设备之间的数据通信采用TCP/IP网络协议,建立三次握手机制,保证数据传输稳定可靠。
系统对WinCE系统内核进行裁剪定制,提高数据的处理能力。
在网关内设计开发用于WinCE系统的控制中心,即嵌入式服务端,实现硬件设备与软件系统数据握手通信。
计算机客户端的应用软件设计,即视频采集查阅软件,是基于Delphi可视化界面开发语言编写进行设计。
客户端应用软件用于异地及时通过视频画面掌握家居状态环境。
本课题基于嵌入式的智能家居系统的设计与实现,使用嵌入式平台作为核心控制器能够提高整个系统的稳定性,数据传输采用TCP/IP协议能够很好解决目前一些系统中存在的数据传输不稳定问题。
基于嵌入式的方式能够降低智能家居系统的成本,大大降低市场中由于智能家居价格较高无法普及现象,使智能家居能够走入普通百姓家中。
关键字:智能家居系统,物联网,嵌入式技术,WinCE系统,DelphiDesign and Implementation of Smart Home System Based onEmbedded SystemWith the constant progress of science and technology, Internet of things (IOT) technology develops by leaps and bounds. Smart home is one of the typical applications of IOT. Smart home system links home appliances and security equipment as a whole with the soul, implementing intelligent management and remote monitoring of the household equipment.In this project, the embedded platform adopts the WinCE operating system, and the hardware device uses an experiment box with Intel XScale270 core processor based on ARM10 architecture as the technical support. System design and implementation uses Keil, VS2005, and Delphi integrated development tools to edit and debug the codes. Software mainly covers the WinCE operating system function design of the hardware gateway device, platform server client software design of the embedded devices, the computer client application software design and the household appliance control bottom program design.Interaction of smart home system with the user uses GSM system with short message service. Data communications between household equipment adopts TCP/IP network protocol, setting up a three-way handshake mechanism, to ensure stable and reliable data transmission. The system truncates and customizes the WinCE system core to improve data processing ability. In the gateway, the control center for the WinCE system, namely embedded server, can be developed to realize the data communication between the hardware and software system. Computer client application software design, namely the video acquisition carried out based on Delphi visualization interface development language. The client application software is used in mastering the household environment timely by video images in the remote places. The design and implementation of intelligent Home Furnishing system based on embedded system, using the embedded platform as the core controller can improvethe stability of the whole system, data transmission using TCP/IP protocol can solve data transmission system exists the unstable problem. Embedded system can reduce the cost of smart home system, greatly reducing the market because of the high price of smart home can’t be universal phenomenon, so that smart home can go into the homes of ordinary people.Keywords:smart home system, IOT, embedded technology, WinCE system, Delphi目录第1章绪论 (1)1.1 研究背景及意义 (1)1.2 智能家居研究现状与发展 (3)1.2.1 智能家居国内外发展现状 (3)1.2.2 智能家居发展趋势 (4)1.3 本课题研究内容 (5)1.4 论文结构 (6)第2章系统设计方案 (8)2.1硬件总体设计框图 (8)2.2控制核心选择 (10)2.3家电控制板 (11)2.3.1串行端口电路 (12)2.3.2家电控制电路 (14)2.3.3传感器接口电路 (15)2.4 GSM通信模块 (15)2.5视频监控模块 (16)2.6总体软件设计方案 (17)2.7本章小结 (18)第3章操作系统的定制 (19)3.1 BSP的安装 (19)3.2添加平台特征和配置平台 (20)3.3串口部分设置与调试 (22)3.4操作系统的生成与下载 (24)3.5本章小结 (24)第4章应用软件设计 (26)4.1应用程序编写环境 (26)4.2智能家居人机接口设计 (26)4.3串口通信功能设计 (30)4.3.1串口通信协议 (30)4.3.2软件的实现 (31)4.3.2.1打开串口与配置串口 (32)4.3.2.2关闭串口 (35)4.3.2.3串口读线程 (36)4.3.2.4串口实现数据的写入 (37)4.3.2.5串口类的调用 (38)4.3.2.6串口的监听 (38)4.4 GSM无线数据传输模块 (39)4.4.1 GSM无线数据传输的基础 (39)4.4.1.1 PDU编码规则 (39)4.4.1.2 AT指令 (41)4.4.2 软件的实现 (42)4.4.2.1 PDU编码解码 (42)4.4.2.2 CEncode类成员函数详解 (44)4.4.2.3 收发短信 (53)4.5 图像采集模块 (55)4.5.1 摄像头驱动程序 (55)4.5.2 视频捕捉和视频信息传送 (56)4.6 以太网通信模块 (57)4.6.1 TCP/IP协议 (57)4.6.2 软件实现 (58)4.7 客户端视频监控软件 (61)4.8 家电控制及传感器模块 (63)4.8.1 单片机串口使用及参数设置 (63)4.8.2 串口通信的自定义约定 (64)4.8.3 单片机程序流程 (65)4.8.4 ARM端控制和报警流程 (68)4.9本章小结 (68)第5章系统测试 (70)5.1测试环境 (70)5.2 测试步骤 (70)5.3本章小结 (75)第6章总结与展望 (77)6.1本文的总结 (77)6.2 对本课题前景的展望 (78)参考文献 (79)作者简介及在学期间所取得的科研成果 (82)致谢 (83)第1章 绪论1.1 研究背景及意义我国伴随经济化建设的步伐持续加快与深入,中国百姓生活逐渐面向全面小康化方向前进,使得寻常百姓生活质量也随之提升一个层次。
基于人工智能的智能家居系统随着科技的不断发展,人工智能逐渐融入我们的日常生活。
智能家居系统作为其中的一种应用,为家庭提供了更加便捷、舒适和智能化的生活体验。
本文将重点探讨基于人工智能的智能家居系统的原理、功能和应用。
一、智能家居系统的基本原理智能家居系统基于人工智能技术,利用各类传感器、无线通信和智能控制设备,将家庭中的各种设备、家电以及环境进行连接,并通过自学习和智能分析,使得家庭设备能够智能化地感知环境、提供智能化的服务。
二、智能家居系统的功能智能家居系统具备多种功能,能够满足家庭生活中的各种需求。
以下是几个典型的功能:1. 家居安全:智能家居系统可以通过安装安全摄像头、门窗传感器等设备,实时监控家庭的安全状况并提供提醒与报警服务。
当家中有可疑人员进入时,系统可自动启动警报,并将监测视频发送到用户手机上。
2. 室内环境控制:系统通过感应器可以实时监测室内温度、湿度、光线等参数,并自动调节空调、加湿器、灯光等设备,以保持室内环境的舒适度。
3. 节能管理:智能家居系统可以通过感应器感知家庭成员的活动情况,根据实际需求智能地控制电灯、电器等设备的开关,实现智能节能管理。
4. 远程控制:通过智能手机APP或者网络,用户可以随时随地远程控制家庭设备,如开关灯、调整空调温度、启动洗衣机等,实现家居设备的远程智能控制。
5. 健康监护:智能家居系统可以通过人体传感器、睡眠监测器等装置,实时监测家庭成员的健康指标,如心率、睡眠质量等,并通过智能算法提供相应的健康建议。
三、智能家居的应用案例智能家居系统在各种生活场景中都有广泛的应用,以下是几个典型的应用案例:1. 智能安防系统:智能家居系统可以通过智能摄像头、门窗传感器、烟雾报警器等设备实现家庭安防的智能化管理,提供全天候的安全保护。
2. 智能照明系统:智能家居系统通过感应器自动感知房间内的人体活动,并根据光线条件自动调节灯光的亮度和颜色,提供舒适的照明环境。
基于机器人技术的智能家居系统设计智能家居系统正在迅速发展,为家庭生活带来了便利和舒适。
基于机器人技术的智能家居系统是其中的一种创新应用,通过将机器人技术与家居系统相结合,实现了更加智能化的家居体验。
本文将探讨基于机器人技术的智能家居系统的设计原理、功能以及在日常生活中的应用。
首先,基于机器人技术的智能家居系统的设计原理是将机器人作为智能家居的核心控制中心,以实现各种智能家居设备的联动与控制。
通过使用传感器技术,机器人可以感知家居环境的变化并作出相应的决策。
例如,当机器人感知到室内温度过高时,它可以主动控制空调打开并调整温度到舒适的水平。
同时,机器人还能自动控制家居设备的开关,定时运行家电设备,实现智能化的能源管理。
其次,基于机器人技术的智能家居系统具有多样化的功能。
首先,它具备语音交互功能,可以根据用户的指令执行相应的任务。
用户可以通过语音命令机器人开关灯光、调整窗帘、播放音乐等。
其次,基于机器人技术的智能家居系统还可以进行人脸识别,实现个性化的用户体验。
通过识别用户的脸部特征,机器人可以根据用户的偏好调整家居设备的设置,如调整电视频道、选择喜欢的音乐等。
此外,基于机器人技术的智能家居系统还可以监测家庭成员的活动轨迹和健康状况,为家庭成员提供安全保障和健康指导。
基于机器人技术的智能家居系统在日常生活中有着广泛的应用。
首先,它可以提高家庭生活的便利性和舒适度。
通过机器人智能控制家居设备,用户不再需要手动操作,能够更加轻松地控制家电设备,享受智能家居带来的便捷。
例如,当用户上班时,机器人可以根据定时设置自动关闭灯光、关闭电视等,节省能源同时提高安全性。
其次,基于机器人技术的智能家居系统还可以为老年人和行动不便的人提供更好的照顾与服务。
机器人可以监测老人的行为,提供警报和安全提示;同时可以提供紧急呼叫功能,如有突发情况可以帮助老人与家人联系。
此外,机器人还可以帮助老人完成一些日常生活的任务,如为其端茶倒水、提供陪伴等。
基于视觉传感器的智能家居系统设计随着科技的不断发展,我们的生活也越来越智能化、便利化。
智能家居系统作为智能家居的核心,具有方便、快捷、实用等优点。
而基于视觉传感器的智能家居系统的出现,更是为我们带来了更为便利、安全的智能家居生活体验。
一、智能家居介绍智能家居是利用各种智能家电、智能设备、物联网技术等,通过互联网连接控制中心实现家庭设备联网,实现家庭自动化控制,使人们能够更方便、快捷地管理家庭设施,给人们带来更好的用电、娱乐、安全等各个方面的生活体验。
二、视觉传感器介绍视觉传感器可以通过获取影像信息,提取出空间位置、方向以及其他有用的信息,掌握环境状况,从而实现自主控制和指令判断。
同时,视觉传感器的灵敏度也很高,可以在较小的范围内,准确获取物体的信息,实现对于物品的具体控制,使得各种智能家居设备之间的互动和协作更多样化、精准化。
三、基于视觉传感器的智能家居系统的构成基于视觉传感器的智能家居系统主要由三部分构成:传感器下位机、云端服务器以及手机客户端。
其中,传感器下位机需要挂载在家庭设备上,用来采集物体信息,并将信息上传至云端服务器,再由手机客户端实现对家庭设备的控制和操作。
四、基于视觉传感器的智能家居设备案例1、智能家居安防设备基于视觉传感器的智能家居安防设备,可以通过安装在门口及窗户上的传感器,对家庭安全进行实时监测。
当有异常情况发生时,如门窗被撬、破坏等,系统会自动报警,并在手机上提醒用户,实现安全保障。
同时,该设备还能通过识别家庭成员,实现门锁的自动开锁与关锁等功能,让家庭的出入更为便捷。
2、智能家居照明设备基于视觉传感器的智能家居照明设备,可以通过通过检测室内的光线和人体活动情况,自动调节灯光亮度和开关。
当人走进房间时,系统能够识别并自动开启灯光,当人离开房间时,系统能够自动关闭灯光,实现了智能化的灯光控制。
3、智能家居娱乐设备基于视觉传感器的智能家居娱乐设备,如智能音响、智能电视等,可以通过语音识别和手势识别等技术,实现对智能家居娱乐设备的控制。
红外发射器彩色CMOS红外CMOS
麦克风马达
图1 Kinect结构图
Kinect的CMOS红外传感器具有获取视场里的三维深度信息的功能,三维传感器可以对待检测区域反射的激光散斑图像产生反应,从而实时采集相应信息,这些信息再通过内部芯片处理,即可得到与整个视场对应的“深度场
进而可以对人体上的20个节点进行追踪。
Kinect
麦克风不止一个,而是一个四元麦克风组,不仅可以消除噪音和回波,并且在和Microsoft Speech的语音识别API
获得彩色图像信息、深度信息和语音信息人体跟踪
定位模块
手臂姿势识别动作任务识别微小手势识别计算机编程处理模块
通信串口
单片机
控制模块
声音处理模块
图3 Kinect工作流程图
3.1 动作模型
为了实现对家居的智能控制,首先需要对各种家居的手势识别和语音识别指令进行个性化定义[6]。
如表2所示。
表2智能家居操控
控制对象操作
指令
语音手势
窗帘打开
关闭
Open the curtain
Close the curtain
左手掐腰,右手往下划
左手掐腰,右手往上划
电视打开
关闭
Open the TV
Close the TV
右手掐腰,左手往下划
右手侧平举,左手往上划
灯
打开
关闭
Openthelamps
Close thelamps
双手举起
双手叉腰
目前,动作模型的定义还比较死板,难以大量记忆,但
43
2017.10。
Kinect原理详解1. 简介Kinect是由微软公司开发的一款基于深度摄像头和红外线传感器的体感控制设备。
它能够通过捕捉玩家的动作和声音,实现与游戏、虚拟现实等应用的交互。
Kinect 的原理涉及到深度感知、运动追踪和声音识别等多个方面。
2. 深度感知原理Kinect的深度感知能力是通过红外线投影和红外线摄像头来实现的。
在Kinect设备上,有一个红外线发射器和一个红外线摄像头。
红外线发射器会发射一束不可见的红外线光束,并覆盖整个场景。
当这些红外线光束照射到物体表面时,一部分光会被物体吸收,另一部分光会被反射回来。
红外线摄像头能够接收到这些反射回来的光,并将其转换成电信号。
根据物体与Kinect之间的距离,反射回来的光强会有所不同。
通过测量反射光强度,Kinect可以计算出物体与其之间的距离。
这样就实现了对场景中物体的深度感知。
3. 运动追踪原理Kinect的运动追踪能力是通过红外线摄像头和RGB摄像头的配合来实现的。
红外线摄像头主要用于捕捉玩家的骨骼信息,而RGB摄像头则用于捕捉玩家的图像。
在运动追踪过程中,红外线摄像头会将场景中的人体轮廓提取出来,并识别出骨骼关节。
这些骨骼关节包括头部、颈部、肩部、手臂、手掌、腿部等。
通过对骨骼关节的跟踪,Kinect可以实时获取玩家的姿势和动作信息。
例如,当玩家抬起手臂时,Kinect能够识别出这一动作,并将其转换成相应的指令,用于控制游戏或其他应用。
4. 声音识别原理Kinect还具备声音识别功能。
它内置了多个麦克风阵列,可以接收到环境中的声音信号,并对其进行处理和分析。
声音信号在进入麦克风阵列后,会经过一系列的处理步骤,包括噪声消除、语音增强和语音识别等。
通过这些处理,Kinect能够准确地识别出玩家的语音指令。
Kinect支持多种语音指令,玩家可以通过语音来控制游戏、播放音乐、搜索内容等。
声音识别的原理主要是基于模式匹配和机器学习算法,通过对大量训练数据进行学习和分析,提高了声音识别的准确性和稳定性。
基于Kinect的智能家居系统作者:郭哲陈培涛胡孟凯薛媛博韩先锋来源:《现代电子技术》2016年第18期摘要:针对传统基于物联网技术的智能家居系统用户参与感不强、无法进行自定义手势操控等问题,设计一套基于Kinect的智能家庭管理系统。
通过深度传感器得到彩色数据流、深度数据流以及骨骼数据流,从而获取人体的动作轨迹,并自定义手势操控方式来实现家居的智能控制。
由于深度数据对光照和背景干扰等因素有较强的鲁棒性,提高了手势及轨迹识别的准确性和可靠性。
在明暗两种光照条件下,对该文定义的4种手臂姿势、3种动作任务和5种微小手势的识别实验表明,该文设计的系统能够满足智能家居的基本需求。
关键词: Kinect;深度传感器;手势识别;智能家居系统中图分类号: TN915⁃34; TP391 文献标识码: A 文章编号: 1004⁃373X(2016)18⁃0149⁃04Abstract: Since the traditional smart home system based on Internet of Things technology has the poor user participation,and can’t perform the user⁃defined gesture control, a smart home management system based on Kinect was designed. The color data flow, depth data flow and skeleton data flow are got by means of the depth transducer, so as to obtain the movement track of human behavior. The gesture control pattern is self⁃defined to realize the home smart control. The depth data has strong robustness for light and background disturbance, which can improve the accuracy and reliability of gesture and track recognition. The defined four arm gestures, three movement missions and five tiny hand gestures were recognized in the experiments at the bright and dark lighting conditions. The results show that the designed system can satisfy the basic demand of smart home.Keywords: Kinect; depth sensor; gesture recognition; smart home system0 引言自21世紀初,智能家居在欧美国家发展迅速,而在中国,智能家居尚处于萌芽期,目前仍处于基本模型的探索阶段[1]。
现有的智能家居系统主要有基于物联网的智能家居[2⁃3]和基于移动互联网的智能家居[4]系统。
总的来说,智能家居系统的研究已经有了很多突破性成果,但是还尚未成熟,在基于视觉的人体姿态识别和声音识别来控制家居系统的正确率方面尚不令人满意。
Kinect具有感知外界的CMOS红外传感器以及可与用户交流的音频系统[5]。
CMOS红外传感器通过黑白光谱的方式来感知世界,并实时再现环境,完成体感识别,使人类摆脱遥控器等常用的控制装置。
音频系统可以识别人类发出的声音指令,从而实现对系统的控制。
以上两种方式丰富了智能家居系统信息识别的方式,使得系统更加完善,更加人性化。
基于Kinect在人体姿态识别和声音识别的出色表现,本文将Kinect应用于智能家居系统,通过Kinect提供的彩色数据流、深度数据流以及骨骼数据流,获取人体的动作轨迹及手势,通过程序解算获得其含义并产生相应的指令,将该指令通过串口传递至RZ⁃51单片机,进而由单片机控制家居系统。
本文所设计的系统弥补了传统的基于可见光图像处理的方式在手势识别时易受光照、背景干扰等因素影响的缺陷,提高了手势及轨迹识别的准确性和可靠性。
实验结果表明,该系统能识别预定的4种手臂姿势、3种动作任务和5种微小手势,并能准确遥控家居系统。
1 系统框架设计本文设计的智能家居系统由人体跟踪定位模块、声音采集处理模块、计算机编程处理模块和单片机控制模块4部分组成,其整体系统设计框架如图1所示。
其中,前两个模块由Kinect 自带的CMOS红外传感器和音频系统来完成,并将获得的信息通过USB接口传递给计算机。
CMOS红外传感器可以对人体的48个部位进行实时追踪,还可以识别出完整的RGB色彩,用于对采集图像进行视觉处理[6]。
声音采集处理模块中的Kinect 阵列技术基于噪声消除、回波抑制和波束成形技术来屏蔽环境噪声。
在实际开发时,通过处理Kinect 获取的音频数据流来记录语音并监视语音波束角度的变化[5]。
在计算机编程处理模块对Kinect提供的信息进行处理。
对于视觉图像,可以通过反投影直方图比对等算法获得其中蕴含的信息[6]。
然后根据这些信息产生相应的指令,利用串口通信方式将信息传递至单片机[7]。
单片机在接收到指令后,与硬件电路结合产生响应,控制家居设施(如电视机、电风扇、空调等)的工作状态。
比如,电风扇的转与停,电灯、空调的开与关等。
2 基于Kinect的手势识别2.1 手臂姿势识别通过Kinect提供的骨骼数据流,可以实时获取人的骨骼信息,如关节坐标等。
设定头的位置为坐标原点[X0,Y0],左手的坐标为[Xlh,Ylh],分别设定不同手势下[X0]与[Xlh],[Y0]与[Ylh]之间的坐标差阈值,当实时监测到的手与头的坐标差达到某一阈值时,即满足预设手势要求,给出手势识别结果。
由此可以设定Kinect所识别的人体的48个骨骼节点坐标,来完成对不同手势以及不同姿势的识别要求。
2.2 动作捕获在实际应用过程中,可以利用Kinect提供的彩色数据流、深度数据流以及骨骼数据流,获取人体的动作轨迹,对轨迹进行定义,用于给单片机发送相应的指令,控制家居设施的工作状态。
基于2.1节设定的四个手臂姿势的判别依据,将动作轨迹规定如下:当识别到一个特定手势后进入下一个预设的手势识别,当依次达到所设定手势后,即完成一次动作任务。
如图3所示,当识别左手向下45°手势后,进入左手平放0°手势识别,之后进行左手向上20°手势识别,最后到左手向上45°手势识别,最终完成一个动作捕获过程,并认定该动作为左手向上45°。
类似的,一共定义了左手向上45°动作任务、左手向上24°动作任务和左手平放0°动作任务。
2.3 微小手势识别除了定义一个动作任务来完成对家居设施工作状态的控制外,本文还进一步研究了微小手势的识别,能够实现对单手伸出1~5根手指的5种微小手势进行识别。
对彩色数据流进行处理,将图像从RGB色彩空间转换到HSV空间,减小环境亮度对识别的影响,然后设定阈值对手掌部分进行二值化筛选。
效果如图4所示。
3 实验结果与分析在本文设计的智能家居系统中,人体跟踪定位模块中的手势识别、动作捕获和微小手势识别的正确率决定了对家居设施工作状态的控制正确率。
为了测试本文提出的手势识别、动作捕获和微小手势识别方法对光照和复杂背景的鲁棒性,实验在明亮、昏暗两种光照条件和单一背景(实验室白墙背景)、复杂背景(真实家居环境下包含不同家具、电器等背景)两种环境下进行测试,分别测试20个人的4种手臂姿势、3种动作捕獲任务和5种微小手势的识别正确率,实验结果如表1~表4所示。
由表1~表3的实验结果可知,本文提出的手臂姿势识别、动作捕获和微小手势识别方法对包含不同家具、电器等的复杂背景鲁棒性非常强,仅微小手势中的4根手指和5根手指两个手势在复杂背景下识别正确率为90%和95%,其他手势均为100%。
由实验结果可以看出,目前提出的算法对于复杂背景下的智能家居控制非常有效,能够准确地控制家居电器的工作状态。
还给出了单一背景视频下,明亮和昏暗两种不同的光照下,3类不同姿势的平均识别结果,如表4所示。
由结果可知,由于本文采用深度数据,对光照有着较强的鲁棒性,因此不论光照如何变化,都能够准备识别动作。
图6给出了光照变化下,基于动作任务左手向上45°捕获识别控制风扇工作状态的结果。
两种光照下均能正确控制风扇的工作状态。
4 结语本文设计了一种基于Kinect的智能家居系统,详细介绍了系统的框架与识别方式。
不同于其他智能家居系统,本系统将Kinect应用到家居系统中,通过采集人体的彩色数据流、深度数据流以及骨骼数据流,并设计不同的手臂姿势、动作任务和微小手势来遥控家电。
本文方法由于使用深度数据,弥补了传统的基于可见光图像处理的方式在手势识别时易受光照、背景干扰等因素影响的缺陷,提高了手势及轨迹识别的准确性和可靠性。
经过实验验证,在光照变化下均能够准确操控家居系统。
参考文献[1] 申斌,张桂青,汪明,等.基于物联网的智能家居设计与实现[J].自动化与仪表,2013,28(2):6⁃10.[2] 童晓渝,房秉毅,张云勇.物联网智能家居发展分析[J].移动通信,2010,34(9):16⁃20.[3] 苏本跃,王广军,章健.基于物联网环境下体感交互技术的智能家居系统[J].中南大学学报(自然科学版),2013,44(z1):181⁃184.[4] 邵鹏飞,王喆,张宝儒.面向移动互联网的智能家居系统研究[J].计算机测量与控制,2012,20(2):474⁃476.[5] 杨文超,吴亚东,赵思蕊,等.智慧家庭管家设计与实现[J].微型机与应用,2015,34(11):64⁃68.[6] 吴文斌,李斌,阎骥洲. Kinect人机交互开发实践[D].北京:人民邮电出版社,2013.[7] 郑方磊,夏春蕾,戴曙光.基于单片机的家庭多功能监控系统的设计[J].信息技术,2014(7):66⁃69.[8] 许艳旭,张琦,武霞.基于OpenCV的实时手势识别算法[J].信息技术,2013(4):99⁃102.。