【CN109977834A】从深度图像中分割人手与交互物体的方法和装置【专利】
- 格式:pdf
- 大小:782.53 KB
- 文档页数:13
专利名称:一种手势交互方法、装置及终端设备
专利类型:发明专利
发明人:田华健,黄德志,叶幸元,崔擎誉,高述超,陈晓晓申请号:CN201910881606.3
申请日:20190918
公开号:CN110531864A
公开日:
20191203
专利内容由知识产权出版社提供
摘要:本申请实施例提供了一种手势交互方法和装置,该方法应用于具有折叠屏的终端设备,所述终端设备的折叠屏在折叠状态下包括第一触控显示区域、第二触控显示区域和第三触控显示区域;所述第三触控显示区域在所述第一触控显示区域和所述第二触控显示区域之间;所述方法包括确定所述第一触控显示区域和所述第二触控显示区域所形成的夹角的角度值小于设定的角度值;获取作用于所述第三触控显示区域的输入事件;响应于所述输入事件,触发所述终端设备执行所述输入事件对应的操作指令。
该方法可以响应作用于终端设备的折叠屏的折叠区域的手势操作,有利于丰富终端设备的功能,提升终端设备的操作体验。
申请人:华为技术有限公司
地址:518129 广东省深圳市龙岗区坂田华为总部办公楼
国籍:CN
代理机构:广州三环专利商标代理有限公司
更多信息请下载全文后查看。
专利名称:基于深度图像的利用MeanShift算法进行手部区域分割的方法
专利类型:发明专利
发明人:邹耀,应忍冬,金柯,马燕辉,鄢青山
申请号:CN201710471608.6
申请日:20170620
公开号:CN107341811A
公开日:
20171110
专利内容由知识产权出版社提供
摘要:本发明公开的基于深度图像的利用MeanShift算法进行手部区域分割的方法,包括以下步骤:1、读取深度图像;2、对深度图像进行预处理并初步提取包含冗余轮廓的手部区域;3、在初步提取得到的手部区域中选取初始迭代点并计算迭代半径;4、利用MeanShift算法对初始迭代点和迭代半径进行迭代运算,获取最接近手掌区域的圆形区域;5、根据最接近手掌区域的圆形区域将初步提取到的手部区域上的冗余轮廓剔除,更新得到精确的手部区域轮廓。
本发明利用MeanShift算法进行手部区域分割的方法可以有效去除手臂等其他冗余轮廓信息,为后续的特征提取、分类学习等步骤的提供更为准确的输入数据源,提高最终手势识别和交互系统的稳定性和准确性。
申请人:上海数迹智能科技有限公司
地址:201702 上海市青浦区徐泾镇双联路158号2层E区326室
国籍:CN
代理机构:上海天翔知识产权代理有限公司
代理人:陈骏键
更多信息请下载全文后查看。
专利名称:基于深度学习人物图像自动分割方法、信息数据处理终端
专利类型:发明专利
发明人:杨刚,李肖,师夏珍
申请号:CN201910144508.1
申请日:20190227
公开号:CN110008832A
公开日:
20190712
专利内容由知识产权出版社提供
摘要:本发明属于图像处理技术领域,公开了一种基于深度学习人物图像自动分割方法、信息数据处理终端;收集人物图片,形成训练数据集合;构建第一级图像语义分割的深度神经网络模型;将收集到的训练数据集输入第一级深度神经网络,生成trimap;构建第二级深度神经网络模型;将收集到的训练数据集及得到的trimap一起输入第二级深度神经网络,生成分割好的人物掩码图片;将人物掩码图片与人物原图合成,得到分割好的人物图片。
本发明根据人物图像的特征,自动将人物图像的人物和图像背景分割开;自动对图像中人物进行筛选,结合人物特征,分离人物和背景图片;可用于人物自动化抠图方面,也可用于人物照片背景替换、背景模糊对背景的处理。
申请人:西安电子科技大学
地址:710071 陕西省西安市太白南路2号西安电子科技大学
国籍:CN
代理机构:西安长和专利代理有限公司
代理人:黄伟洪
更多信息请下载全文后查看。
一种多目标交互式图像分割方法和装置技术领域本发明涉及图像处理领域,尤其涉及一种多目标交互式图像分割方法和装置。
背景技术图像分割是将图像分成一些有意义的区域,然后对这些区域进行描述,相当于提取出某些目标区域图像的特征,判断图像中是否有感兴趣的目标。
图像分割的基础是像素间的相似性和跳变性。
所谓“相似性”是指在某个区域内像素具有某种相似的特性,如灰度一样,纹理相同;所谓“跳变性”是指特性不连续,如灰度值突变等。
图像分割的方法有多种,按照是否需要人工参与分割过程,分为交互式分割和自动分割。
自动分割由于现阶段存在的目标图像种类、制式差异性较大,在通用性、特异性分割的矛盾中,难以取得通用符合实际的分割结果,适用范围有限。
交互的半自动分割能更好地结合人的经验知识和计算机自动处理,应对复杂目标的分割处理,是目标检测、识别、跟踪等的必要技术。
目前,现有的交互分割方法按照原理分为基于边界检测的方法和基于区域相似性合并的方法。
其中,基于边界检测的交互分割方法一般是根据交互输入点,不断寻找其领域灰度跳变的像素组成边界,闭合边界围城的区域则认为为同一目标。
这种方法的缺点在于,只关注边界信息,求得封闭曲线边界,而造成边界内区域的像素差异性较大,常常错误分割,使目标图像的整体性遭到破坏。
基于区域相似性合并的方法包括区域生长、聚类等算法,通过不同的相似度计算规则来判别当前像素是否纳入目标区域,不断遍历交互点所在区域直到所有的点合并完成。
这种方法的复杂度较高,图像分割效率低下,需要多次遍历图像数据,更新目标的存储区域,难以实现多目标分割及管理。
发明内容本发明解决的问题是提供一种多目标交互式图像分割方法和装置,不仅能够保证目标区域的可靠分割,还能实现交互式的多目标联合分割和管理。
为了解决上述问题,本发明提供了一种多目标交互式图像分割方法,包括如下步骤:(1)输入待分割图像,并建立所述待分割图像的副本图像;(2)在所述待分割图像中选取交互种子点,根据所述交互种子点和初始设定的相似性规则,在所述副本图像中,确定目标区域灰度区间;其中,所述交互种子点为所述待分割图像上选取的目标像素点;(3)根据所述待分割图像的灰度直方图曲线,得到全局阈值,并根据所述目标区域灰度区间和所述全局阈值的关系,分割所述副本图像;(4)根据所述交互种子点,对所述交互种子点所在的目标区域进行连通分析,得到所述交互种子点所在的目标区域的模板;(5)重复步骤(2)-(4),得到所需分割的多目标模板,并根据所述多目标模板,对所述待分割图像进行填充,即完成对所述待分割图像的多目标分割。
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910207311.8
(22)申请日 2019.03.19
(71)申请人 清华大学
地址 100084 北京市海淀区清华园
(72)发明人 徐枫 薄子豪 雍俊海
(74)专利代理机构 北京清亦华知识产权代理事
务所(普通合伙) 11201
代理人 张润
(51)Int.Cl.
G06K 9/00(2006.01)
G06K 9/34(2006.01)
(54)发明名称
从深度图像中分割人手与交互物体的方法
和装置
(57)摘要
本申请提出一种从深度图像中分割人手与
交互物体的方法和装置,其中,方法包括:利用基
于颜色图像的分割方法,构建基于深度图像的人
手分割数据集;利用基于深度图像的人手分割数
据集,训练得到分割模型,分割模型由编码器、注
意力传递模型和解码器构成;利用分割模型对待
处理的深度图像进行分割,获取与待处理的深度
图像对应的分类标签图,分类标签图中每个像素
点的值为每个像素点的类型值。
该方法利用基于
深度图像的人手分割数据集通过训练得到的分
割模型,利用分割模型对待处理的深度图像进行
分割,实现了像素级别的人手与物体分割,提高
了环境鲁棒性,分割精度较高、能够处理复杂交
互情形下的人手与物体分割的情况。
权利要求书2页 说明书7页 附图3页CN 109977834 A 2019.07.05
C N 109977834
A
权 利 要 求 书1/2页CN 109977834 A
1.一种从深度图像中分割人手与交互物体的方法,其特征在于,包括:
利用基于颜色图像的分割方法,构建基于深度图像的人手分割数据集;
利用所述基于深度图像的人手分割数据集,训练得到分割模型,所述分割模型由编码器、注意力传递模型和解码器构成;
利用所述分割模型对待处理的深度图像进行分割,获取与所述待处理的深度图像对应的分类标签图,所述分类标签图中每个像素点的值为所述每个像素点的类型值,所述类型值用于表征像素点在所述待处理的深度图像中所属的类型。
2.如权利要求1所述的方法,其特征在于,所述利用基于颜色图像的分割方法,构建基于深度图像的人手分割数据集,包括:
获取人手与物体交互情景下,多对彩色图像和深度图像;
对所有彩色图像进行基于HSV颜色空间的物体分割,获取每张彩色图像中每个像素点的类型值;
针对每对彩色图像和深度图像,将所述彩色图像中每个像素点,映射到所述深度图像中对应像素点,构建基于深度图像的人手分割训练数据集。
3.如权利要求2所述的方法,其特征在于,所述将所述彩色图像中每个像素点,映射到深度图像中对应像素点之后,还包括:
对所述深度图像进行预处理,包括噪声和背景去除。
4.如权利要求2所述的方法,其特征在于,所述基于深度图像的人手分割数据集包括训练数据集和测试数据集,所述利用所述基于深度图像的人手分割数据集,训练分割模型,包括:
利用所述训练数据集,对初始神经网络模型进行训练,并计算第一损失函数,其中,第一损失函数采用softmax交叉熵损失函数;
当第一损失函数的值不再下降时,使用轮廓误差作为损失函数继续训练。
5.如权利要求4所述的方法,其特征在于,所述利用所述训练数据集,训练所述分割模型之前,还包括:
对所述训练数据集进行数据增广操作,所述数据增广操作包括自由旋转深度图像、加入随机噪声、随机翻转深度图像中的至少一种。
6.一种从深度图像中分割人手与交互物体的装置,其特征在于,包括:
构建模块,用于利用基于颜色图像的分割方法,构建基于深度图像的人手分割数据集;
训练模块,用于利用所述基于深度图像的人手分割数据集,训练得到分割模型,所述分割模型由编码器、注意力传递模型和解码器构成;
识别模块,用于利用所述分割模型对待处理的深度图像进行分割,获取与所述待处理的深度图像对应的分类标签图,所述分类标签图中每个像素点的值为所述每个像素点的类型值,所述类型值用于表征像素点在所述待处理的深度图像中所属的类型。
7.如权利要求6所述的装置,其特征在于,所述构建模块具体用于:
获取人手与物体交互情景下,多对彩色图像和深度图像;
对所有彩色图像进行基于HSV颜色空间的物体分割,获取每张彩色图像中每个像素点的类型值;
针对每对彩色图像和深度图像,将所述彩色图像中每个像素点,映射到所述深度图像
2。