图片简介:
本技术介绍了一种基于多特征的面谈内容可信度评价方法和系统。该方法包括：实时采集参与面谈者的面谈音视频数据，通过组合算法处理从中实时提取出生理特征、微表情特征和语音特征，并运用多模态融合策略融合成特征向量，输入可信度分类预测模型，实时得出面谈内容可信度等级进行显示和提醒，最后整合面谈中参与面谈者各时段的面谈内容可信度等级得出其面谈总体的可信度评价。该系统主要包括：数据采集单元、数据分析处理单元、数据模型构建单元、输出显示单元和数据存储单元。本技术采用非接触式测试评价方式，能有效避免或减少参与面谈者的应激反应，且采用多特征融合策略，分类预测模型兼顾部分特征缺失的情境，可有效提高可信度评价的真实性和可靠性。
技术要求
1.一种基于多特征的面谈内容可信度评价方法，其特征在于，包括以下步骤：
S1、采集参与面谈者的面谈音视频数据，从中实时提取和识别有效的序列帧图像和语音信号；
所述有效的序列帧图像和被语音信号分别满足参与面谈者人脸图像和语音信号提取条件；
S2、从有效的序列帧图像和语音数据中实时提取出IPPG信号、面部关键点运动信号和语音时域采样信号；
S3、分别对相同时域长度的IPPG信号、面部关键点运动信号和语音时域采样信号进行实时的信号预处理和特征参数提取的组合算法处理，提取出生理特征、微表情特征和语音特征；
S4、运用多模态融合策略将生理特征、微表情特征和语音特征进行融合，获得特征向量；
S5、将特征向量输出至可信度分类预测模型，得出当前面谈者面谈可信度等级，进行实时显示，在可信度低于设定值时进行提醒，并对出现该情况的面谈音视频时段进行标记；
S6、综合整个面谈过程中参与面谈者各时段的面谈内容可信度等级得出其整个面谈的可信度评价。
2.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，所述IPPG信号由人脸感兴趣区域（ROI）的不同颜色通道的灰度均值数据构成，提取期间包含了参与面谈者人脸检测、追踪、角度偏转、ROI选区和图像颜色信号增强等组合处理流程；所述面部关键点运动信号由相邻帧的人脸关键点之间在垂直和水平方向的距离变化值构成，提取期间包含了参与面谈者人脸检测、追踪、角度偏转和关键点标定等组合处理流程；所述语音时域采样信号由时域连续语音信号经过离散采样量化后的时域采样点值构成。
3.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，所述信号预处理包含了信号缺失值处理、增强、降噪等一系列组合算法处理。
4.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，所述生理特征包含心率、呼吸频率、血压、精神性出汗率和部分脉搏波特征参数；所述微表情特征是指人脸局部区域的肌肉运动，比如皱眉、皱鼻、嘴角拉升等；所述语音特征包含短时能量、短时过零率、基音频率、基音周期、共振峰频率、计盒维数、MFCC和PLP参数等时频域特征参数。
5.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，所述多模态融合策略可以是各特征长度归一化后级联拼接、基于稀疏核降秩回归或其他的特征级融合方法，且在融合过程中，以同一时域长度数据为运算基础的生理特征、微表情特征和语音特征，容许其中任意一类或两类特征的数据缺失。
6.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，参与面谈者的各类特征数据会自动存入样本数据库，用于可信度分类预测模型的完善。
7.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，该方法不仅仅适用于当面面谈情境，能进行实时评价，还适用于远程面谈情境，也能对已录制的非实时性的面谈音视频进行分析。
8.根据权利要求1所述的一种基于多特征的面谈内容可信度评价方法，其特征还在于，该方法可适用于面试、谈判、审讯、绩效面谈、教育改造谈话等多种应用情境，但不仅限于这些面谈情境，并可以根据实际应用情境灵活调整、拓展和改进基于多特征的评价方法。
9.一种基于多特征的面谈内容可信度评价系统，其特征在于，其主要组成包括：数据采集单元、数据分析处理单元、数据模型构建单元、输出显示单元和数据存储单元；
所述数据采集单元用于采集参与面谈者音视频数据；
所述数据分析处理单元包括参与面谈者身份识别模块、信号提取模块、特征提取模块、特征融合模块和可信度评价模块；
所述参与面谈者身份识别模块包含人脸识别和声纹识别功能，主要用于辅助识别有效的序列帧图像和语音信号；所述信号提取模块用于从序列帧图像和语音信号中提取出IPPG信号、面部关键点运动信号和语音时域采样信号；所述特征提取模块用于通过组合算法从各类信号中进一步提取出生理特征、微表情特征和语音特征；所述特征融合单元用于将各类特征进行特征级融合，获取特征向量；所述可信度评价模块用于将特征向量输入可信度分类预测模型，依据模型进行分类决策，判定当前时间段的可信度等级，并且能综合参与面谈者各时段的面谈内容可信度等级计算出其整个面谈的可信度评价；
所述数据模型构建单元用于根据样本数据构建可信度分类预测模型，并能随着参与面谈者数据的积累，经过使用方的确认性标记，使得模型不断优化完善；
所述输出显示单元用于实时可信度评价结果的输出和显示，以及整体可信度评价结果的最终显示；
所述数据存储单元用于存储用于模型构建的样本数据，包括所有参与了面谈可信度评价的参与面谈者的数据。
10.根据权利要求9所述的一种基于多特征的面谈内容可信度评价系统，其特征还在于，还包括查询单元和参与面谈者管理单元；
所述查询单元，用于对参与面谈者面谈内容的可信度评价结果的查询；所述参与面谈者管理单元用于参与面谈者的个人信息登记、编辑、分组等管理。
技术说明书
一种基于多特征的面谈内容可信度评价方法和系统
技术领域
本技术涉及音视频信息处理技术领域，具体涉及一种基于多特征的面谈内容可信度评价方法和系统。
背景技术
在面试、谈判、审讯等目的性面谈过程中，参与面谈者出于达到自身目的的动机，比如争取更高的面谈得分、在谈判中获取更多的利益、推诿责任或逃避罪责等，可能会出现过分夸大、说谎、掩饰等违背事实的行为。目前国内外已有不少对于测谎的研究，并部分实现了在刑事侦查等特定领域中的应用，例如多道生理数据和脑电采集分析技术、微表情分析技术、语音分析技术等。其中多道生理数据采集分析技术最为常见，通过对心率、呼吸、血压、皮肤电阻等生理数据的采集分析来判断被测试者是否说谎，而脑电采集分析技术则是通过采集分析脑电波信号来实现测谎，这两者都利用接触式传感器固定于被测试者的特定部位进行测量，对测试环境、过程要求较高，容易引起被测试者的应激反应，同时被测试者也可能更加警觉而采取相应的干扰手段，从而严重影响测谎效果。微表情分析技术是对人脸表情进行识别分析，易受文化、种族和个体差异影响，也相对其他技术更容易进行伪装和掩饰。语音分析技术则是主要是通过声学特征和词汇特征分析进行测谎，后者会受语言习惯、表达方式差异的影响。以上测谎技术均有可取之处，但也各有不足，另外由于基本上都是单独应用，目前还没有成熟的融合策略和模型以进一步提高测谎准确率。
技术内容
本技术的目的在于提出一种基于多特征的面谈内容可信度评价方法和系统，实时采集或导入参与面谈者的面谈音视频数据，通过对音视频数据的组合算法处理和可信度分类预测模型判定，得出参与面谈者面谈内容实时可信度等级，并且可以综合整个面谈过程中参与面谈者各时段面谈内容的可信度等级得出其整个面谈的可信度评价，为面谈主持方提供评估依据。
为达成上述目的，本技术提出一种基于多特征的面谈内容可信度评价方法，具体包括以下步骤：
S1、采集参与面谈者的面谈音视频数据，从中实时提取和识别有效的序列帧图像和语音信号。
所述有效的序列帧图像和语音信号分别满足参与面谈者人脸图像和语音信号提取条件。
S2、从有效的序列帧图像和语音信号中实时提取出IPPG信号、面部关键点运动信号和语音时域采样信号。
所述IPPG信号由人脸感兴趣区域（ROI）的不同颜色通道的灰度均值数据构成，提取期间包含了参与面谈者人脸检测、追踪、角度偏转、ROI选区和图像颜色信号增强等组合处理流程。
所述面部关键点运动信号由相邻帧的人脸关键点之间在垂直和水平方向的距离变化值构成，提取期间包含了参与面谈者人脸检测、追踪、角度偏转和关键点标定等组合处理流程。
所述语音时域采样信号由时域连续语音信号经过离散采样量化后的时域采样点值构成。
S3、分别对相同时域长度的IPPG信号、面部关键点运动信号和语音时域采样信号进行实时的信号预处理和特征参数提取的组合算法处理，提取出生理特征、微表情特征和语音特征。
所述信号预处理包含了信号缺失值处理、增强、降噪等一系列组合算法处理。
所述生理特征包含心率、呼吸频率、血压、精神性出汗率和部分脉搏波特征参数。
所述微表情特征是指人脸局部区域的肌肉运动，比如皱眉、皱鼻、嘴角拉升等。
所述语音特征包含短时能量、短时过零率、基音频率、基音周期、共振峰频率、计盒维数、MFCC和PLP参数等时频域特征参数。
S4、运用多模态融合策略将生理特征、微表情特征和语音特征进行融合，获得特征向量。
所述多模态融合策略可以是各特征长度归一化后级联拼接、基于稀疏核降秩回归或其他的特征级融合方法，且在融合过程中，以同一时域长度数据为运算基础的生理特征、微表情特征和语音特征，容许其中任意一类或两类特征的数据缺失。
S5、将特征向量输出至可信度分类预测模型，得出当前参与面谈者面谈内容可信度等级，进行实时显示，在可信度低于设定值时进行提醒，并对出现该情况的面谈音视频时段进行标记。
所述可信度分类预测模型基于前期采集的出现过分夸大、说谎、掩饰等违背事实的行为时的人员的生理特征、微表情特征和语音特征的样本数据库进行构建，兼容任意一类或两类特征数据缺失的情况。
S6、综合整个面谈过程中参与面谈者各时段的面谈内容可信度等级得出其整个面谈的可信度评价。
进一步的，参与面谈者的各类特征数据会自动存入样本数据库，用于可信度分类预测模型的完善。
进一步的，一种基于多特征的面谈内容可信度评价方法不仅仅适用于当面面谈情境，能进行实时评价，还适用于远程面谈情境，也能对已录制的非实时性的面谈音视频进行分析。
进一步的，一种基于多特征的面谈内容可信度评价方法可适用于面试、谈判、审讯、绩效面谈、教育改造谈话等多种应用情境，但不仅限于这些面谈情境，并可以根据实际应用情境灵活调整、拓展和改进基于多特征的评价方法。
根据本技术，还提出一种基于多特征的面谈内容可信度评价系统，具体包括：数据采集单元、数据分析处理单元、数据模型构建单元、输出显示单元和数据存储单元。
所述数据采集单元用于采集参与面谈者音视频数据。
所述数据分析处理单元包括参与面谈者身份识别模块、信号提取模块、特征提取模块、特征融合模块和可信度评价模块。所述参与面谈者身份识别模块包含人脸识别和声纹识别功能，主要用于辅助识别有效的序列帧图像和语音信号；所述信号提取模块用于从序列帧图像和语音信号中提取出IPPG信号、面部关键点运动信号和语音时域采样信号；所述特征提取模块用于通过组合算法从各类信号中进一步提取出生理特征、微表情特征和语音特征；所述特征融合模块用于将各类特征进行特征级融合，获取特征向量；所述可信度评价模块用于将特征向量输入可信度分类预测模型，依据模型进行分类决策，判定当前时间段的可信度等级，并且能综合参与面谈者各时段的面谈内容可信度等级计算出其整个面谈的可信度评价。
所述数据模型构建单元用于根据样本数据构建可信度分类预测模型，并能随着参与面谈者数据的积累，经过使用方的确认性标记，使得模型不断优化完善。
所述输出显示单元用于实时可信度评价结果的输出和显示，以及整体可信度评价结果的最终显示。
所述数据存储单元用于存储模型构建的样本数据，包括所有参与了面谈可信度评价的参与面谈者的数据。
进一步地，一种基于多特征的面谈内容可信度评价系统，还包括查询单元和参与面谈者管理单元。所述查询单元，用于参与面谈者面谈内容的可信度评价结果的查询；所述参与面谈者管理单元用于参与面谈者的个人信息登记、编辑、分组等管理。
通过采用前述技术方案，本技术的有益效果是：采用非接触式测试评价方式，能有效避免或减少参与面谈者的应激反应，同时在一定程度上降低其警惕心理；采用多特征融合策略，且分类预测模型兼顾部分特征缺失的情境，可进一步降低其对测试评价进行反制、干扰的可能性，有效提高可信度评价的真实性和可靠性。
附图说明
以下结合附图对本技术作进一步详细的说明。
图1为本技术实施例提供的一种基于多特征的面谈内容可信度评价方法的流程示意图。
图2为本技术实施例提供的一种基于多特征的面谈内容可信度评价系统的结构示意图。
具体实施方式
为了更了解本技术的技术内容，特举具体实施例并配合所附图进行如下说明。
如图1所示，本技术提供了一种基于多特征的面谈内容可信度评价方法，具体包括以下步骤：
S1、采集参与面谈者的面谈音视频数据，从中实时提取和识别有效的序列帧图像和语音信号。
所述有效的序列帧图像和语音信号分别满足参与面谈者人脸图像和语音信号提取条件，具体例如有效的序列帧图像需要包含参与面谈者完整人脸图像，且要求人脸图像偏转角度小于设定值，同时对序列帧图像的连续性有所要求；有效的语音信号需要包含参与面谈者的语音信号，且能从环境噪声中被识别出来，同时也对语音信号的连续性有所要求。
S2、从有效的序列帧图像和语音信号中实时提取出IPPG信号、面部关键点运动信号和语音时域采样信号。
所述IPPG信号由人脸感兴趣区域（ROI）的不同颜色通道的灰度均值数据构成，提取期间包含了参与面谈者人脸检测、追踪、角度偏转、ROI选区和图像颜色信号增强等组合处理流程。
所述面部关键点运动信号由相邻帧的人脸关键点之间在垂直和水平方向的距离变化值构成，提取期间包含了参与面谈者人脸检测、追踪、角度偏转和关键点标定等组合处理流程，其中部分处理流程与IPPG信号提取流程相同，无需再单独进行处理。
所述语音时域采样信号由时域连续语音信号经过离散采样量化后的时域采样点值构成，采样频率可根据事实情况进行设定和调整。
S3、分别对相同时域长度的IPPG信号、面部关键点运动信号和语音时域采样信号进行实时的信号预处理和特征参数提取的组合算法处理，提取出生理特征、微表情特征和语音特征。
所述信号预处理包含了信号缺失值处理、增强、降噪等一系列组合算法处理，不同信号的预处理方法根据其数据特征而有所差异。
所述生理特征包含心率、呼吸频率、血压、精神性出汗率和部分脉搏波特征参数。
所述微表情特征是指人脸局部区域的肌肉运动，比如皱眉、皱鼻、嘴角拉升等。
所述语音特征包含短时能量、短时过零率、基音频率、基音周期、共振峰频率、计盒维数、MFCC和PLP参数等时频域特征参数。
S4、运用多模态融合策略将生理特征、微表情特征和语音特征进行融合，获得特征向量。
所述多模态融合策略可以是各特征长度归一化后级联拼接、基于稀疏核降秩回归或其他的特征级融合方法，且在融合过程中，以同一时域长度数据为运算基础的生理特征、微表情特征和语音特征，容许其中任意一类或两类特征数据缺失，即兼容例如参与面谈者未说话但是有人脸图像画面的情况，或者其中任意一类或两类特征数据因无效而不得不剔除，但另外两类或一类特征数据有效的情况等等。
S5、将特征向量输出至可信度分类预测模型，得出当前面谈者面谈可信度等级，进行实时显示，在可信度低于设定值时进行提醒，并对出现该情况的面谈音视频时段进行标记。
所述可信度分类预测模型基于前期采集的出现过分夸大、说谎、掩饰等违背事实的行为时的人员的生理特征、微表情特征和语音特征的样本数据库进行构建，兼容任意一类或两类特征数据缺失的情况。
S6、综合整个面谈过程中参与面谈者各时段的面谈内容可信度等级得出其整个面谈的可信度评价。
作为优选实施例，参与面谈者的各类特征数据会自动存入样本数据库，用于可信度分类预测模型的完善。
作为优选实施例，一种基于多特征的面谈内容可信度评价方法不仅仅适用于当面面谈情境，能进行实时评价，还适用于远程面谈情境，也能对已录制的非实时性的面谈音视频进行分析。
作为优选实施例，一种基于多特征的面谈内容可信度评价方法可适用于面试、谈判、审讯、绩效面谈、教育改造谈话等多种应用情境，但不仅限于这些面谈情境，并可以根据实际应用情境灵活调整、拓展和改进基于多特征的评价方法，例如针对谈判、绩效面谈、教育改造谈话等情境，还可以对面谈效果进行评价。评价的结果可以是不同级别划分的等级，也可以是不同分制的数值。
根据本技术，还提出一种基于多特征的面谈内容可信度评价系统，具体包括：数据采集单元、数据分析处理单元、数据模型构建单元、输出显示单元和数据存储单元。
所述数据采集单元用于采集参与面谈者音视频数据。
所述数据分析处理单元包括参与面谈者身份识别模块、信号提取模块、特征提取模块、特征融合模块和可信度评价模块。所述参与面谈者身份识别模块包含人脸识别和声纹识别功能，主要用于辅助识别有效的序列帧图像和语音信号；所述信号提取模块用于从序列帧图像和语音信号中提取出IPPG信号、面部关键点运动信号和语音时域采样信号；所述特征提取模块用于通过组合算法从各类信号中进一步提取出生理特征、微表情特征和语音特征；所述特征融合模块用于将各类特征进行特征级融合，获取特征向量；所述可信度评价模块用于将特征向量输入可信度分类预测模型，依据模型进行分类决策，判定当前时间段的可信度等级，并且能综合参与面谈者各时段的面谈内容可信度等级计算出其整个面谈的可信度评价。
所述数据模型构建单元用于根据样本数据构建可信度分类预测模型，并能随着参与面谈者数据的积累，经过使用方的确认性标记，使得模型不断优化完善。
所述输出显示单元用于实时可信度评价结果的输出和显示，以及整体可信度评价结果的最终显示，并能对低于系统设定的可信度评价标准的结果进行实时告警，为面谈主导方对于面谈的内容、方向和策略调整提供及时的参考依据。
所述数据存储单元用于存储用于模型构建的样本数据，也包括所有参与了面谈可信度评价的参与面谈者的数据。
作为优选实施例，一种基于多特征的面谈内容可信度评价系统，还包括查询单元和参与面谈者管理单元。所述查询单元，用于对参与面谈人员面谈内容的可信度评价结果的查询，针对告警的可信度评价结果还可以根据时间标记回溯对应的面谈音视频；所述参与面谈者管理单元用于参与面谈者的个人信息登记、编辑、分组等管理。
在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。