【CN109918539A】一种基于用户点击行为的音、视频互相检索方法【专利】

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910148705.0
(22)申请日 2019.02.28
(71)申请人 华南理工大学
地址 510640 广东省广州市天河区五山路
381号
(72)发明人 张炯衍　彭新一　刘孜文　
(74)专利代理机构 广州粤高专利商标代理有限
公司 44102
代理人 何淑珍　黄海波
(51)Int.Cl.
G06F 16/783(2019.01)
G06F 16/78(2019.01)
G06F 16/732(2019.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
(54)发明名称
一种基于用户点击行为的音、视频互相检索
方法
(57)摘要
本发明公开了一种基于用户点击行为的音、
视频互相检索方法，包括步骤：对输入的音频、视
频数据进行预处理；将预处理的音频数据送入深
度卷积神经网络中得到音频的表示向量及注意
力权重分布；将预处理所得视频关键帧送入深度
卷积神经网络中得到关键帧表示向量并依次送
入基于注意力机制的时间序列处理网络中，得到
视频的表示向量及注意力权重分布；计算音、视
频表示向量的相似度并将音、视频按相似度进行
排序；根据注意力权重分布进行标注为排序提供
可解释的依据；损失函数通过用户点击行为进行
计算并采用后向传播法进行模型训练；基于训练的模型对媒体库中的音、视频进行检索匹配。

本发明可在给定视频、音频的情况下检索媒体库中匹配的音频、
视频。

权利要求书2页 说明书5页 附图1页CN 109918539 A 2019.06.21
C N 109918539
A
权　利　要　求　书1/2页CN 109918539 A
1.一种基于用户点击行为的音、视频互相检索方法，其特征在于，包括以下步骤：
S1、对输入的音频、视频数据进行预处理，获得音频数据的频谱图以及视频数据的关键帧；
S2、将预处理后的音频数据送入基于注意力机制的深度卷积神经网络组成的编码器中，得到输入音频的表示向量以及注意力权重分布；
S3、将预处理得到的视频关键帧送入深度卷积神经网络中，得到关键帧表示向量；依次将关键帧表示向量送入基于注意力机制的时间序列神经网络中，得到输入视频的表示向量以及注意力权重分布；
S4、计算步骤S2以及步骤S3得到的输入音、视频表示向量的相似度，对候选集中的视、音频按相似度进行排序；
S5、根据注意力权重分布，标注对排序结果影响最大的音、视频片段，为排序提供可解释的依据；
S6、损失函数通过用户点击行为进行计算，基于负对数似然函数以及softmax函数，采用后向传播算法进行模型训练；
S7、基于所训练的模型对媒体库中的音频、视频进行检索匹配。

2.根据权利要求1所述的基于用户点击行为的音、视频互相检索方法，其特征在于，步骤S1中，所述对输入的音频数据进行预处理具体为：
对于输入的音频数据，先将音频数据绘制为频谱图；
然后对所述频谱图进行缩放操作，使其形成大小为H a×W a的二维图像I a。

3.根据权利要求1所述的基于用户点击行为的音、视频互相检索方法，其特征在于，步骤S1中，所述对输入的视频数据进行预处理具体为：
对于输入的视频数据，先使用关键帧抽取算法抽取出n张关键帧，作为输入视频的关键帧序列S f＝[f1，f2，...，f n]；
再将关键帧序列中的每一张图片统一缩放成H v×W v的二维图像。

4.根据权利要求1所述的基于用户点击行为的音、视频互相检索方法，其特征在于，所述的步骤S2具体为：
将步骤S1中得到的频谱图输入基于注意力机制的深度卷积神经网络编码器E a中，得到长度为h的输入音频表示向量h a，以及大小为H a×W a的注意力权重分布矩阵A a。

5.根据权利要求1所述的基于用户点击行为的音、视频互相检索方法，其特征在于，所述的步骤S3具体为：
先将步骤S1中得到的关键帧序列[f1，f2，...，f n]逐帧输入深度卷积神经网络中，得到各帧的表示向量序列S h＝[h1，h1，...，h n]；再将表示向量序列S h中的元素按顺序输入到基于注意力机制的时间序列处理神经网络中，得到长度为h的输入视频表示向量h v以及长度为n 的注意力权重分布数组A v。

6.根据权利要求5所述的基于用户点击行为的音、视频互相检索方法，其特征在于，所述的步骤S4具体为：
当检索请求为视频时，遍历音频侯选库，对每一个请求视频、候选音频对，通过计算步骤S2得到的音频表示向量h a和步骤S3得到的视频表示向量h v的余弦相似度作为排序分数，
2。