安防视频行人异常徘徊提示的决策树方法

魏英姿，曹振林

（沈阳理工大学，辽宁 沈阳 110158）

我国经济的快速发展也伴随着贫富差距加大、社会犯罪率上升和犯罪局部危害较大等问题。当下视频监控系统已遍布于不同场所，但并未成为犯罪防范、预警的直接手段，监控终端的智能化技术亟待提高。因此，本文主要研究安防视频中行人的异常徘徊行为，以形成快速、有效预警提示信息的机制，降低侦查机关的主动侦查成本，尽早发现预谋犯罪行为。

目前，对于徘徊行为的定义缺少一般的量化描述，大多是针对某个具体场景的定性分析。Nayak 等人[1]提出了一个基于深度学习的多摄像机徘徊检测系统，用以分析行人运动轨迹，当时间和位移阈值满足一定条件时，系统会认为出现了徘徊现象。朱梦哲等人[2]对不同场景下的徘徊行为分别给出了不同的定义，利用检测到行人的三维模型来判断行人是否徘徊。刘超等人[3]记录了行人轨迹位于x、y轴分量产生的极值数量，若超出规定数量则判定为徘徊，但该方法只适用于特定场景下，在多人场景下效果不佳。Sandifort 等人[4]提出了应用于多个监控摄像机的徘徊检测熵模型，在一段时间内采集多个摄像头中行人的外观特征，在热力图上绘制行人的特征位置，用该特征位置来代替多个跟踪轨迹。Huang等人[5]提出基于行人活动区域分类的徘徊检测方法，该方法提取滞留时间阈值内的轨迹坐标，用矩形、椭圆和扇形等形状将行人轨迹包围起来，如果行人一直局限在包围区域，将被判定为徘徊行为。

决策树是一种模仿人类思维方式的决策方法，可形成明晰的树形结构、决策规则。决策树分类具备良好的可解释性，易于处理多峰分布之类的分类问题，利用分级形式，把复杂分类问题转化为若干个简单分类问题来解决[6]。基于此，本文通过视频进行行人目标检测、跟踪，并进行轨迹数据采集、数据预处理和属性集构建等，选择属性子集构建决策树，进行异常徘徊行为判别。

安防意义下的行人异常徘徊检测，目的在于观测预谋犯罪对象实施的踩点行为，具体体现在外在行为运动轨迹上，例如围绕某个位置的轨迹折返行为，或者是驻足观察行为。驻足观察行为在轨迹和速度上表现得异常明显，较易被发现。本文对更具隐蔽性的异常徘徊行为作量化描述和判别，其动态、静态行为数据通常具有以下特点：

（1）行人运动轨迹在垂直和水平方向上发生多次方向改变，在所形成连续轨迹的x、y轴分量产生极值的个数（sum）较多。

（2）行人逗留于安防场景中的时间（time）较长。

（3）行人当前位置与进入场景时的初始位置之间的距离变化，由大变小或者由小变大多次反复，量化表现为路程（distance）与位移（displacement）的比值（l）波动式上升。

（4）现实中，行人在等候时小幅度地走动以及人群在进行身体锻炼时依然会满足以上三个条件，考虑到潜在的预谋犯罪通常伴随多角度观察这一特点，因此（1）中提到的极值点在画面中所构成区域面积（area）应大于正常活动的范围（AREA）才可视为徘徊。

预谋犯罪往往存在彷徨、犹豫不决、焦灼不安和多角度观察的表现，异常徘徊的活动区域一般不会局限于小的区域。行人在等候时小范围地走动，或是在广场上锻炼的人们也随着时间的增长漫游轨迹增多等小幅度范围内产生的轨迹都不会被判定为异常徘徊。

2.1 YOLOv5 网络结构

YOLOv5 不仅能实现目标分类，还能获得准确的目标定位信息，因此利用YOLOv5 获取视频行人的数据进行行为分析和判别。采用YOLOv5s 网络结构建立权重文件，整个YOLOv5 网络结构分为四个部分，分别是输入端、Backbone部分、Neck 网络和Prediction 端口。

输入端由Mosaic 数据增强、自适应锚框计算和自适应图片缩放三大模块组成。YOLOv5 在不同数据集上定制不同长度和宽度的锚框进行适配，再使用适配图片缩放实现数据增强。Backbone 主要可以划分为Focus 架构和CSP 模块。Focus 架构在YOLOv5 中最新出现，其关键在于切片操作，可在下采样时减少信息损失。CSP 模块用于特征提取和特征融合。Neck 网络使用FPN+PAN 的结构，FPN 将高层特征信息进行上采样传递和融合，得到用于预测的特征图；
PAN 特征金字塔从底层到高层传达强定位特征，实现不同的主干层对不同检测层的参数聚合。Prediction 端口以GIOU_Loss 函数为回归损失函数，通过计算不同状态的GIOU 值解决边界框不完全重合的问题，同时使用加权DIOU_nms 实现非极大值抑制，抑制冗余框。

2.2 DeepSORT 算法

经过YOLOv5 检测出的行人目标，再通过DeepSORT算法跟踪获取其运动轨迹。延续多目标在线跟踪算法SORT（Simple Online and Realtime Tracking）的核心，DeepSORT仍然采用经典的卡尔曼滤波生成类目标跟踪算法[7]，并通过匈牙利算法在目标跟踪过程中匹配预测框和跟踪框。由于目标运动、被遮挡等原因导致跟踪匹配信息确定性较低时，马氏距离是一种合适的关联因子，通过测量检测结果距离平均跟踪结果的标准差，排除可能性低的关联[8]。当目标处于被遮挡状态或者镜头画面抖动时，如果只使用马氏距离关联会导致目标身份误切换。DeepSORT[9]在跟踪过程中结合运动信息和外观信息。对于运动信息，使用马氏距离度量预测结果之间的匹配度，计算外观信息特征的余弦相似度，在目标再次出现时恢复目标身份id，使DeepSORT 执行稳定跟踪。

3.1 轨迹提取

行人轨迹是指在视频场景中从起始位置到结束位置所经过的路线。单个行人的轨迹为随时间变化的人体质心位置序列Tid={(x0,y0),(x1,y1),...,(xtime,ytime)}，x、y分别为横、纵坐标。场景中的不同行人标号为id，视频场景中多人的轨迹集合为T={T1,T2,...,Tid}。

如果没有阻挡物，行人的行走轨迹通常是近似直线地前往目的地。实际上，人类双足行走形成的质心轨迹不太可能完全是直线，而且视频帧数据自身就具有离散性，因此，通过YOLO 和DeepSORT 跟踪行人的质心位置获取的轨迹，往往存在大量的锯齿形状分布的离散点。如图1（a）、图1（b）所示分别为MOT16 和UT-Interaction 数据集的视频中行人跟踪轨迹结果，这些数据在x轴或y轴分量方向有折返轨迹、存在大量极值，直接进行轨迹分析会造成计算资源浪费，甚至造成误检，因此，采用S-G 滤波器对行人轨迹点进行平滑处理。

图1 视频中行人跟踪的质心轨迹

3.2 轨迹拟合

S-G（Savitzky-Golay）滤波器作为低通滤波器之一，滤波系数计算十分便捷，在数据平滑去噪中得到了广泛的应用[10]。通过设定大小为2m+1 的平滑窗口，在时域内利用局部最小二乘法构造一个n阶多项式对数据进行平滑。设有一组以u=0为中心的2m+1个数据，构造n阶多项式（2m+1≥n）拟合，公式如下：

由式（1）可知，当u=0 时，p0=b0。S-G 滤波器以加权平均的方式计算窗口中心点数据p(0)。其最小二乘拟合残差为：

对输入数据进行加权平均，再取偏导，有：

其中t=0，1，…，n，有：

设A=aut(2m+1)(n+1)，aut=ut，其中-m≤u≤m，0≤t≤n，设矩阵B=ATA，有：

设有矩阵：

其中，H矩阵的首行行向量为所求的卷积系数，且仅与n和m有关。

采用S-G 滤波器分别对行人轨迹点的横、纵坐标做滤波处理，轨迹平滑的具体步骤如下：

步骤1：设定S-G 滤波器的参数。滑动窗口大小设为25，窗口内多项式拟合最高的次数设置为6，即m=12，n=6。

步骤2：计算系数矩阵H。由公式（7），系数矩阵H=(ATA)-1AT，H的首行行向量为卷积系数。

步骤3：边缘数据处理。由于该方法删除了数据首尾各m个数据，所以在数据的两端以端点值各向外补充m个数据值。

步骤4：修正数据。利用上述卷积系数对滑动窗口内的数据值做加权平均，计算出窗口中心位置处修正值p0后，保存修正后的数据。

步骤5：移动窗口。将滑动窗口向后移一个数据位置，执行第4 步，直到滑动窗口移动到全部数据尾部。

图1中行人轨迹经过S-G 滤波器平滑后的轨迹如图2所示。图2（a）中id-29 号行人和图2（b）中id-4 的行人均出现遮挡后暂时丢失坐标信息，由于DeepSORT 加入了行人重识别技术，跟踪过程中出现的短暂遮挡会识别为同一行人，其对应id 的轨迹坐标同时恢复，期间对应的轨迹会遗失掉，S-G 滤波器会填补上这些轨迹缺失值，得到平滑后轨迹，再做分析和判别。图3为图1（a）、图1（b）部分行人运动轨迹平滑前后轨迹路线对比结果。

图2 经过S-G 滤波器平滑后的行人轨迹

图3 经S-G 滤波器平滑前后轨迹路线对比

分别用x、y表示行人位置坐标，差分(dx,dy)表示其即时运动速度，用二次差分(|d2x|,|d2y|)描述速度波动，具体计算为dx=xt-xt-1，|d2x|=xt-2xt-1+xt-2。表1为某一时刻S-G 滤波器对行人轨迹平滑前后的坐标、速度、速度波动等对比情况。

表1 轨迹平滑前后属性值对比

4.1 构建数据属性集合

选取UT-Interaction 及中科院自动化研究所收录的CASIA 数据集中存在徘徊特征的视频片段，对有异常徘徊行为的行人轨迹特征进行统计，构建决策树的行人特征属性集合attribute_set{l，time，sum，area，v，q}。其中，l为路程与位移之比，路程为行人从起始坐标点到当前坐标点所有轨迹点之和，位移为起始坐标点到当前坐标点的距离；
time 为滞留时间，从行人进入视频且被检测到开始记录其滞留时间；
sum 为行人轨迹在x、y轴分量产生的极值点数量；
area 为极值点在画面中所构成区域的面积，由至少4 个极值点确定，若不足4 个则为0；
v为行人速度；
q为行人的速度波动。

构建阈值集合变量threshold_set{L，TIME，SUM，AREA，V，ACC}。其中，L为路程与位移之比最大容许阈值；
TIME 为滞留时间容许阈值；
SUM 为极值点数量容许阈值；
AREA 为正常活动范围面积容许阈值，AREA=g×h2，h为视频中行人身高，参照YOLOv5 行人检测预选框高度统计值得到，以变量h作为长度测度标准量，g为比例系数；
V为行人速度容许阈值；
ACC 为行人的速度波动容许阈值。

将数据集的60%作为训练集，剩下的40%作为测试集，获取训练集视频中的行人轨迹，提取以上特征并进行手工标记，标签即状态分为normal 和loitering 两类。表2为部分训练样本属性值及其分类。

表2 部分训练样本属性值及其分类

4.2 决策树模型构建

ID3 是决策树中的常用算法，核心是选择合适的特征属性构建决策树。在构建决策树时，根节点选择方法是比较所有节点的所有候选特征的信息增益，从中选取信息增益最大的特征作为根节点，节点特征取不同值就可以构成一系列子节点，再对子节点重复进行上述操作以构建其他节点，当不存在可选的特征或者所有特征信息增益量低于某一标准，决策树构建完成。

设训练集为D，其信息熵为E(D)，Q为样本类别；
j为类别总数。第j类样本中Qj类样本出现的概率为|Qj|/|D|，其信息熵公式如下：

设特征U有n个不同的取值，将D分成子集D1,D2,...,Dn。计算条件熵E(D|U)公式如下：

其中，Di表示特征U的值为i的样本数量，E(Di)的计算公式为：

式中，Dij表示特征U的值为i的样本在Q类别的样本数量，信息增益Gain(D|U)如下：

利用训练集，通过式（8）～（11），得到所有属性的信息增益，信息增益最大的属性路程与位移之比l被选作决策树的根节点。行人速度v和速度波动q两种属性的信息增益值对检测结果的影响可忽略不计，因此，决策树的节点属性子集中没有v和q，至此决策树构建完成。如图4所示为异常徘徊判别的决策树结构。

图4 异常徘徊判别的决策树结构

决策树检测异常徘徊行为的多级分类主要过程如下：

（1）当安防视频中出现行人时开始统计，对进入画面中的每个行人赋予不同id 号，记录行走轨迹。

（2）当某行人的行走路程与位移之比小于阈值L，即l反之进入下一步判断滞留时间。若滞留时间小于阈值TIME，即time

（3）计算极值数量，若出现极值数量小于阈值SUM，即sum反之进入下一步判断其徘徊区域。< p>

（4）若当前极值点所构成区域面积小于阈值AREA，即area否则，判定为异常徘徊行为。< p>

通过CASIA AR 和UT-Interaction 数据集，采用多种评价指标测试决策树模型性能。

准确率（accuracy）是指整体样本预测的准确度，可直接用来衡量一个模型的优劣，它的数值越高，表示该模型越好，计算公式为：

其中：TP 表示徘徊行为被正确检测的数量；
TN 表示正常行为被正确检测的数量；
FP 表示正常行为被检测为徘徊行为的数量；
FN 表示未将徘徊行为正确检测的数量。

精确率（precision）是指在所有的被检测为徘徊的样本里现实也为徘徊的概率，计算公式为：

召回率（recall）为当实际结果为徘徊的一个样本时被检测到也为徘徊的概率，计算公式为：

F1 分数（F1-score）：当希望精确率与召回率都较高，却又无法同时达到，则需找到两者间的一个平衡点，这个平衡点就定义为F1 分数。考虑到精确率和召回率，为了使二者结果达到最优，计算公式为：

实验中对测试集的徘徊检测分类结果进行了统计，与文献[3]进行对比，结果见表3所列。

表3 徘徊检测分类结果对比

在配置为CPU Corei5-1135G7、2.4 GHz、内存16 GB 的计算机上，采用pytorch 框架下python3.8 代码实现。实验对CASIA AR 和UT-Interaction 数据集部分视频进行了测试，本文决策树方法判别结果如图5所示。

图5 CASIA AR 和UT-Interaction数据集部分视频决策树判别结果

视频数据往往可以作为犯罪后侦查的资料，但尚未成为指导警务的预警情报。“万物互联”的时代下，决策树算法以其准确性高、速度快、能处理高维数据的特点，可辅助安防网络终端的智能交互与服务，做出快速响应。本文量化描述安防意义下的行人异常徘徊行为，通过目标检测加跟踪技术获取行人轨迹数据，采用Savitzky-Golay 滤波器，拟合、平滑行人跟踪过程中的轨迹断裂和漂移数据。提取轨迹特征属性构建决策树模型，有效地避免了徘徊误检，可检测出视频监控内多人场景下的异常徘徊行为。通过对异常徘徊预谋犯罪行为的判别，期望有效制止犯罪危害结果的发生，减少侦查机关对犯罪的追诉成本。

猜你喜欢决策树极值行人极值点带你去“漂移”新世纪智能(数学备考)(2021年10期)2021-12-21毒舌出没，行人避让意林(2021年5期)2021-04-18极值点偏移拦路，三法可取河北理科教学研究(2020年3期)2021-01-04一种针对不均衡数据集的SVM决策树算法成都信息工程大学学报(2019年3期)2019-09-25一类“极值点偏移”问题的解法与反思中学数学杂志(2019年1期)2019-04-03路不为寻找者而设扬子江(2019年1期)2019-03-08决策树和随机森林方法在管理决策中的应用电子制作(2018年16期)2018-09-26我是行人小天使·一年级语数英综合(2017年6期)2017-06-07借助微分探求连续函数的极值点广东技术师范大学学报(2016年5期)2016-08-22基于决策树的出租车乘客出行目的识别中央民族大学学报（自然科学版）(2016年4期)2016-06-27

推荐访问:安防 行人 徘徊