基于扩张卷积融合时序特征异常行为检测

doi:10.3969/j.issn.1006-2475.2024.02.012

计算机与现代化 ›› 2024, Vol. 0 ›› Issue (02): 75-80.doi: 10.3969/j.issn.1006-2475.2024.02.012

基于扩张卷积融合时序特征异常行为检测

（长安大学信息工程学院，陕西西安 710018）

出版日期:2024-02-19 发布日期:2024-03-19
作者简介: 作者简介：马彩莎（1998—），女，河南南阳人，硕士研究生，研究方向:计算机视觉，行人检测，E-mail: m2377680820@163.com；焦立男（1975—），男，陕西商洛人，副教授，硕士生导师，博士，研究方向:图像处理与分析，计算机视觉与模式识别，机器人运动规划，E-mail: lnjiao@chd.edu.cn；柳有权（1976—），男，湖北秭归人，教授，硕士生导师，博士，研究方向:计算机图形学，虚拟现实技术，人机交互技术，E-mail: youquan@chd.edu.cn；李欣（2000—），女，山东菏泽人，硕士研究生，研究方向:图像处理，E-mail: lxjzyxl@163.com。
基金资助:
国家科技重点研发计划项目（2018YFB1600802）

Anomalous Behavior Detection Network Based on Dilated Convolution and Fused Temporal#br# Features

（School of Information Engineering， Chang’an University， Xi’an 710018， China）

Online:2024-02-19 Published:2024-03-19

摘要/Abstract

摘要： 摘要：本文提出一个基于扩张卷积的多尺度融合行人原型和时空特征的深度自编码器网络。为了更好地利用视频中行人的时序特征，在编码器和解码器的潜在空间处添加一个双分支结构，分别是预测时空特征的递归神经网络分支和保存行人正常模式的记忆存储模块。为了增强行人特征提取，忽略背景信息影响，增加模型的泛化能力，在编码器中加入改进的空洞空间金字塔池化（Atrous Spatial Pyramid Pooling，ASPP）模块，并在卷积块中使用混合扩张卷积（Hybrid Dilated Convolution，HDC）原则，解决行人大小变化的问题，同时在解码器中引入多级残差信道注意力机制，获取更多的上下文信息。模型在数据集USCD Ped2，CUHK Avenue的曲线下面积（Area Under the Curve，AUC）分别达到了0.982，0.928。

关键词: 关键词：混合扩张卷积, 残差注意力, 异常行为检测, 深度自编码器

Abstract: Abstract: In this paper， we propose a multi-scale deep autoencoder network based on dilated convolution， incorporating pedestrian prototypes and spatio-temporal features. To better exploit the temporal features of pedestrians in videos， a dual-branch structure is added to the potential space of the encoder and decoder， the ST-RNN branch of the recurrent neural network for predicting spatio-temporal features and the memory storage module for preserving the normal patterns of pedestrians. To enhance pedestrian feature extraction， ignore the effect of background information，and improve the generalization ability of the model， an improved atrous spatial pyramid pooling （ASPP） module is added in the encoder， the hybrid dilated convolution （HDC） principle is used in the convolution block to solve the pedestrian size variation problem， while a multi-level residual channel attention mechanism is introduced in the decoder to obtain more contextual information. The corresponding area under the ROC curve （AUC） of this model reaches 0.982， 0.928 for USCD ped2， CUHK Avenue datasets， respectively.

Key words: Key words: hybrid dilated convolution, residual attention, anomalous behaviour detection, deep convolutional autoencoder

中图分类号:

TP391

马彩莎, 焦立男, 柳有权, 李欣. 基于扩张卷积融合时序特征异常行为检测[J]. 计算机与现代化, 2024, 0(02): 75-80.

MA Cai-sha, JIAO Li-nan, LIU You-quan, LI Xin. Anomalous Behavior Detection Network Based on Dilated Convolution and Fused Temporal#br# Features[J]. Computer and Modernization, 2024, 0(02): 75-80.

参考文献

［1］ FENG J C， HONG F T， ZHENG W S. MIST: Multiple instance self-training framework for video anomaly detection［C］// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2021:14004-14013.
［2］何平，李刚，李慧斌. 基于深度学习的视频异常检测方法综述［J］. 计算机工程与科学， 2022，44（9）:1620-1629.
［3］ BERA A， KIM S， MANOCHA D. Realtime anomaly detection using trajectory-level crowd behavior learning［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. 2016:1289-1296.
［4］ ROSHTKHARI M J， LEVINE M D. Online dominant and anomalous behavior detection in videos［C］// 2013 IEEE Conference on Computer Vision and Pattern Recognition. 2013:2611-2618.
［5］ TRAN T M， VU T N， VO N D， et al. Anomaly analysis in images and videos: A Comprehensive Review［J］. ACM Computing Surveys， 2022，55（7）:1-37.
［6］王志国，章毓晋. 监控视频异常检测:综述［J］. 清华大学学报（自然科学版）， 2020，60（6）:518-529.
［7］ GEORGESCU M I， IONESCU R T， KHAN F S， et al. A background-agnostic framework with adversarial training for abnormal event detection in video［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022，44（9）:4505-4523.
［8］彭嘉丽，赵英亮，王黎明. 基于深度学习的视频异常行为检测研究［J］. 激光与光电子学进展， 2021，58（6）:43-53.
［9］王思齐，胡婧韬，余广，等. 智能视频异常事件检测方法综述［J］. 计算机工程与科学， 2020，42（8）:1393-1405.
［10］ GONG D， LIU L Q， LE V， et al. Memorizing Normality to detect anomaly: Memory-augmented deep autoencoder for unsupervised anomaly detection［C］// 2019 IEEE/CVF International Conference on Computer Vision （ICCV）. 2019:1705-1714.
［11］ PARK H， NOH J， HAM B M S. Learning memory-guided normality for anomaly detection［C］// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2020:14360-14369.
［12］ CHEN J， WANG C Y， TONG Y. AtICNet: Semantic segmentation with atrous spatial pyramid pooling in image cascade network［J］. EURASIP Journal on Wireless Communications and Networking， 2019，146（1）:1-7.
［13］ ZHOU J T， ZHANG L， FANG Z W， et al. Attention-driven loss for anomaly detection in video surveillance［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2020，30（12）:4639-4647.
［14］ LE V T， KIM Y G. Attention-based residual autoencoder for video anomaly detection［J］. Applied Intelligence， 2023，53（3）:3240-3254.
［15］ DEEPAK， CHANDRAKALA， KRISHNA M C. Residual spatiotemporal autoencoder for unsupervised video anomaly detection［J］. Signal， Image and Video Processing， 2021，15（1）:215-222.
［16］ WANG S， MIAO Z J. Anomaly detection in crowd scene［C］// IEEE 10th International Conference on Signal Processing Proceedings. 2010:1220-1223.
［17］ LU C W， SHI J P， JIA J Y. Abnormal event detection at 150 FPS in MATLAB［C］// 2013 IEEE International Conference on Computer Vision. 2013:2720-2727.
［18］ LIU Z， NIE Y W， LONG C J， et al. A hybrid video anomaly detection framework via memory-augmented flow reconstruction and flow-guided frame prediction［C］// 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. 2021:13568-13577.
［19］ LIU R R， HE D Z. Semantic Segmentation Based on deeplabv3+ and attention mechanism［C］// 2021 IEEE 4th Advanced Information Management， Communicates， Electronic and Automation Control Conference （IMCEC）. 2021:255-259.
［20］ YANG J Y， JIANG J. Dilated-CBAM: An efficient attention network with dilated convolution［C］// 2021 IEEE International Conference on Unmanned Systems （ICUS）. 2021:11-15.
［21］ WANG Y B， WU H X， ZHANG J J， et al. PredRNN: A recurrent neural network for spatiotemporal predictive learning［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023，45（2）:2208-2225.
［22］ SU J H， BYEON W， KOSSAIFI J， et al. Convolutional tensor-train LSTM for spatio-temporal learning［J］. arXiv preprint arXiv:2002.09131， 2020.
［23］ LIU W， LUO W X， LIAN D Z， et al. Future frame prediction for anomaly detection -- a new baseline［J］. arXiv preprint arXiv:1712.09867， 2017.
［24］ TRAN H T M， HOGG D. Anomaly detection using a convolutional winner-take-all autoencoder［C］// Proceedings of the 2017 British Machine Vision Conference. 2017. DOI: 10.5244/C.31.139.
［25］ WANG L， ZHOU F Q， LI Z X， et al. Abnormal event detection in videos using hybrid spatio-temporal autoencoder［C］// 2018 25th IEEE International Conference on Image Processing （ICIP）. 2018:2276-2280.
［26］贾晴，王来花，王伟胜. 基于独立循环神经网络与变分自编码网络的视频帧异常检测［J］. 计算机应用， 2023，43（2）:507-513.
［27］ IONESCU R T， KHAN F S， GEORGESCU M， et al. Object-centric auto-encoders and dummy anomalies for abnormal event detection in video［C］// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 2019:7834-7843.
［28］ LIU Z， NIE Y W， LONG C J， et al. A hybrid video anomaly detection framework via memory-augmented flow reconstruction and flow-guided frame prediction［C］// 2021 IEEE/CVF International Conference on Computer Vision （ICCV）. 2021:13568-13577.
［29］闫善武，肖洪兵，王瑜，等. 融合行人时空信息的视频异常检测［J］. 图学学报， 2023，44（1）:95-103.

基于扩张卷积融合时序特征异常行为检测

Anomalous Behavior Detection Network Based on Dilated Convolution and Fused Temporal#br# Features

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 1

编辑推荐

Metrics

本文评价