基于FMCW雷达和ResNeSt-GRU的行为识别方法

doi:10.3969/j.issn.1006-2475.2023.11.016

计算机与现代化 ›› 2023, Vol. 0 ›› Issue (11): 101-107.doi: 10.3969/j.issn.1006-2475.2023.11.016

基于FMCW雷达和ResNeSt-GRU的行为识别方法

（1.南京邮电大学计算机学院，江苏南京 210023； 2.江苏省无线传感网高技术研究重点实验室，江苏南京 210023）

出版日期:2023-11-29 发布日期:2023-11-29
作者简介:马泽宇（1997—），男，江苏扬州人，硕士研究生，研究方向：物联网感知技术，E-mail： 1021041303@njupt.edu.cn；通信作者：叶宁（1971—），女，教授，博士，研究方向：物联网信息处理，情感计算，E-mail： yening@njupt.edu.cn；徐康（1989—），男，讲师，博士，研究方向：自然语言处理，E-mail： kxu@njupt.edu.cn；王甦（1978—），男，讲师，硕士，研究方向：边缘智能计算，E-mail： wangsu@njupt.edu.cn；王汝传（1943—），男，教授，学士，研究方向：无线传感器网络，信息安全，E-mail： wangrc@njupt.edu.cn。
基金资助:
国家自然科学基金资助项目（62272244）；江苏省科技厅重点研发计划（社会发展）项目（BE2020713）

Behavior Recognition Method Based on FMCW Radar and ResNeSt-GRU

（1. School of Computer Science， Nanjing University of Posts and Telecommunications， Nanjing 210023， China；
2. Jiangsu High Technology Research Key Laboratory for Wireless Sensor Networks， Nanjing 210023， China）

Online:2023-11-29 Published:2023-11-29

摘要/Abstract

摘要： 摘要：针对FMCW雷达在行为识别方面的应用，提出一种基于分离注意力残差神经网络（ResNeSt）和门控神经单元（GRU）的人体行为识别系统。使用调频连续波（FMCW）雷达采集人体行为数据，之后采用快速傅里叶变换算法（FFT）提取雷达数据每一帧距离、速度和角度维信息，按照时间维度拼接成距离时间图（RTM）、多普勒时间图（DTM）和角度时间图（ATM），最后以RTM、DTM和ATM作为输入样本，采用三流ResNeSt-GRU模型对不同人体行为进行识别。实验结果表明，三流ResNeSt-GRU模型对8种行为的平均识别准确率达到了98.92%，均高于传统和融合式深度学习模型。此外，采用该模型比传统特征融合之后采用单流网络的识别准确率提高了2.3%。因而该系统可以有效提高人体行为识别系统的识别准确率，为人体行为识别提供新的技术方法。

关键词: 关键词：ResNeSt, GRU, FMCW雷达, 深度学习, 行为识别

Abstract: Abstract： Aiming at the application of frequency modulated continuous wave radar in behavior recognition， a human behavior recognition system based on split attention residual neural network （ResNeSt） and gated neural unit （GRU） is proposed. The frequency modulated continuous wave （FMCW） radar is used to collect human behavior data. The fast Fourier transform algorithm （FFT） is used to extract the distance， velocity and angle dimension information of each frame of radar data， and then stitch them according to the time dimension into Range-Time Map （RTM）， Doppler-Time Map （DTM） and Angle-Time Map （ATM）. Finally， RTM， DTM and ATM are used as input samples， and the three-stream ResNeSt-GRU model is used to recognize different human behaviors. The experimental results show that the average recognition accuracy of the three-stream ResNeSt-GRU model for 8 behaviors reaches 98.92%， which is higher than the traditional deep learning model and the fusion deep learning model. In addition， the recognition accuracy rate using this model is 2.3% higher than that using a single-stream network after traditional feature fusion. Therefore， the system can effectively improve the recognition accuracy of the human behavior recognition system， and provide a new technology for the human behavior recognition.

Key words: Key words： ResNeSt, GRU, FMCW radar, deeping learning, behavior recognition

中图分类号:

TP391.4

马泽宇, 叶宁, 徐康, 王甦, 王汝传, . 基于FMCW雷达和ResNeSt-GRU的行为识别方法[J]. 计算机与现代化, 2023, 0(11): 101-107.

MA Ze-yu, YE Ning, XU Kang, WANG Su, WANG Ru-chuan, . Behavior Recognition Method Based on FMCW Radar and ResNeSt-GRU[J]. Computer and Modernization, 2023, 0(11): 101-107.

参考文献

［1］ MAJUMDER A， ZERIN I， AHAMED S I， et al. A multi-sensor approach for fall risk prediction and prevention in elderly［J］. ACM SIGAPP Applied Computing Review， 2014，14（1）：41-52.
［2］ SATHYANARAYANA A， JOTY S， FERNANDEZ-LUQUE
L， et al. Correction of： Sleep quality prediction from wearable data using deep learning［J］. JMIR Mhealth and Uhealth， 2016，4（4）：e130. DOI： 10.2196/mhealth.6562.
［3］ WANG Z L， WU D H， CHEN J M， et al. A triaxial accelerometer-based human activity recognition via EEMD-
Based features and game-theory-based feature selection［J］. IEEE Sensors Journal， 2016，16（9）：3198-3207.
［4］ ALARIFI A， ALWADAIN A. Killer heuristic optimized convolution neural network-based fall detection with wearable IoT sensor devices［J］. Measurement， 2020，167：108258.
1-108258.10.
［5］ KOSUGE A， SUEHIRO S， HAMADA M， et al. mmWave-YOLO： A mmWave imaging radar-based real-time multiclass object recognition system for ADAS applications［J］. IEEE Transactions on Instrumentation and Measurement， 2022，71：2509810.1-2509810.10.
［6］ YANG X， LIU J， CHEN Y Y， et al. MU-ID： Multi-user identification through gaits using millimeter wave radios［C］// IEEE Conference on Computer Communications. IEEE， 2020： 2589-2598.
［7］宋文豪，周斌，卜智勇，等. 基于复合型FMCW波形的多目标匹配算法［J］. 中国科学院大学学报， 2022，39（1）：110-118.
［8］ RAEIS H， KAZEMI M， SHIRMOHAMMADI S. InARMS： Individual activity recognition of multiple subjects with FMCW radar［C］// 2022 IEEE International Instrumentation and Measurement Technology Conference（I2MTC）. IEEE， 2022： 1-5.
［9］许志猛，尹辉斌，林佳慧. 基于空间聚类的FMCW雷达双人行为识别方法［J］. 福州大学学报：自然科学版， 2020，48（4）：445-450.
［10］ WANG S W，SONG J，LIEN J，et al．Interacting with soli： Exploring fine-grained dynamic gesture recognition in the radio-frequency spectrum［C］// Symposium on User Interface Software and Technology. ACM， 2016：851-860.
［11］王俊，郑彤，雷鹏，等. 基于卷积神经网络的手势动作雷达识别方法［J］. 北京航空航天大学学报， 2018，44（6）：1117-1123.
［12］ AHMAD A， ROH J C， WANG D， et al. Vital signs monitoring of multiple people using a FMCW millimeter-wave sensor［C］// IEEE Radar Conference（RadarConf18）. IEEE， 2018：1450-1455.
［13］ SENIGAGLIESI L， CIATTAGLIA G， GAMBI E. Contactless walking recognition based on mmWave RADAR［C］// 2020 IEEE Symposium on Computers and Communications（ISCC）. IEEE， 2020：1-4.
［14］张宇成，陈金立. 基于RDATM数据集的毫米波雷达动态手势识别系统设计［J］. 中国电子科学研究院学报， 2022，17（5）：457-464.
［15］ ZHENG Z J， PAN J， NI Z K， et al. Human posture reconstruction for through-the-wall radar imaging using convolutional neural networks［J］. IEEE Geoscience and Remote Sensing Letters， 2022， 19：1-5.
［16］元志安，周笑宇，刘心溥，等. 基于RDSNet的毫米波雷达人体跌倒检测方法［J］. 雷达学报， 2021，10（4）：656-664.
［17］ ALIREZAZAD K， RHIEL G， MAURER L. 2D CNN-GRU model for multi-hand gesture recognition system using FMCW Radar［C］// Proceedings of the 20th IEEE Interregional NEWCAS Conference（NEWCAS）. IEEE， 2022：158-162.
［18］王昊飞，李俊峰. 基于注意力机制的改进残差网络的人体行为识别方法［J］. 软件工程， 2021，24（11）：51-54.
［19］ SCHEIBLHOFER W， FEGER R， HADERER A， et al. Method to embed a data-link on FMCW chirps for communication between cooperative 77-GHz radar stations［C］// 2015 European Radar Conference（EuRAD）. IEEE， 2015：181-184.
［20］ PENG Z Y， MUNOZ-FERRERAS J M， GOMEZ-GARCIA
R， et al. FMCW radar fall detection based on ISAR processing utilizing the properties of RCS， range， and Doppler［C］// IEEE MTT-S International Microwave Symposium. IEEE， 2016：1-3.
［21］ AHEMD S， KIM W， PARK J， et al. Radar-based air-writing gesture recognition using a novel multistream CNN approach［J］. IEEE Internet of Things Journal， 2022，9（23）：23869-23880.
［22］ ENGGAR F D， MUTHIAH A M， WINARKO O D， et al. Performance comparison of various windowing on FMCW radar signal processing［C］// 2016 International Symposium on Electronics and Smart Devices（ISESD）. IEEE， 2016：326-330.
［23］ ZHANG H， WU C R， ZHANG Z Y， et al. ResNeSt： Split-attention networks［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops（CVPRW）.
IEEE， 2022：2735-2745.
［24］ XIE S N， GIRSHICK R， DOLLÁR P， et al. Aggregated residual transformations for deep neural networks［C］// 2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. IEEE， 2017：5987-5995.
［25］ HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）. IEEE， 2018：7132-7141.
［26］ LI X， WANG W H， HU X L， et al. Selective kernel networks［C］// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）. IEEE， 2019：510-519.
［27］ TODERICI G， VINCENT D， JOHNSTON N， et al. Full resolution image compression with recurrent neural networks［C］// 2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. IEEE， 2017：5435-5443.
［28］ BADLANI R， ŁANCUCKI A， SHIH K J， et al. One TTS alignment to rule them all［C］// IEEE International Conference on Acoustics， Speech and Signal Processing（ICASSP）.
IEEE， 2022：6092-6096.

[1]	祁贤, 刘大铭, 常佳鑫. 基于改进自注意力机制的多视图三维重建[J]. 计算机与现代化, 2024, 0(11): 106-112.
[2]	陈凯1, 李宜汀1, 2, 全华凤1 . 基于改进YOLOv8的河道废弃瓶检测方法[J]. 计算机与现代化, 2024, 0(11): 113-120.
[3]	杨骏1, 胡为1, 朱文福2. 基于改进MobileNetV3的视觉SLAM回环检测算法[J]. 计算机与现代化, 2024, 0(10): 21-26.
[4]	王莹莹, 郝潇. 基于Res2Net和递归门控卷积的细粒度图像分类[J]. 计算机与现代化, 2024, 0(10): 74-79.
[5]	史星宇1, 李强2, 庄莉3, 梁懿3, 王秋琳3, 陈锴3, 伍臣周3, 常胜1. 一种面向工业部署的目标检测模型蒸馏技术[J]. 计算机与现代化, 2024, 0(10): 93-99.
[6]	张泽1, 张建权2, 3, 周国鹏2, 3. 基于改进YOLOv8s的摄像头模组缺陷检测[J]. 计算机与现代化, 2024, 0(09): 107-113.
[7]	程亚子1, 雷亮1, 2, 陈瀚1, 赵毅然1. 基于转置注意力的多尺度深度融合单目深度估计[J]. 计算机与现代化, 2024, 0(09): 121-126.
[8]	程萌, 李浩. 改进YOLOv5s的落叶树鸟巢检测方法[J]. 计算机与现代化, 2024, 0(08): 24-29.
[9]	王梦溪, 李峻. 老年人跌倒检测技术研究综述[J]. 计算机与现代化, 2024, 0(08): 30-36.
[10]	时现伟1, 范鑫2. 基于轻量化的视频帧场景语义分割方法[J]. 计算机与现代化, 2024, 0(08): 49-53.
[11]	徐新爱, 李钢. 基于DCGAN的课堂表情图像生成方法[J]. 计算机与现代化, 2024, 0(08): 88-91.
[12]	高帅鹏, 王怡凡. 基于图像的群体情绪识别综述[J]. 计算机与现代化, 2024, 0(08): 98-107.
[13]	黄文栋, 王怡凡. 基于模态类别的多模态信息处理与融合综述[J]. 计算机与现代化, 2024, 0(07): 47-62.
[14]	武丽1, 张征浩2, 葛彩成2, 俞俊2. 基于改进SCNN网络的车道线检测算法[J]. 计算机与现代化, 2024, 0(07): 87-92.
[15]	张可1, 艾中良2, 刘忠麟3, 顾平莉1, 刘学林4. 基于多元组匹配损失的司法论辩理解方法[J]. 计算机与现代化, 2024, 0(06): 115-120.

基于FMCW雷达和ResNeSt-GRU的行为识别方法

Behavior Recognition Method Based on FMCW Radar and ResNeSt-GRU

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价