基于混合Transformer的视线估计模型

doi:10.3969/j.issn.1006-2475.2025.04.001

摘要/Abstract

摘要： 采用CNN与Transformer相结合的方法，利用Transformer能获取全局特征信息的优势，提高模型上下文信息感知能力，从而改善模型精度。本文提出一种新颖的基于混合Transformer的视线估计模型ResNet-MHSA （RN-SA），该模型将ResNet18中部分3×3空间卷积层替换为由一个1×1的空间卷积层和MHSA（Multi-Head Self-Attention）层组合而成的块，并在模型结构中添加DropBlock机制，以增加模型的鲁棒性。实验结果表明，RN-SA模型在减少参数量的同时改善了模型的精度，与目前较好的模型GazeTR-Hybrid相比，在参数数量减少15.8%的情况下，在EyeDiap和Gaze360数据集上精度分别提高了4.1%和3.7%。因此，CNN与Transformer相结合的方式能有效应用于视线估计任务中。

关键词: 视线估计, 自注意力, MHSA, Transformer

Abstract: Combined CNN and Transformer， Transformer can gain the advantage of global feature information and improve the awareness of model context information， which can lead to improve model accuracy. A novel gaze estimation model RN-SA（ResNet-MHSA） based on a hybrid Transformer is proposed. In this model， part of the 3×3 spatial convolution layers in ResNet18 are replaced with a block composed of a 1×1 spatial convolution layer and MHSA（Multi-Head Self-Attention） layer， and the DropBlock mechanism is added to the model structure to increase the robustness of the model. Experimental results show that RN-SA model can improve the accuracy of the model while reducing the number of parameters compared with the current better model GazeTR-Hybrid， RN-SA model can improve the accuracy by 4.1% and 3.7% on EyeDiap and Gaze360 datasets， respectively， while the number of parameters is reduced by 15.8%. Therefore， the combination of CNN and Transformer can be effectively applied to gaze estimation tasks.

Key words: , gaze estimation, self-attention, MHSA, Transformer

中图分类号:

TP391.41

程章, 刘丹, 王艳霞. 基于混合Transformer的视线估计模型[J]. 计算机与现代化, 2025, 0(04): 1-5.

CHENG Zhang, LIU Dan, WANG Yanxia. Gaze Estimation Model Based on Hybrid Transformer [J]. Computer and Modernization, 2025, 0(04): 1-5.

参考文献

［1］ RECASENS A， KHOSLA A， VONDRICK C， et al. Where are they looking？［C］// Proceedings of the 2015 International Conference on Neural Information Processing Systems. ACM， 2015：199-207.
［2］ KRAFKA K， KHOSLA A， KELLNHOFER P， et al. Eyetracking for everyone［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. IEEE， 2016：2176-2184.
［3］ FUNES-MORA K A， ODOBEZ J M. Gaze estimation in the 3D space using RGB-D sensors： Towards head-pose and user invariance［J］. International Journal of Computer Vision， 2016，118（2）：194-216.
［4］ DIAS P A， MALAFRONTE D， MEDEIROS H， et al. Gaze estimation for assisted living environments［C］// Proceedings of the 2020 IEEE Winter Conference on Applications of Computer Vision. IEEE， 2020：279-288.
［5］ MODI N， SINGH J. Understanding online consumer behavior at e-commerce portals using eye-gaze tracking［J］. International Journal of Human-Computer Interaction， 2023，39（4）：721-742.
［6］ MASSÉ B， BA S， HORAUD R. Tracking gaze and visual focus of attention of people involved in social interaction［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018，40（11）：2711-2724.
［7］ CHETTAOUI N， ATIA A， BOUHLEL M S. Predicting students performance using eye-gaze features in an embodied learning environment［C］// 2022 IEEE Global Engineering Education Conference （EDUCON）. IEEE， 2022：704-711.
［8］ VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. ACM， 2017：6000-6010.
［9］ DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16×16 words： Transformers for image recognition at scale［C］// 2021 International Conference on Learning Representations. ICLR， 2021. DOI：10.48550/arXiv.
2010.11929.
［10］ WANG W H， XIE E Z， LI X， et al. Pyramid vision Transformer： A versatile backbone for dense prediction without convolutions［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. IEEE，2021：548-558.
［11］ WU H P， XIAO B， CODELLA N， et al. CvT： Introducing convolutions to vision Transformers［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. IEEE， 2021：22-31.
［12］ CAO J L， PANG Y W， ANWER R M， et al. PSTR： End-to-end one-step person search with transformers［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE， 2022：9448-9457.
［13］ ZHU X Z， SU W J， LU L W， et al. Deformable DETR： Deformable Transformers for end-to-end object detection［C］// 2021 International Conference on Learning Representations. ICLR， 2021. DOI： 10.48550/arXiv.2010.04159.
［14］ DAI Z G， CAI B L， LIN Y G， et al. UP-DETR： Unsupervised pre-training for object detection with Transformers［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE， 2021：1601
-1610.
［15］ WANG Y Q， XU Z L， WANG X L， et al. End-to-end video instance segmentation with Transformers［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE， 2021：8737-8746.
［16］ XUE F L， WANG Q C， GUO G D. Transfer： Learning relation-aware facial expression representations with Transformers［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. IEEE， 2021：3581-3590.
［17］ CHENG Y H， LU F. Gaze estimation using Transformer［C］// 2022 26th International Conference on Pattern Recognition （ICPR）. IEEE， 2022：3341-3347.
［18］ SRINIVAS A， LIN T Y， PARMAR N， et al. Bottleneck Transformers for visual recognition［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE， 2021：16514-16524.
［19］ ZHANG X C， SUGANO Y， FRITZ M， et al. Appearance-based gaze estimation in the wild［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern recognition. IEEE， 2015：4511-4520.
［20］ DENG H P， ZHU W J. Monocular free-head 30 gaze tracking with deep learning and geometry constraints［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. IEEE， 2017：3162-3171.
［21］ CHENG Y H， HUANG S Y， WANG F， et al. A coarse-to-fine adaptive network for appearance-based gaze estimation［C］// Proceedings of the 2020 AAAI Conference on Artificial Intelligence. AAAI， 2020，34（7）：10623-10630.
［22］ CAI X， ZENG J B， SHAN S G， et al. Source-free adaptive gaze estimation by uncertainty reduction［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE， 2023：22035-22045.
［23］ LIU Z， LIN Y T， CAO Y， et al. Swin Transformer： Hierarchical vision Transformer using shifted windows［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. IEEE， 2021：9992-10002.
［24］ HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. IEEE， 2016：770-778.
［25］ GHIASI G， LIN T Y， LE Q V. Dropblock： A regularization method for convolutional networks［C］// Proceeding of the 32nd International Conference on Neural Information Processing Systems. ACM， 2018：10750-10760.
［26］ ZHANG X C， PARK S， BEELER T， et al. ETGth-XGaze： A large scale dataset for gaze estimation under extreme head pose and gaze variation［C］// Computer Vision ECCV 2020：16th European Conference. Springer， 2020：365-381.
［27］ FUNES-MORA K A， MONAY F， ODOBEZ J M. EYEDIAP： A database for the development and evaluation of gaze estimation algorithms from RGB and RGB-D cameras［C］// Proceedings of the 2014 Symposium on Eye Tracking Research and Applications. ACM， 2014：255-258.
［28］ KELLNHOFER P， RECASENS A， STENT S， et al. Gaze360： Physically unconstrained gaze estimation in the wild［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. IEEE， 2019：6911-6920.
［29］ ZHANG X C， SUGANO Y， FRITZ M， et al. It’s written all over your face： Full-face appearance-based gaze estimation［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. IEEE， 2017：2299-2308.
［30］ FISCHER T， CHANG H J， DEMIRIS Y. RT-GENE： Real-time eye gaze estimation in natural environments［C］// Proceedings of the 2018 European Conference on Computer Vision （ECCV）. Springer， 2018：339-357.
［31］ FARKHONDEH A， PALMERO C， SCARDAPANE S， et al. Towards self-supervised gaze estimation［J］. arXiv preprint arXiv：2203.10974， 2022.
［32］ ABDELRAHMAN A A， HEMPEL T， KHALIFA A， et al. L2CS-Net： Fine-grained gaze estimation in unconstrained environments［C］// 2023 8th International Conference on Frontiers of Signal Processing（ICFSP）. IEEE， 2023：98-102.

[1]	郭华. 面向下游任务优化的不平衡数据重采样[J]. 计算机与现代化, 2025, 0(02): 28-32.
[2]	冯心洁, 王伟. 基于孪生特征融合网络的自然场景文本图像超分辨率方法[J]. 计算机与现代化, 2025, 0(02): 86-93.
[3]	何思达, 陈平华. 基于意图的轻量级自注意力序列推荐模型[J]. 计算机与现代化, 2024, 0(12): 1-9.
[4]	张晓东1, 白广芝1, 李敏1, 李昊洋2. 基于经验小波变换的油气井产量预测模型 [J]. 计算机与现代化, 2024, 0(12): 53-58.
[5]	王海洋, 弓同鑫, 杨锦涛, 陈再龙. 多尺度时间编码的工业园区短期负荷预测[J]. 计算机与现代化, 2024, 0(12): 59-65.
[6]	祁贤, 刘大铭, 常佳鑫. 基于改进自注意力机制的多视图三维重建[J]. 计算机与现代化, 2024, 0(11): 106-112.
[7]	候聪颖, 杨文清, 王召, 程聪. 基于时频自注意力残差时序卷积网络的语音增强[J]. 计算机与现代化, 2024, 0(09): 20-24.
[8]	叶森辉, 王蕾. 结合局部自注意力和深度优化的多视图重建[J]. 计算机与现代化, 2024, 0(05): 92-98.
[9]	游嘉靖1, 2, 何月顺1, 何璘琳1, 钟海龙1, 2. 基于AHP-CNN的加密流量分类方法[J]. 计算机与现代化, 2024, 0(04): 83-87.
[10]	李岸然1, 方阳阳2, 程慧杰2, 张申申2, 阎金强3, 于腾3, 杨国为3. 基于双流Transformer的单幅图像去雾方法[J]. 计算机与现代化, 2024, 0(03): 78-84.
[11]	李亚平, 王军防, 余红梅, 窦一民, 肖媛, 田继林. Regformer：基于稀疏注意力的输油管道水力压降预测方法[J]. 计算机与现代化, 2024, 0(01): 59-66.
[12]	郑海利, 陈平华. 基于动态卷积和自注意力的序列推荐模型[J]. 计算机与现代化, 2023, 0(10): 9-16.
[13]	龚轩, 郭中华, 陈旺. 基于CA-TransUNet的遥感图像道路分割[J]. 计算机与现代化, 2023, 0(07): 112-118.
[14]	夏义春, 李汪根, 李豆豆, 葛英奎, 王志格. 结合注意力机制和图神经网络的CTR预估模型[J]. 计算机与现代化, 2023, 0(03): 29-37.
[15]	乔善宝, 高永彬, 黄勃, 余文俊. 基于条件卷积与极化自注意力的单目深度与位姿估计[J]. 计算机与现代化, 2023, 0(02): 34-39.