基于多模态特征融合的抑郁症识别

doi:10.3969/j.issn.1006-2475.2023.10.003

摘要/Abstract

摘要： 抑郁症是一种常见的精神疾病，现有的抑郁症诊断主要依赖于抑郁量表和精神科医生的访谈，具有较强的主观性。近年来，越来越多的研究者致力于通过脑电特征或音频特征识别抑郁症患者，但并未有研究将脑电信息与音频信息有效地结合起来，忽略了音频和脑电数据之间的相关性。因此本文提出一种基于全连接神经网络的多模态特征融合模型，通过对音频模态和脑电模态信息的特征融合提升抑郁症识别的准确率，为抑郁症的识别提供新的角度和方法。实验表明，多模态特征融合在MODMA数据集上的抑郁症识别准确率达到了81.58%且高于单模态抑郁症识别方法的准确率。这表明，相比于单模态识别，多模态特征融合模型能够提高抑郁症识别的准确率。

关键词: 关键词：多模态数据融合, 抑郁症识别, 特征融合, 全连接神经网络

Abstract: Abstract: Depression is a common psychiatric disorder. However， the existing diagnostic methods for depression mainly rely on scales and interviews with psychiatrists， which are highly subjective. In recent years， researchers have devoted themselves to identifying depressed patients by EEG features or audio features， but no study has effectively combined EEG information with audio information， ignoring the correlation between audio and EEG data. Therefore， this study proposes a feature-level multimodal fusion model to improve the accuracy of depression recognition. We combine the audio and EEG modality information based on a fully connected neural network. Our experiments show that the accuracy of depression recognition using feature-level multimodal fusion model on the MODMA dataset reaches 81.58%， which is higher than that of using single-modality. The results indicate that the feature-level multimodal fusion model can improve the accuracy of depression recognition compared to single-modality. Our research provides a new perspective and method for depression recognition.

Key words: Key words: multimodal data fusion, depression detection, feature-level fusion, fully-connected neural networks

中图分类号:

TP399

谷明轩, 范冰冰. 基于多模态特征融合的抑郁症识别[J]. 计算机与现代化, 2023, 0(10): 17-22.

GU Ming-xuan, FAN Bing-bing. Feature-level Multimodal Fusion for Depression Recognition[J]. Computer and Modernization, 2023, 0(10): 17-22.

参考文献［37］

［1］	廖成菊，冯正直. 抑郁症情绪加工与认知控制的脑机制［J］. 心理科学进展， 2010，18（2）:282-287.
［2］	祁荣，陈军，余邵民. 关于抑郁症的研究综述［J］. 心理月刊， 2020，15（17）:238-240.
［3］	CASSANO P， FAVA M. Depression and public health: An overview［J］. Journal of Psychosomatic Research， 2002，53（4）:849-857.
［4］	祁娜，冯媛，王刚. 抑郁症客观评估方法的研究进展［J］. 神经疾病与精神卫生， 2020，20（5）:341-346.
［5］	汪作为，彭代辉，刘晓华，等. 忧郁/快感缺失型抑郁症临床评估与诊治指导建议［J］. 临床精神医学杂志， 2021，31（1）:1-5.
［6］	KROENKE K， SPITZER R L， WILLIAMS J B W. The PHQ-9: Validity of a brief depression severity measure［J］. Journal of General Internal Medicine， 2001，16（9）:606-613.
［7］	VALSTAR M， GRATCH J， SCHULLER B， et al. AVEC 2016: Depression， mood， and emotion recognition workshop and challenge［C］// Proceedings of the 6th International Workshop on Audio/Visual Emotion Challenge. 2016:3-10.
［8］	OLBRICH S， ARNS M. EEG biomarkers in major depressive disorder: Discriminative power and prediction of treatment response［J］. International Review of Psychiatry， 2013，25（5）:604-618.
［9］	ZHOU Z H， FENG J. Deep forest: Towards an alternative to deep neural networks［C］// Proceedings of the 26th International Joint Conference on Artificial Intelligence. 2017:3553-3559.
［10］	ISLAM M R， KABIR M A， AHMED A， et al. Depression detection from social network data using machine learning techniques［J］. Health Information Science and Systems， 2018，6（1）. DOI: 10.1007/s13755-018-0046-0.
［11］	FINGELKURTS A A， FINGELKURTS A A， BAGNATO S， et al. EEG oscillatory states as neuro-phenomenology of consciousness as revealed from patients in vegetative and minimally conscious states［J］. Consciousness and Cognition， 2012，21（1）:149-169.
［12］	蒲涛，许莉，蒲涛青，等. 不同严重程度抑郁症患者SPECT/CT脑血流灌注显像特点分析［J］. 中国CT和MRI杂志， 2022，20（8）:24-27.
［13］	LAVE J R， FRANK R G， SCHULBERG H C， et al. Cost-effectiveness of treatments for major depression in primary care practice［J］. Archives of General Psychiatry， 1998，55（7）:645-651.
［14］	ERGUZEL T T， OZEKES S， TAN O， et al. Feature selection and classification of electroencephalographic signals: An artificial neural network and genetic algorithm based approach［J］. Clinical EEG and Neuroscience， 2015，46（4）:321-326.
［15］	HOSSEINIFARD B， MORADI M H， ROSTAMI R. Classifying depression patients and normal subjects using machine learning techniques and nonlinear features from EEG signal［J］. Computer Methods and Programs in Biomedicine， 2013，109（3）:339-345.
［16］	ORGO L， BACHMANN M， KALEV K， et al. Resting EEG functional connectivity and graph theoretical measures for discrimination of depression［C］// Proceedings of the 2017 IEEE EMBS International Conference on Biomedical & Health Informatics （BHI）. 2017:389-392.
［17］	PENG H， XIA C， WANG Z H， et al. Multivariate pattern analysis of EEG-based functional connectivity: A study on the identification of depression［J］. IEEE Access， 2019，7:92630-92641.
［18］	BALANO J B， HUERTO V L， SANCHEZ S， et al. Determining the level of depression using BDI-II through voice recognition［C］// Proceedings of the 2019 IEEE 6th International Conference on Industrial Engineering and Applications （ICIEA）. 2019:387-391.
［19］	FLINT A J， BLACK S E， CAMPBELL-TAYLOR I， et al. Abnormal speech articulation， psychomotor retardation， and subcortical dysfunction in major depression［J］. Journal of Psychiatric Research， 1993，27（3）:309-319.
［20］	任泽裕，王振超，柯尊旺，等. 多模态数据融合综述［J］. 计算机工程与应用， 2021，57（18）:49-64.
［21］	CAI H S， QU Z D， LI Z， et al. Feature-level fusion approaches based on multimodal EEG data for depression recognition［J］. Information Fusion， 2020，59:127-138.
［22］	何俊，张彩庆，李小珍，等. 面向深度学习的多模态融合技术研究综述［J］. 计算机工程， 2020，46（5）:1-11.
［23］	KAHOU S E， PAL C， BOUTHILLIER X， et al. Combining modality specific deep neural networks for emotion recognition in video［C］// Proceedings of the 15th ACM on International Conference on Multimodal Interaction. 2013:543-550.
［24］	YANG L， JIANG D M， XIA X H， et al. Multimodal measurement of depression using deep learning models［C］// Proceedings of the 7th Annual Workshop on Audio/Visual Emotion Challenge. 2017:53-59.
［25］	张迎辉，聂燕敏，孙波，等. 基于深度森林多模态数据决策级融合抑郁症评价方法［J］. 北京师范大学学报（自然科学版）， 2018，54（5）:606-611.
［26］	WU D， PIGOU L， KINDERMANS P J， et al. Deep dynamic neural networks for multimodal gesture segmentation and recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016，38（8）:1583-1597.
［27］	LAN Z Z， BAO L， YU S I， et al. Multimedia classification and event detection using double fusion［J］. Multimedia Tools and Applications， 2014，71（1）:333-347.
［28］	CAI H S， YUAN Z Q， GAO Y W， et al. A multi-modal open dataset for mental-disorder analysis［J］. Scientific Data， 2022，9（1）. DOI: 10.1038/s41597-022-01211-x.
［29］	DELORME A， MAKEIG S. EEGLAB: An open source toolbox for analysis of single-trial EEG dynamics including independent component analysis［J］. Journal of Neuroscience Methods， 2004，134（1）:9-21.
［30］	WIDMANN A， SCHROGER E， MAESS B. Digital filter design for electrophysiological data: A practical approach［J］. Journal of Neuroscience Methods， 2015，250:34-46.
［31］	STAM C J， NOLTE G， DAFFERTSHOFER A. Phase lag index: Assessment of functional connectivity from multi channel EEG and MEG with diminished bias from common sources［J］. Human Brain Mapping， 2007，28（11）:1178-1193.
［32］	ZENG L L， SHEN H， LIU L， et al. Identifying major depression using whole-brain functional connectivity: A multivariate pattern analysis［J］. Brain， 2012，135（5）:1498-1507.
［33］	VERGIN R， O'SHAUGHNESSY D. Pre-emphasis and speech recognition［C］// Proceedings of the 1995 Canadian Conference on Electrical and Computer Engineering. 1995，2:1062-1065.
［34］	SOHN J， KIM N S， SUNG W. A statistical model-based voice activity detection［J］. IEEE Signal Processing Letters， 1999，6（1）:1-3.
［35］	EYBEN F， WOLLMER M， SCHULLER B. OpenSMILE: The Munich versatile and fast open-source audio feature extractor［C］// Proceedings of the 18th ACM International Conference on Multimedia. 2010:1459-1462.
［36］	罗涛，李剑峰，韩家辉，等. 一种基于多模态特征融合的骨质疏松评估方法［J］. 北京邮电大学学报， 2019，42（6）:84-90.
［37］	XU L， FU H Y， GOODARZI M， et al. Stochastic cross validation［J］. Chemometrics and Intelligent Laboratory Systems， 2018，175:74-81.

[1]	宁娟, 周庆华, 曾小为. 改进YOLOv7算法在西林瓶轧盖缺陷检测中的应用[J]. 计算机与现代化, 2023, 0(12): 82-86.
[2]	陈俊义. 基于图节点动静态特征的健康事件预测模型[J]. 计算机与现代化, 2023, 0(10): 39-44.
[3]	邢世帅, 刘丹凤, 王立国, 潘月涛, 孟灵鸿, 岳晓晗. 基于空间注意力残差网络的图像超分辨率重建模型[J]. 计算机与现代化, 2023, 0(10): 45-52.
[4]	陈嘉敏, 张伯泉, 麦海鹏. 基于特征融合的海马体分割[J]. 计算机与现代化, 2023, 0(08): 1-6.
[5]	王鸿, 葛红. 基于注意力机制和语义相似度的跨模态哈希检索[J]. 计算机与现代化, 2023, 0(08): 44-53.
[6]	王杰, 潘凤, 张艳莎, 谭棉, 严晓波, 王林, . 融合带权非局部模块的铝型材表面缺陷分类[J]. 计算机与现代化, 2023, 0(05): 86-92.
[7]	朱理清, 李祥, . 改进YOLOv5算法的遥感图像车辆检测[J]. 计算机与现代化, 2023, 0(05): 117-121.
[8]	张晓东, 王栩颖, 秦子轩. 基于特征融合的抽油机井检泵周期预测[J]. 计算机与现代化, 2022, 0(12): 60-66.
[9]	王长军, 彭成, 李勇. 复杂环境下的多特征融合船舶目标检测算法[J]. 计算机与现代化, 2022, 0(11): 81-88.
[10]	刘立婷, 欧毓毅. 融合注意力机制与并行混合网络的DGA域名检测[J]. 计算机与现代化, 2022, 0(09): 119-126.
[11]	曾奕斌, 葛红. 基于语义融合和多重相似性学习的跨模态检索[J]. 计算机与现代化, 2022, 0(08): 50-56.
[12]	李燕, 卢峥松, 李青云, 杨世海, 张小龙. 基于轻量级结构重参数化网络的口罩检测算法[J]. 计算机与现代化, 2022, 0(07): 40-46.
[13]	梁正友, 耿经邦, 孙宇. 基于改进残差网络的交通标志识别算法[J]. 计算机与现代化, 2022, 0(04): 52-57.
[14]	宋爽, 陆鑫达. 基于BERT与图像自注意力机制的文本匹配模型[J]. 计算机与现代化, 2021, 0(11): 12-16.
[15]	李国栋, 彭敦陆. 基于多模双线性池化方法的虚假新闻检测模型[J]. 计算机与现代化, 2021, 0(11): 17-21.