基于Focal Loss改进LightGBM的供水管网毛刺数据检测

doi:10.3969/j.issn.1006-2475.2024.09.013

摘要/Abstract

摘要： 针对数据不平衡导致的管网毛刺数据检测召回率偏低问题，提出一种Focal Loss改进LightGBM的管网毛刺数据检测方法。首先，结合管网毛刺数据的特点，针对性构造邻域相关特征。其次，将Focal Loss函数引入LightGBM，提高模型对难以检测的毛刺样本的权重，并对Focal Loss不同的参数取值进行实验，以平衡精确率与召回率。最后，选择不同参数的Focal Loss进行模型融合，进一步提升模型对不平衡毛刺数据的检测性能。在某市供水管网的真实数据上进行实验，结果表明，对比基于交叉熵损失函数的单一模型，本文提出的Focal Loss改进后的融合模型在毛刺数据上召回率和F1值的提升幅度达33.3和18个百分点，但毛刺数据的精确率还有待进一步提升。本文所提方法从损失函数入手，动态调整难易样本的权重，有效地提升了不平衡数据下的毛刺数据的检测性能。

关键词: 异常检测, Focal Loss, LightGBM, 不平衡数据, 毛刺数据

Abstract: Addressing the issue of low recall in the detection of burrs in water supply pipelines due to data imbalance， this paper proposes an improved method for detecting pipeline burr data by utilizing the Focal Loss function and integrating it with LightGBM. Firstly， considering the characteristics of pipeline burr data， neighborhood-related features are constructed. Secondly， the Focal Loss function is introduced into LightGBM to increase the model’s weight on hard-to-detect burr samples. Different parameter values for Focal Loss are experimented to balance precision and recall. Finally， different parameter settings for Focal Loss are selected for model fusion to further improve the detection performance of the model on imbalanced burr data. Experiments are carried out on a real dataset from a municipal water supply pipeline. The experimental results show that， compared with a single model based on the cross-entropy loss function， the fused model with the improved Focal Loss in this paper achieves 33.3 percentage points increase in recall and 18 percentage points increase in F1 score for burr data. However， the precision of burr data detection still needs further improvement. The method proposed in this paper starts with loss function and dynamically adjusts the weights of difficult and easy samples to effectively improve the detection performance of burr data under unbalanced data.

Key words: anomaly detection, Focal Loss, LightGBM, imbalanced data, burr data

中图分类号:

TP391

薛浩, 马静, 郭小宇. 基于Focal Loss改进LightGBM的供水管网毛刺数据检测[J]. 计算机与现代化, 2024, 0(09): 74-81.

XUE Hao, MA Jing, GUO Xiaoyu. Water Supply Pipeline Burr Data Detection Based on Improved LightGBM by Focal Loss[J]. Computer and Modernization, 2024, 0(09): 74-81.

参考文献

［1］王飞. iLOF*：一种改进的局部异常检测算法［J］. 计算机系统应用， 2015，24（12）：233-238.
［2］孙梦迪. 基于压力数据的城市供水网络异常事件检测研究［D］. 重庆：重庆邮电大学， 2021.
［3］ HAWKINS D M. Identification of Outliers［M］. London： Chapman and Hall， 1980.
［4］ ISLAM M K， HRIDI P， HOSSAIN M S， et al. Network anomaly detection using LightGBM： A gradient boosting classifier［C］// 2020 30th International Telecommunication Networks and Applications Conference （ITNAC）. IEEE， 2020. DOI: 10.1109/ITNAC50341.2020.9315049.
［5］杨凌凯. 改进的LightGBM算法在汽车销售客户流失预警中的应用［D］. 武汉：华中农业大学， 2022.
［6］李爱华，王迪文，续维佳，等. 基于多数据源融合的创业板上市公司财务造假异常检测［J］. 数据分析与知识发现， 2023，7（5）：33-47.
［7］ LIN M Y， ZHU X F， HUA T， et al. Detection of ionospheric scintillation based on XGBoost model improved by SMOTE-ENN technique［J］. Remote Sensing， 2021，13（13）. DOI: 10.3390/rs13132577.
［8］ LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. IEEE， 2017：
2999-3007.
［9］ JOHNSON R A， WICHERN D W. Applied Multivariate Statistical Analysis［M］. Pearson， 2007.
［10］ LI A H， FENG M Y， LI Y R Y， et al. Application of outlier mining in insider identification based on boxplot method［J］. Procedia Computer Science， 2016，91：245-251.
［11］习佳星，沈钢，许承焯. 地铁车辆车轮轮缘异常磨耗检测中的箱线图算法和改进孤立森林算法［J］. 城市轨道交通研究， 2022，25（12）：127-132.
［12］顾国庆，李晓辉. 基于箱线图异常检测的指数加权平滑预测模型［J］. 计算机与现代化， 2021（1）：28-33.
［13］ SHENG B， LI Q， MAO W Z， et al. Outlier detection in sensor networks［C］// Proceedings of the 8th ACM International Symposium on Mobile AD HOC Networking and Computing. ACM， 2007：219-228.
［14］ GOLDSTEIN M， DENGEL A. Histogram-based outlier score （HBOS）： A fast unsupervised anomaly detection algorithm［C］ // KI-2012： Poster and Demo Track. 2012，1：59-63.
［15］ BREUNIG M M， KRIEGEL H P， NG R T， et al. LOF： Identifying density-based local outliers［C］// Proceedings of the 2000 ACM SIGMOD International Conference on Management of Data. ACM， 2000：93-104.
［16］ CHENG Z Y， ZOU C M， DONG J W. Outlier detection using isolation forest and local outlier factor［C］// Proceedings of the 2019 Conference on Research in Adaptive and Convergent Systems. ACM， 2019：161-168.
［17］刘志硕，彭涛，侯娜. 基于局部异常因子算法的首都机场航班延误预警研究［J］. 民航学报， 2022，6（2）：21-25.
［18］陶永辉，王勇. 基于改进的K-means风电机异常数据检测［J］. 国外电子测量技术， 2023，42（4）：141-148.
［19］ CHAWLA S， GIONIS A. K-means–： A unified approach to clustering and outlier detection［C］// Proceedings of the 2013 SIAM International Conference on Data Mining. Society for Industrial and Applied Mathematics. 2013：189-197.
［20］贾旭超，马迅，刘安磊，等. 基于孤立森林法的电能计量数据异常检测方法［J］. 河北电力技术， 2023，42（2）：41-45.
［21］ ÇELIK M， DADAŞER-ÇELIK F， DOKUZ A Ş. Anomaly detection in temperature data using DBSCAN algorithm［C］// 2011 International Symposium on Innovations in Intelligent Systems and Applications. IEEE， 2011：91-95.
［22］ THANG T M， KIM J. The anomaly detection by using DBSCAN clustering with multiple parameters［C］// 2011 International Conference on Information Science and Applications. IEEE， 2011. DOI: 10.1109/ICISA.2011.5772437.
［23］ SAVE P， TIWAREKAR P， JAIN K N， et al. A novel idea for credit card fraud detection using decision tree［J］. International Journal of Computer Applications， 2017，161（13）:6-9.
［24］ YANG J H， DENG T Q， SUI R. An adaptive weighted one-class SVM for robust outlier detection［C］// Proceedings of the 2015 Chinese Intelligent Systems Conference. Springer， 2016，1：475-484.
［25］ PRIMARTHA R， TAMA B A. Anomaly detection using random forest： A performance revisited［C］// 2017 International Conference on Data and Software Engineering （ICoDSE）.
IEEE，2017. DOI: 10.1109/ICODSE.2017.8285847.
［26］陈适宜. 一种基于XGboost的异常检测算法［J］. 电脑知识与技术， 2021，17（2）：188-189.
［27］ LIU S C， CHEN Z， PAN M C， et al. Magnetic anomaly detection based on full connected neural network［J］. IEEE Access， 2019，7：182198-182206.
［28］ SU Y， ZHAO Y J， SUN M， et al. Detecting outlier machine instances through gaussian mixture variational autoencoder with one dimensional cnn［J］. IEEE Transactions on Computers， 2021，71（4）：892-905.
［29］ NGUYEN H D， TRAN K P， THOMASSEY S， et al. Forecasting and anomaly detection approaches using LSTM and LSTM autoencoder techniques with the applications in supply chain management［J］. International Journal of Information Management， 2021，57. DOI： 10.1016/j.ijinfomgt.2020.
102282.
［30］ WU D， JIANG Z K， XIE X F， et al. LSTM learning with Bayesian and Gaussian processing for anomaly detection in industrial IoT［J］. IEEE Transactions on Industrial Informatics， 2019，16（8）：5244-5253.
［31］ TAN X P， SU S J， HUANG Z P， et al. Wireless sensor networks intrusion detection based on SMOTE and the random forest algorithm［J］. Sensors， 2019，19（1）. DOI： 10.3390/s19010203.
［32］张海宾，肖涵，易灿灿，等. 基于KNN 和深度高斯混合模型的边界过采样方法［J］. 数据分析与知识发现， 2023，7（5）：116-122.
［33］ MUSHAVA J， MURRAY M. A novel XGBoost extension for credit scoring class-imbalanced data combining a generalized extreme value link and a modified focal loss function［J］. Expert Systems with Applications， 2022，202. DOI: 10.1016/j.eswa.2022.117233.

[1]	吕美静1, 年梅1, 张俊1, 2, 付鲁森1. 基于自编码器的网络流量异常检测[J]. 计算机与现代化, 2024, 0(12): 40-44.
[2]	周传华1, 2, 任太娇1, 罗岚1, 周昊1. 基于联合熵的非平衡数据边界混合重采样[J]. 计算机与现代化, 2024, 0(09): 95-100.
[3]	潘裕庆, 张苏宁, 冯仁君, 景栋盛. 结合粒子群优化和LightGBM的入侵检测方法[J]. 计算机与现代化, 2023, 0(04): 123-126.
[4]	刘付谦, 秦华妮, 赖惠慧. 基于SMOTE和贝叶斯优化的Adj-LightGBM人岗匹配算法[J]. 计算机与现代化, 2023, 0(03): 90-95.
[5]	孙丹, 施炜利, 饶兰香, 孟莎莎, 郭晓明, 李逸伦. 基于改进混合采样和XGBoost算法的信用卡欺诈检测方法[J]. 计算机与现代化, 2022, 0(09): 111-118.
[6]	国腾飞, 张则言, 付宏财, 王继选, 牛天宝. 融合注意力机制的轻量级红外高压套管识别算法[J]. 计算机与现代化, 2022, 0(01): 70-76.
[7]	周传华, 朱俊杰, 徐文倩, 邓佳佳. 基于聚类欠采样的集成分类算法[J]. 计算机与现代化, 2021, 0(11): 72-76.
[8]	董燕辉, 肖军弼, 张红霞, 杨勇进, 计志滨. 面向不平衡数据集的应用系统识别方法[J]. 计算机与现代化, 2021, 0(05): 93-97.
[9]	闫芮铵, 张立臣. 基于Focal Loss和卷积神经网络的入侵检测[J]. 计算机与现代化, 2021, 0(01): 65-69.
[10]	周幸, 陈立福. 基于双注意力机制的遥感图像目标检测[J]. 计算机与现代化, 2020, 0(08): 1-7.
[11]	史明华,吴广潮. 基于聚类混合采样的不平衡数据分类[J]. 计算机与现代化, 2020, 0(05): 34-.
[12]	熊苏生１,2. 基于改进LightGBM的交通模式识别算法[J]. 计算机与现代化, 2018, 0(10): 68-.
[13]	易未1,毛力1,孙俊1,吴林海2,3. 改进Smote算法在不平衡数据集上的分类研究[J]. 计算机与现代化, 2018, 0(03): 83-.
[14]	霍旭1，吴涛1,2. 对于不平衡数据的模糊时间序列预测[J]. 计算机与现代化, 2017, 0(12): 108-110.