Regformer：基于稀疏注意力的输油管道水力压降预测方法

doi:10.3969/j.issn.1006-2475.2024.01.010

计算机与现代化 ›› 2024, Vol. 0 ›› Issue (01): 59-66.doi: 10.3969/j.issn.1006-2475.2024.01.010

Regformer：基于稀疏注意力的输油管道水力压降预测方法

（1.国家管网集团东部原油储运有限公司，江苏徐州 221008； 2.中国石油大学（华东）计算机科学与技术学院，山东青岛 266580）

出版日期:2024-01-23 发布日期:2024-02-23
作者简介:李亚平（1973—），男，湖南祁东人，正高级工程师，硕士，研究方向:油气储运智能信息处理，E-mail： liyp01@pipechina. com.cn；王军防（1973—），男，湖南双峰人，高级工程师，硕士，研究方向:油气储运工艺，E-mail： wangjf08@pipechina.com.cn；余红梅（1981—），女，四川成都人，高级工程师，硕士，研究方向:数值仿真，智能优化，E-mail: yuhm@pipechina.com.cn；通信作者:窦一民（1994—），男，山东东阿人，博士研究生，研究方向:人工智能技术与应用，E-mail: 7240091@qq.com; 肖媛（2000—），女，江西泰和人，硕士研究生，研究方向:人工智能技术与应用，E-mail: 2064906490@qq.com；田继林（1999—），男，山东东平人，硕士研究生，研究方向:人工智能技术与应用， E-mail: erkemumu@163.com。
基金资助:
国家自然科学基金重大项目（51991365）；山东省自然科学基金资助项目（ZR2021MF082）

Regformer： Hydraulic Prediction Model of Oil Pipeline Based on GS-XGBoost

（1. Eastern Crude Oil Pipeline Storage and Transportation Co.， Ltd.， National Petrolenm and Natural Gas Pipe Network Group Co. Ltd.，Xuzhou 221008， China； 2. School of Computer Science and Technology， China University of Petroleum （East China）， Qingdao 266580， China）

Online:2024-01-23 Published:2024-02-23

摘要/Abstract

摘要： 摘要：输油管道水力压降预测对于输油管道的生产调控十分重要，目前机器学习方法将压降预测看作回归问题，然而管道水力计算受多种因素影响，传统的机器学习方法由训练集得到的固定权重难以泛化到更多的测试样例或真实的工程场景中。本文提出一种水力压降回归预测方法Regformer，该方法将稀疏注意力机制引入回归任务，在多头注意力的基础上设计一种平滑概率方法，并融入特征投影机制。在10个公共数据集上对7种主流方法进行对比实验分析，定性实验显示Regformer对于局部的突变有很好的拟合能力；水力压降预测实验表明自注意力方法对于多变量不确定性的回归任务具有显著的优势，尤其是对极端情况的处理体现了自适应回归参数的重要性，并且Regformer用了更少的计算量取得了比Transformer更好的性能，验证了本文提出的稀疏注意力和自适应特征投影在水力压降预测任务中的优越性。

关键词: 关键词：水力预测, Transformer, Regformer, 自注意力机制

Abstract: Abstract: Hydraulic pressure drop prediction is very important for production regulation of oil pipelines， and current machine learning methods regard pressure drop prediction as a regression problem， however， pipeline hydraulic calculation is affected by many factors， and the fixed weights obtained from the training set by traditional machine learning methods are difficult to generalize to more test samples or real engineering scenarios. This paper proposes a hydraulic pressure drop regression prediction method， Regformer， which introduces a sparse attention mechanism into the regression task， designs a smoothing probability method based on multi-headed attention， and incorporates a feature projection mechanism. In a comparative experimental analysis with seven mainstream methods on 10 public data sets， qualitative experiments show that Regformer has good fitting ability for local mutations; experiments on hydraulic pressure drop prediction show that the self-attentive method has significant advantages for regression tasks with multivariate uncertainty， especially for extreme cases reflecting the importance of adaptive regression parameters， and Regformer achieves better performance than Transformer with less computation， verifying the superiority of the proposed sparse attention and adaptive feature projection for the hydraulic pressure drop prediction task.

Key words: Key words: hydrodynamic prediction, Transformer, Regformer, Self-attentive

中图分类号:

TP399

李亚平, 王军防, 余红梅, 窦一民, 肖媛, 田继林. Regformer：基于稀疏注意力的输油管道水力压降预测方法[J]. 计算机与现代化, 2024, 0(01): 59-66.

LI Ya-ping, WANG Jun-fang, YU Hong-mei, DOU Yi-min, XIAO Yuan, TIAN Ji-lin. Regformer： Hydraulic Prediction Model of Oil Pipeline Based on GS-XGBoost[J]. Computer and Modernization, 2024, 0(01): 59-66.

参考文献

［1］刘晓燕，刘扬，孙建刚，等. 输油管道运行优化研究［J］. 工程热物理学报， 2004，25（4）:558-561.
［2］杨树人，廖震，敖娟，等. 混输管道数据库压降插值计算方法研究［J］. 数学的实践与认识， 2017，47（18）:107-110.
［3］袁志萍. 塔河油田稠油外输管道水力热力计算［J］. 油气田地面工程， 2011，30（7）:31-33.
［4］张维志. 超稠油管道输送水力及热力计算［J］. 油气储运， 2007（4）:11-13.
［5］柳歆，张劲军，宇波. 热油管道间歇输送热力水力特性［J］. 油气储运， 2011，30（6）:419-422.
［6］战征. 顺北油气田集输管网气液混输特性模拟［J］. 油气储运， 2022，41（4）:424-430.
［7］赵洪洋，魏立新，刘书孟，等. 油田污水管道水力计算修正研究［J］. 当代化工， 2020，49（2）:441-445.
［8］杨凯. 庆哈输油管道混输条件下的安全经济运行方案研究［D］. 大庆:东北石油大学， 2017.
［9］ ATTIA M， ABDULRAHEEM A， MAHMOUD M A. Pressure drop due to multiphase flow using four artificial intelligence methods［C］// SPE North Africa Technical Conference and Exhibition. 2015:170-179.
［10］ ZABIHI R， MOWLA D， KARAMI H R. Artificial intelligence approach to predict drag reduction in crude oil pipelines［J］. Journal of Petroleum Science and Engineering， 2019，178:586-593.
［11］ WEI L X， ZHANG Y， JI L L， et al. Pressure drop prediction of crude oil pipeline based on PSO-BP neural network［J］. Energies， 2022，15（16）:5880. DOI: 10.3390/en15165880.
［12］ MOAYEDI H， FOONG L K， NGUYEN H. Soft computing method for predicting pressure drop reduction in crude oil pipelines based on machine learning methods［J］. Journal of the Brazilian Society of Mechanical Sciences， 2020，42（11）:562. DOI: 10.1007/s40430-020-02613-x.
［13］陈新果，冷绪林，安云朋，等. 基于深度学习结构网络的输气管道水力预测模型［J］. 油气田地面工程， 2018，37（8）:52-57.
［14］李树杉，张宇，周明，等. 混沌粒子群优化的RBF神经网络在热油管道仿真中的应用［J］. 纳米技术与精密工程， 2017，15（3）:181-186.
［15］王力，陈双庆，王佳楠，等. 基于面向对象和二叉树的油气集输管网水力计算［J］. 油气储运， 2019，38（12）:1359-1365.
［16］ SHADLOO M S， RAHMAT A， KARIMIPOUR A， et al. Estimation of pressure drop of two-phase flow in horizontal long pipes using artificial neural networks［J］. Journal of Energy Resources Technology， Transactions of the ASME， 2020，142（11）. DOI: 10.1115/1.4047593.
［17］ VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［J］// Proceedings of the 31st International Conference on Neural Information Processing Systems. 2017: 6000-6010.
［18］ WANG C J， CHEN Y Y， ZHANG S Q， et al. Stock market index prediction using deep Transformer model［J］. Expert Systems with Applications， 2022，208. DOI: 10.1016/j.eswa.
2022.118128.
［19］ DAIYA D， LIN C. Stock movement prediction and portfolio management via multimodal learning with Transformer［C］// 2021 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP）. 2021:3305-3309.
［20］ XU M X， DAI W R， LIU C M， et al. Spatial-temporal transformer networks for traffic flow forecasting［J］. arXiv preprint arXiv:2001.02908， 2020.
［21］ ZHANG Z Z， SONG W， LI Q Q. Dual-aspect self-attention based on transformer for remaining useful life prediction［J］. IEEE Transactions on Instrumentation and Measurement， 2022，71. DOI: 10.1109/TIM.2022.3160561.
［22］ MO Y， WU Q H， LI X， et al. Remaining useful life estimation via transformer encoder enhanced by a gated convolutional unit［J］. Journal of Intelligent Manufacturing， 2021，32（7）:1997-2006.
［23］ ZHOU H Y， ZHANG S H， PENG J Q， et al. Informer: beyond efficient transformer for long sequence time-series forecasting［J］. arXiv preprint arXiv:2012.07436， 2020.
［24］ CHUA L O， ROSKA T. The CNN paradigm［J］. IEEE Transactions on Circuits and Systems I: Fundamental Theory and Applications， 1993，40（3）:147-156.
［25］ FABBRI M， MORO G. Dow jones trading with deep learning: The unreasonable effectiveness of recurrent neural networks［C］// Proceedings of the 7th International Conference on Data Science， Technology and Applications. 2018:142-153.
［26］ LIN M， CHEN Q， YAN S C. Network in network［J］. a arXiv preprint arXiv:1312.4400， 2013.
［27］ HU J， SHEN L， ALBANIE S， et al. Squeeze-and-excitation networks.［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020，42（8）:2011-2023.
［28］ KINGMA D， BA J. Adam: A method for stochastic optimization［J］. arXiv preprint arXiv :1412.6980， 2014.
［29］ LIAW A， WIENER M. Classification and regression by randomForest［J］. R News， 2002，2（3）:18-22.
［30］ KE G L， MENG Q， FINLEY T， et al. LightGBM: A highly efficient gradient boosting decision tree［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. 2017:3149-3157.
［31］ CHEN T Q， HE T， BENESTY M， et al. XGBoost: Extreme Gradient Boosting［EB/OL］. ［2022-10-18］. https://cran.r-project.org/web/packages/xgboost/xgboost.pdf.
［32］ STEINBERG D. CART: Classification and regression trees［M］// The Top Ten Algorithms in Data Mining. Chapman and Hall/CRC， 2009:193-216.
［33］ SMOLA A J， SCHOLKOPF B. A tutorial on support vector regression［J］. Statistics and Computing，2004，14（3）:199-222.
［34］ ZHU J， ZOU H， ROSSET S， et al. Multi-class AdaBoost［J］. Statistics and its Interface， 2009，2（3）:349-360.
［35］ RAMCHOUN H， IDRISSI J M A， GHANOU Y， et al. Multilayer perceptron: Architecture optimization and training［C］// Proceedings of the 2nd International Conference on Big Data， Cloud and Applications. 2017:1-6.

[1]	何思达, 陈平华. 基于意图的轻量级自注意力序列推荐模型[J]. 计算机与现代化, 2024, 0(12): 1-9.
[2]	张晓东1, 白广芝1, 李敏1, 李昊洋2. 基于经验小波变换的油气井产量预测模型 [J]. 计算机与现代化, 2024, 0(12): 53-58.
[3]	王海洋, 弓同鑫, 杨锦涛, 陈再龙. 多尺度时间编码的工业园区短期负荷预测[J]. 计算机与现代化, 2024, 0(12): 59-65.
[4]	祁贤, 刘大铭, 常佳鑫. 基于改进自注意力机制的多视图三维重建[J]. 计算机与现代化, 2024, 0(11): 106-112.
[5]	候聪颖, 杨文清, 王召, 程聪. 基于时频自注意力残差时序卷积网络的语音增强[J]. 计算机与现代化, 2024, 0(09): 20-24.
[6]	游嘉靖1, 2, 何月顺1, 何璘琳1, 钟海龙1, 2. 基于AHP-CNN的加密流量分类方法[J]. 计算机与现代化, 2024, 0(04): 83-87.
[7]	李岸然1, 方阳阳2, 程慧杰2, 张申申2, 阎金强3, 于腾3, 杨国为3. 基于双流Transformer的单幅图像去雾方法[J]. 计算机与现代化, 2024, 0(03): 78-84.
[8]	付鸿林, 张太红, 杨雅婷, 艾孜麦提·艾瓦尼尔, 马博. 基于生成对抗网络的维语场景文字修改网络[J]. 计算机与现代化, 2024, 0(01): 41-46.
[9]	许叶彤, 耿信哲, 赵伟强, 张月, 宁海龙, 雷涛. 基于CNN-Transformer混合结构的遥感影像变化检测模型[J]. 计算机与现代化, 2023, 0(07): 79-85.
[10]	刘静, 陈金广. 基于通道注意力和Transformer的图像标题生成方法[J]. 计算机与现代化, 2023, 0(05): 8-12.
[11]	夏义春, 李汪根, 李豆豆, 葛英奎, 王志格. 结合注意力机制和图神经网络的CTR预估模型[J]. 计算机与现代化, 2023, 0(03): 29-37.
[12]	王洪义, 孔梅梅, 徐荣青. 基于改进YOLOV5的火焰检测算法[J]. 计算机与现代化, 2023, 0(01): 103-107.
[13]	林椹尠, 屈嘉欣, 罗亮. 基于改进的Transformer_decoder的增强图像描述[J]. 计算机与现代化, 2023, 0(01): 7-12.
[14]	栗伟松, 汤敏芳, 何征岭, 王鹏, 杜利东, 方震, 陈贤祥. 基于自注意力机制和单导联心电信号的自动睡眠分期算法#br#[J]. 计算机与现代化, 2022, 0(12): 50-59.
[15]	李鑫, 任德均, 任秋霖, 曹林杰, 闫宗一. 基于Retinanet的轮毂焊缝检测定位方法[J]. 计算机与现代化, 2022, 0(09): 60-67.

Regformer：基于稀疏注意力的输油管道水力压降预测方法

Regformer： Hydraulic Prediction Model of Oil Pipeline Based on GS-XGBoost

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价