一种基于BERT的自动文本摘要模型构建方法

doi:10.3969/j.issn.1006-2475.2020.01.012

计算机与现代化

一种基于BERT的自动文本摘要模型构建方法

(华北计算技术研究所,北京100083)

收稿日期:2019-07-15 出版日期:2020-02-13 发布日期:2020-02-13
作者简介:岳一峰(1994-),男，河南新乡人，硕士研究生，研究方向：自然语言处理，E-mail: 228941230 @qq.com；黄蔚(1972-)，女，研究员，硕士，研究方向：大数据处理整合与挖掘分析；任祥辉(1979-)，男，研究员，硕士，研究方向：系统体系架构，大数据分析。
基金资助:
国家重点研发计划资助项目（2016YFB0801400）

An Automatic Text Summarization Model Construction Method Based on BERT Embedding

(North China Institute of Computing Technology， Beijing 100083， China)

Received:2019-07-15 Online:2020-02-13 Published:2020-02-13

摘要/Abstract

摘要： 针对传统词向量在自动文本摘要过程中因无法对多义词进行有效表征而降低文本摘要准确度和可读性的问题，提出一种基于BERT(Bidirectional Encoder Representations from Transformers)的自动文本摘要模型构建方法。该方法引入BERT预训练语言模型用于增强词向量的语义表示，将生成的词向量输入Seq2Seq模型中进行训练并形成自动文本摘要模型，实现对文本摘要的快速生成。实验结果表明，该模型在Gigaword数据集上能有效地提高生成摘要的准确率和可读性，可用于文本摘要自动生成任务。

关键词: 文本摘要, BERT模型, 注意力机制, Sequence-to-Sequence模型

Abstract: Aiming at the problem that the traditional word vector can not effectively represent polysemous words in text summarization, which reduces the accuracy and readability of summarization, this paper proposes an automatic text summarization model construction method based on BERT (Bidirectional Encoder Representations from Transformers)Embedding. This method introduces the BERT pre-training language model to enhance the semantic representation of word vector. The generated word vectors are input into the Seq2Seq model for training to form an automatic text summarization model, which realizes the rapid generation of text summarization. The experimental results show that the model can effectively improve the accuracy and readability of the generated summarization on Gigaword dataset, and can be used for automatic text summarization generation tasks.

Key words: text summarization, BERT model, attention mechanism, Sequence-to-Sequence(Seq2Seq) model

中图分类号:

TP391.1

岳一峰，黄蔚，任祥辉. 一种基于BERT的自动文本摘要模型构建方法[J]. 计算机与现代化, doi: 10.3969/j.issn.1006-2475.2020.01.012.

YUE Yi-feng, HUANG Wei, REN Xiang-hui. An Automatic Text Summarization Model Construction Method Based on BERT Embedding[J]. Computer and Modernization, doi: 10.3969/j.issn.1006-2475.2020.01.012.

参考文献

［1］李慕. 结合自动摘要技术的文本推荐方法研究及应用［D］. 武汉：武汉工程大学, 2017.
［2］沈华东，彭敦陆. AM-BRNN：一种基于深度学习的文本摘要自动抽取模型［J］. 小型微型计算机系统, 2018，39（6）：1184-1189.
［3］ BHASKAR P, BANDYOPADHYAY S. A query focused multi document automatic summarization［C］// Proceedings of the 24th Pacific Asia Conference on Language, Information and Computation. 2010:545-554.
［4］叶静. 面向多文本集的比较摘要研究［D］. 长沙：国防科学技术大学, 2012.
［5］ MIHALCEA R. Graph-based ranking algorithms for sentence extraction, applied to text summarization［C］// Proceedings of the ACL Interactive Poster and Demonstration Sessions. 2004:170-173.
［6］ BADRINATH R, VENKATASUBRAMANIYAN S, MADHAVAN C E V. Improving query focused summarization using look-ahead strategy［C］// European Conference on Information Retrieval. 2011:641-652.
［7］ YANG L, CAI X. Semi-supervised co-clustering for query-oriented theme-based summarization［J］. Research Journal of Applied Sciences, Engineering and Technology, 2012,4(18):3410-3414.
［8］ RUSH A M, CHOPRA S, WESTON J. A neural attention model for abstractive sentence summarization［J/OL］. 2015, arXiv: 1509.00685, (2015-09-03)［2019-06-01］. https://arxiv.org/pdf/1509.00685.pdf.
［9］ DEVLIN J, CHANG M W, LEE K, et al. Bert: Pre-training of deep bidirectional transformers for language understanding［J/OL］. 2018, arXiv: 1810.04805, (2018-10-11)［2019-06-01］. https:/arxiv.org/abs/1810.04805.
［10］VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need［C］// Advances in Neural Information Processing Systems. 2017:5998-6008.
［11］SUTSKEVER I, VINYALS O, LE Q V. Sequence to sequence learning with neural networks［C］// Advances in Neural Information Processing Systems. 2014:3104-3112.
［12］SENNRICH R, HADDOW B. Linguistic input features improve neural machine translation［J/OL］. 2016, arXiv: 1606.02892, (2016-07-27)［2019-06-01］. https://arxiv.org/pdf/1606.0289v2.pdf.
［13］蒲梅,周枫,周晶晶,等. 基于加权TextRank的新闻关键事件主题句提取［J］. 计算机工程, 2017,34(8):219-224.
［14］MIKOLOV T, SUTSKEVER I, CHEN K, et al. Distributed representations of words and phrases and their compositionality［C］// Advances in Neural Information Processing Systems. 2013:3111-3119.
［15］洪冬梅. 基于LSTM的自动文本摘要技术研究［D］. 广州：华南理工大学, 2018.
［16］唐晓波,翟夏普. 基于混合机器学习模型的多文档自动摘要［J］. 情报理论与实践, 2019，42(2):145-150.
［17］NEMA P, KHAPRA M, LAHA A, et al. Diversity driven attention model for query-based abstractive summarization［J/OL］. 2017, arXiv:1704.08300, (2018-06-07)［2019-06-01］. https://arxiv.org/pdf/1704.08300.pdf.
［18］明拓思宇，陈鸿昶. 文本摘要研究进展与趋势［D］. 郑州：国家数字交换系统工程技术研究中心, 2018.
［19］官宸宇. 面向事件的社交媒体文本自动摘要研究［D］. 武汉：武汉大学, 2017.
［20］郭捷. 基于网络评论的情感分类技术的研究及应用［D］. 成都：电子科技大学, 2018.
［21］徐立鑫. 面向短文本流摘要抽取系统的在线学习技术［D］. 北京：北京邮电大学, 2015.
［22］MEMISEVIC R, ZACH C, POLLEFEYS M, et al. Gated softmax classification［C］// Advances in Neural Information Processing Systems. 2010:1603-1611.
［23］LIN C Y, HOVY E. Automatic evaluation of summaries using n-gram co-occurrence statistics［C］// Proceedings of 2003 Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics. 2003:150-157.
［24］〖JP2〗PENNINGTON J, SOCHER R, MANNING C. Glove: Global vectors for word representation［C］// Proceedings of 2014 Conference on Empirical Methods in Natural Language Processing. 2014:1532-1543.

[1]	王秋忆, 周浩, 郑婷婷. 改进RetinaNet的电力设备目标检测方法[J]. 计算机与现代化, 2024, 0(01): 47-52.
[2]	林启钊, 彭志平, 郭棉, 崔得龙. 基于双向多步预测的炉管温度场重构方法[J]. 计算机与现代化, 2024, 0(01): 53-58.
[3]	李亚平, 王军防, 余红梅, 窦一民, 肖媛, 田继林. Regformer：基于稀疏注意力的输油管道水力压降预测方法[J]. 计算机与现代化, 2024, 0(01): 59-66.
[4]	邱凯星, 冯广. 基于双重特征注意力的多标签图像分类模型[J]. 计算机与现代化, 2023, 0(12): 41-47.
[5]	张浩洋, 尹梓名, 乐珺怡, 沈达聪, 束翌俊, 杨自逸, 孔祥勇, 龚伟. 3D-SPRNet: 一种基于并行解码器和双注意力机制的胆囊癌分割模型[J]. 计算机与现代化, 2023, 0(12): 59-66.
[6]	张伯泉, 麦海鹏, 陈嘉敏, 逄锦聚. 基于高灰度值注意力机制的脑白质高信号分割[J]. 计算机与现代化, 2023, 0(12): 67-75.
[7]	宁娟, 周庆华, 曾小为. 改进YOLOv7算法在西林瓶轧盖缺陷检测中的应用[J]. 计算机与现代化, 2023, 0(12): 82-86.
[8]	王宇航, 董宝良, 公超, 尚真真, 姚康宁. 基于意图识别的空中群目标动态威胁评估[J]. 计算机与现代化, 2023, 0(12): 100-104.
[9]	罗明杰, 冯开平. 基于沙漏结构与注意力机制的轻量级人脸表情识别方法[J]. 计算机与现代化, 2023, 0(11): 89-94.
[10]	张嘉琪, 徐啟蕾. 基于NAM-YOLO网络的苹果缺陷检测算法[J]. 计算机与现代化, 2023, 0(10): 53-58.
[11]	叶思佳, 魏延, 杜韩宇, 邓金枝. 结合注意力机制的HRNet图像语义分割算法[J]. 计算机与现代化, 2023, 0(10): 65-69.
[12]	陈嘉敏, 张伯泉, 麦海鹏. 基于特征融合的海马体分割[J]. 计算机与现代化, 2023, 0(08): 1-6.
[13]	刘续, 查可可. 一种用于机场特种车辆作业的环境目标识别方法[J]. 计算机与现代化, 2023, 0(08): 18-24.
[14]	王鸿, 葛红. 基于注意力机制和语义相似度的跨模态哈希检索[J]. 计算机与现代化, 2023, 0(08): 44-53.
[15]	欧阳飞, 吴旭, 向东升. 基于改进YOLOX的垃圾分类检测方法[J]. 计算机与现代化, 2023, 0(08): 68-73.

一种基于BERT的自动文本摘要模型构建方法

An Automatic Text Summarization Model Construction Method Based on BERT Embedding

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价