基于多元组匹配损失的司法论辩理解方法

doi:10.3969/j.issn.1006-2475.2024.06.019

计算机与现代化 ›› 2024, Vol. 0 ›› Issue (06): 115-120.doi: 10.3969/j.issn.1006-2475.2024.06.019

基于多元组匹配损失的司法论辩理解方法

（1.华北计算技术研究所大数据研发中心，北京 100083； 2.中电科发展规划研究院有限公司，北京 100041；
3.中国司法大数据研究院有限公司，北京 100043； 4.中国卫星网络集团有限公司，北京 100029）

出版日期:2024-06-30 发布日期:2024-07-17
作者简介:张可（1992—），男，山东巨野人，工程师，博士研究生，研究方向：司法人工智能，深度学习，E-mail： zhangke_ucas@163.com; 通信作者：艾中良（1971—），男，河北栾城人，研究员，研究方向：司法人工智能，大数据技术，E-mail： aizhongliang@hotmail.com; 刘忠麟（1984—），男，河北沧州人，高级工程师，博士研究生，研究方向：司法人工智能，大数据技术，E-mail： 2933462260@qq.com；顾平莉（1980—），女，山东东营人，高级工程师，研究方向：司法人工智能，物联网，E-mail： GPLPY98@163.com；刘学林（1965—），男，河北石家庄人，研究员，研究方向：司法人工智能，卫星通信，E-mail： liuxuelin1965@163.com。

Judicial Argumentation Understanding Method Based on Multiplet Loss

（1.Dept. of Big Data R&D Center， North China Institute of Computing Technology， Beijing 100083， China；
2. Strategic Planning Research Institute of CETC， Beijing 100041， China；
3. China Justice Big Data Institute CO.， Ltd， Beijing 100043， China；
4. China Satellite Network Group Co.， Ltd， Beijing 100029， China）

Online:2024-06-30 Published:2024-07-17

摘要/Abstract

摘要：
摘要：司法论辩理解是论辩挖掘任务在司法领域的具体应用，旨在从诉辩双方观点中挖掘存在交互的观点对。司法领域论辩挖掘任务存在数据样本少、句子长度长、领域专业性强等问题，现有的司法论辩理解模型多基于文本分类思想，构建的模型文本语义表示能力差。为进一步提高论辩交互观点对的识别准确率，提出一种基于多元组匹配损失函数（Multiplet Loss）的司法论辩理解模型,该模型基于文本匹配的思想，将诉称观点与辩称观点分别进行语义相似性匹配，通过优化交互观点对的匹配度实现论辩交互观点对的挖掘。为提升模型对于论辩交互观点对的匹配度，提出多元组匹配损失函数，通过减小论辩交互观点对的语义距离，加大非交互观点的语义距离，使观点间的语义距离能更好地反应其交互性，采用司法领域预训练模型作为文本语义识别模型，进一步提高了文本的语义表达能力。采用CAIL2022论辩理解赛道数据进行测试，实验结果表明基于多元组匹配损失函数的司法论辩理解模型相较于采用分类思想的模型，准确率能够提高2.04个百分点，达到85.19%，提高了司法论辩理解任务精度。

关键词: 关键词：多元组匹配损失, 司法领域预训练模型, 司法论辩理解, 论辩挖掘, 文本分类, 自然语言处理, 深度学习

Abstract: Abstract： Judicial Argument Understanding is a practical application of Argument Mining in judicial domain， aiming at mining the interactive argument pair from the arguments of the prosecution and the defense. Argument mining task in judicial domain has the problems of small training samples， long sentence length， and strong domain specialization， etc. Existing models for Judicial Argument Understanding are mostly based on the idea of text classification， and have poor capability of representing the text semantics. To improve the recognition accuracy of the interactive argument pairs， a Judicial Argument Understanding model based on multiplet loss is proposed， which is based on the idea of text matching， matching the prosecutor argument with the defense argument separately for semantic similarity， and realizing the mining of the interactive argument pairs by optimizing the matching degree of the interactive argument pairs. To improve the matching degree of the model for interactive argument pairs， a multivariate group matching loss function is proposed， which further improves the text semantic representation ability by reducing the semantic distance of argument interactive pairs and increasing the semantic distance of non-interactive pairs， so that the semantic distance between arguments can better reflect their interactivity， and the pre-trained model in judicial domain is used as the text semantic representation model. CAIL2022 Judicial Argument Understanding track data was used for testing， and the experimental results showed that the accuracy of the Judicial Argument Understanding model based on multiplet loss function was able to improve by more than 2.04Percentage Points to 85.19% compared with the model using classification ideas， which improved the accuracy of the Judicial Argument Understanding task.

Key words: Key words： multiplet loss, pre-trained models in judicial domain, judicial argument understanding, argument mining, text classification, natural language processing, deep learning

中图分类号:

TP391.1

张可1, 艾中良2, 刘忠麟3, 顾平莉1, 刘学林4. 基于多元组匹配损失的司法论辩理解方法[J]. 计算机与现代化, 2024, 0(06): 115-120.

ZHANG Ke1, AI Zhongliang2, LIU Zhonglin3, GU Pingli1, LIU Xuelin4. Judicial Argumentation Understanding Method Based on Multiplet Loss[J]. Computer and Modernization, 2024, 0(06): 115-120.

参考文献

［1］王亚新. 民事诉讼准备程序研究［J］. 中外法学， 2000（2）：129-161.
［2］李永泽，欧石燕. 论辩挖掘研究综述［J］. 图书情报工作， 2020，64（19）：128-139.
［3］ MOENS M F， BOIY E， PALAU R M， et al. Automatic detection of arguments in legal texts［C］// Proceedings of the 11th International Conference on Artificial Intelligence and Law. 2007：225-230.
［4］ KWON N， ZHOU L， HOVY E， et al. Identifying and classifying subjective claims［C］// Proceedings of the 8th Annual International Conference on Digital Government Research： Bridging Disciplines & Domains. 2007：76-81.
［5］ LAWRENCE J， REED C. Argument mining： A survey［J］. Computational Linguistics， 2020，45（4）：765-818.
［6］ PALAU R M， MOENS M F. Argumentation mining： The detection， classification and structure of arguments in text［C］// Proceedings of the 12th International Conference on Artificial Intelligence and Law. 2009：98-107.
［7］廖祥文，陈泽泽，桂林，等. 基于多任务迭代学习的论辩挖掘方法［J］. 计算机学报，2019（7）：1524-1538.
［8］单华玮，路冬媛. 基于双向注意力语境关联建模的论辩关系预测［J］. 软件学报， 2022，33（5）：1880-1892.
［9］叶锴，魏晶晶，魏冬春，等. 面向低资源场景的论辩挖掘方法［J］. 福州大学学报（自然科学版）， 2021，49（2）：156-162.
［10］ JI L， WEI Z Y， LI J， et al. Discrete argument representation learning for interactive argument pair identification［C］// Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. NAACL， 2021：5467-5478.
［11］ GENG Y L， LI S Q， ZHANG F， et al. Context-aware and data-augmented transformer for interactive argument pair identification［C］// CCF International Conference on Natural Language Processing and Chinese Computing. Springer， 2021：579-589.
［12］ WU Y， LIU P. ACE： A context-enhanced model for interactive argument pair identification［C］// CCF International Conference on Natural Language Processing and Chinese Computing. Springer， Cham， 2021：569-578.
［13］ YUAN J， WEI Z Y， ZHAO D H， et al. Leveraging argumentation knowledge graph for interactive argument pair identification［C］// Findings of the Association for Computational Linguistics： ACL-IJCNLP. 2021：2310-2319.
［14］ CHENG L Y， BING L D， YU Q， et al. APE： Argument pair extraction from peer review and rebuttal via multi-task learning［C］//Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing （EMNLP）， 2020：7000-7011.
［15］石岳峰，王熠，张岳. 深度学习在论辩挖掘任务中的应用［J］. 中文信息学报， 2022，36（7）：1-12.
［16］ SUN Y， WANG S， LI Y， et al. Ernie 2.0： A continual pre-training framework for language understanding［C］ //Proceedings of the AAAI Conference on Artificial Intelligence. 2020，34（5）：8968-8975.
［17］ BROWN T， MANN B， RYDER N， et al. Language models are few-shot learners［J］. Advances in Neural Information Processing Systems， 2020，33：1877-1901.
［18］ BRISKILAL J， SUBALALITHA C N. An ensemble model for classifying idioms and literal texts using BERT and RoBERTa［J］. Information Processing & Management， 2022，59（1）：102756.
［19］ XIAO C， HU X， LIU Z， et al. Lawformer： A pre-trained language model for chinese legal long documents［J］. AI Open， 2021，2：79-84.
［20］ SCHROFF F， KALENICHENKO D， PHILBIN J. FaceNet： A unified embedding for face recognition and clustering［C］// 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE Computer Society， 2015：815-823.
［21］ KENTON J D M W C， TOUTANOVA L K. BERT： Pre-training of deep bidirectional transformers for language understanding［C］// Proceedings of NAACL-HLT. 2019：4171-4186.
［22］ LOSHCHILOV I， HUTTER F. Decoupled weight decay regularization［C］// International Conference on Learning Representations（ICLR）. 2019：1-8.
［23］ WOLF T， DEBUT L， SANH V， et al. Transformers： State-of-the-art natural language processing［C］ // Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing： System Demonstrations. 2020：38-45.
［24］复旦大学.中国法律智能技术评测—论辩理解赛道［EB/OL］. ［2024-04-08］. http：//cail.cipsc.org.cn/ task _summit.html? raceID=5&cail_tag=2022
［25］复旦大学. Call for Participation： Shared Tasks in NLPCC 2021［EB/OL］. （2021-05-30）［2024-04-08］. http：// tcci.ccf.org.cn/conference/2021/cfpt.php
［26］ SU J， LU Y， PAN S， et al. Roformerv2： A faster and better roformer［R］. Technical report， 2022.
［27］ LEWIS M， LIU Y， GOYAL N， et al. BART： Denoising sequence-to-sequence pre-training for natural language generation， translation， and comprehension［C］ // Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. 2020：7871-7880.
［28］季瑞瑞，谢宇辉，骆丰凯，等. 改进视觉Transformer的人脸识别方法［J］. 计算机工程与应用， 2023，59（8）：117-126.
［29］钱雯倩，王军. 基于轻量化SSD算法的行人目标检测［J］. 计算机仿真， 2022，39（9）：487-491.

[1]	王梦溪, 李峻. 老年人跌倒检测技术研究综述[J]. 计算机与现代化, 2024, 0(08): 30-36.
[2]	周宪溪, 牟莉. 基于改进TF-IDF和AGLCNN的新闻长文本分类模型[J]. 计算机与现代化, 2024, 0(08): 120-126.
[3]	李璐, 朱焱. 基于知识提示微调的事件抽取方法[J]. 计算机与现代化, 2024, 0(07): 36-40.
[4]	黄文栋, 王怡凡. 基于模态类别的多模态信息处理与融合综述[J]. 计算机与现代化, 2024, 0(07): 47-62.
[5]	林威. 基于自监督学习和数据回放的新闻推荐模型增量学习方法[J]. 计算机与现代化, 2023, 0(12): 1-6.
[6]	徐涯昕, 何泽恩, 徐绪堪. 基于CNN-BiLSTM网络的数控机床故障文本自动分类[J]. 计算机与现代化, 2023, 0(04): 7-14.
[7]	王浩畅, 刘如意. 基于预训练模型的关系抽取研究综述[J]. 计算机与现代化, 2023, 0(01): 49-57.
[8]	王梦, 张鸿鑫, 刘庆华, 张东. 基于改进YOLOv5的幽门螺杆菌免疫印迹图像识别[J]. 计算机与现代化, 2022, 0(09): 78-84.
[9]	周慧, 徐名海, 许晓东. 基于Attention-BIGRU-CRF的中文分词模型[J]. 计算机与现代化, 2022, 0(08): 7-12.
[10]	张军, 邱龙龙. 一种基于BERT和池化操作的文本分类模型[J]. 计算机与现代化, 2022, 0(06): 1-7.
[11]	赵延平, 王芳, 夏杨. 基于支持向量机的短文本分类方法[J]. 计算机与现代化, 2022, 0(02): 92-96.
[12]	王天星, 袁家斌, 刘昕. 基于同等注意力图网络的视觉问答方法[J]. 计算机与现代化, 2021, 0(11): 1-6.
[13]	郭书武, 陈军华. 基于深度学习的教材德目分类方法[J]. 计算机与现代化, 2021, 0(09): 106-112.
[14]	贾澎涛, 孙炜. 基于深度学习的文本分类综述[J]. 计算机与现代化, 2021, 0(07): 29-37.
[15]	郑新月, 任俊超. 基于BERT-FNN的意图识别分类[J]. 计算机与现代化, 2021, 0(07): 71-76.

基于多元组匹配损失的司法论辩理解方法

Judicial Argumentation Understanding Method Based on Multiplet Loss

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价