基于ChatGLM2-6B的电力企业财务知识问答方法

doi:10.3969/j.issn.1006-2475.2024.11.009

摘要/Abstract

摘要： 随着电力系统规模的不断增长，在日常财务处理中产生了大量重复和复杂的工作内容，传统的财务知识组织和管理方式已经无法满足当前电力系统的需要。基于此，本文提出一种基于大规模语言模型ChatGLM2-6B构建财务事理图谱的方法，用于规范化财务管理和项目管理流程，辅助财务决策。首先，通过指令微调和提示学习等方式优化ChatGLM2-6B模型，使其分别从合同和票据数据中抽取出事件和事件关系对；其次，通过FAISS向量数据库将事件关系对保存为本地知识库，并训练一个FAISS-ERNIE相似度评估模型提升模型的知识检索能力，实现财务数据的智能问答；最后，利用层次聚类算法泛化事件关系对，分别得到合同事理图谱和票据事理图谱，用于对实时的财务操作进行规范化指引和监督，实现财务执行的透明化。实验结果表明，本文提出的方法在事件抽取、事件关系对抽取以及相似度检索等方面均展现出优异的性能，所构建的合同和票据事理图谱对于电力企业的财务管理具有重要意义，有助于提升企业管理水平。

关键词: ChatGLM2-6B, ERNIE, FAISS向量数据库, 指令微调, 提示学习

Abstract: With the continuous expansion of the scale of the power system， a significant amount of repetitive and complex tasks emerge in daily financial operations. Traditional methods of organizing and managing financial knowledge are no longer sufficient to satisfy the requirements of the current power system. With the consideration of this， the paper constructs a financial knowledge graph using the large-scale language model called ChatGLM2-6B. This method aims to standardize financial and project management processes and assist in financial decision-making. Firstly， the ChatGLM2-6B model should be optimized through instruction fine-tuning and prompt learning in order to extract event and event relationship pairs from financial contracts and invoice data， respectively. Then， the event relationship pairs are then stored as a local knowledge base using the FAISS vector database， additionally， a FAISS-ERNIE similarity evaluation model is trained to enhance the capability of knowledge retrieval， which could improve the question-answering ability of ChatGLM2-6B. Finally， hierarchical clustering algorithm is employed to generalize event relationship pairs， aiming to obtain contract knowledge graph and invoice knowledge evolutionary graph. These two graphs could be utilized to provide standardized guidance and supervision for real-time financial operations， achieving transparency in financial execution. The experimental results demonstrate that the method proposed in this paper exhibits excellent performance in event extraction， event relationship pair extraction， and similarity retrieval. The constructed contract and invoice knowledge evolutionary graphs hold significant implications for financial management in power enterprises， contributing to enhance the level of corporate management.

Key words: , ChatGLM2-6B, ERNIE, FAISS vector database, instruction fine-tuning, prompt learning

中图分类号:

TP3-05

叶雪, 杨晟, 程凯, 朱峰. 基于ChatGLM2-6B的电力企业财务知识问答方法[J]. 计算机与现代化, 2024, 0(11): 54-63.

YE Xue, YANG Sheng, CHENG Kai, ZHU Feng. A Financial Knowledge Q&A Model for Power Enterprise Based on ChatGLM2-6B[J]. Computer and Modernization, 2024, 0(11): 54-63.

参考文献

［1］李明节，陶洪铸，许洪强，等. 电网调控领域人工智能技术框架与应用展望［J］. 电网技术， 2020，44（2）：393-400.
［2］高海翔，苗璐，刘嘉宁，等. 知识图谱及其在电力系统中的应用研究综述［J］. 广东电力， 2020，33（9）：66-76.
［3］ ZOU X H. A survey on application of knowledge graph［C］// Journal of Physics： Conference Series， 4th Interational Conference on Control Engineering and Artificial Intelligence. IOP， 2020. DOI: 10.1088/1742-6596/1487/1/012016.
［4］陶睿，吴继春，谢胜强，等. 深度学习和知识图谱在智能监管中的应用研究［J］. 金融纵横， 2019（8）：56-66.
［5］王倩玉. 领域知识图谱构建及其在财务审计的应用——以A高校为例［D］. 南京：南京审计大学， 2019.
［6］ CUI Y P， YANG Z P， YAO X. Efficient and effective text encoding for Chinese LLaMa and Alpaca［J］. arXiv preprint arXiv：2304.08177， 2023.
［7］ CHEN Z， WANG Y H， ZHAO B， et al. Knowledge graph completion： A review［J］. IEEE Access， 2020，8：192435-192456.
［8］ GUAN S P， CHE X Q， BAI L， et al. What is event knowledge graph： A survey［J］. IEEE Transactions on Knowledge and Data Engineering， 2023，35（7）：7569-7589.
［9］沈文斌，张家瑞. 事理图谱应用于电力安全事故预控策略研究［J］. 现代工业经济和信息化， 2022，12（12）：208-210.
［10］林穿，徐启峰，黄奕钒. 基于事理图谱的电力安全事故预控方法［J］. 中国安全生产科学技术， 2021，17（10）：39-45.
［11］温学兵，宋雨泽，王秋萍. 事理图谱研究进展［J］. 沈阳师范大学学报（自然科学版）， 2023，41（2）：153-157.
［12］ LIU X， ZHENG Y N， DU Z X， et al. GPT understands， too［J］. arXiv preprint arXiv：2103.10385， 2023.
［13］ KASNECI E， SESSLER K， KÜCHEMANN S， et al. ChatGPT for good? On opportunities and challenges of large language models for education［J］. Learning and Individual Differences， 2023，103. DOI: 10.1016/j.lindif.2023.102274.
［14］ CAO Y H， LI S Y， LIU Y X， et al. A comprehensive survey of AI-generated content （AIGC）： A history of generative AI from GAN to ChatGPT［J］. arXiv preprint arXiv：2303.04226， 2023.
［15］ DU Z X， QIAN Y J， LIU X， et al. GLM： General language model pretraining with autoregressive blank infilling［J］. arXiv preprint arXiv：2103.10360， 2021.
［16］FAN Z L C， TIAN J. Chinese-vicuna： A Chinese Instruction-following LLaMa-based Model［EB/OL］. （2023-06-12）［2023-09-05］. https：//github. com/Facico/Chinese-Vicuna.
［17］ XIONG H L， WANG S， ZHU Y T. et al. DoctorGLM： Fine-tuning your Chinese doctor is not a herculean task［J］. arXiv preprint arXiv：2304.01097v2， 2023.
［18］ HUANG Q Z， TAO M X， ZHANG C， et al. Lawyer LLaMA technical report［J］. arXiv preprint arXiv：2305.15062， 2023.
［19］贾骏，杨强，付慧，等. 基于电力设备大数据的预训练语言模型构建和文本语义分析［J］. 中国电机工程学报， 2023， 43（3）：1027-1036.
［20］孙洁，李能飞，赵梦茹. 媒体负面报道与公司财务困境预警——基于文本分析和机器学习［J］. 财经论丛， 2023，39（9）：80-90.
［21］ LIU X， JI K X， FU Y C， et al. P-tuning： Prompt tuning can be comparable to fine-tuning across scales and tasks［C］// Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. ACL， 2022，2：61-68.
［22］ AGRAWAL M， HEGSELMANN S， LANG H， et al. Large language models are few-shot clinical information extractors［C］// Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing. ACL， 2022：1998-2022.
［23］ WANG H F， LI J W， WU H， et al. Pre-trained language models and their applications ［J］. Engineering， 2023，25：51-65.
［24］ WEI J， BOSMA M， ZHAO V Y， et al. Finetuned language models are zero-shot learners［J］. arXiv preprint arXiv.2109.01652， 2021.
［25］ LI X Y， LI F Y， PAN L， et al. DuEE： A large-scale dataset for Chinese event extraction in real-world scenarios［C］// Proceedings of the 9th CCF International Conference on Natural Language Processing and Chinese Computing（NLPCC 2020）. Springer， 2020：534-545.
［26］ DENG H L， ZHANG Y N， ZHANG Y F. et al. Title2Event： Benchmarking open event extraction with a large-scale Chinese title dataset［J］. arXiv preprint arXiv：2211.00869， 2022.
［27］ LIU X， JI K X， FU Y C， et al. P-Tuning v2： Prompt tuning can be comparable to fine-tuning universally across scales and tasks［J］. arXiv preprint arXiv：2110.07602， 2021.
［28］ ZHOU D， SCHÄRLI N， HOU L， et al. Least-to-most prompting enables complex reasoning in large language models［J］. arXiv preprint arXiv：2205.10625， 2022.
［29］ SUN Y， WANG S H， LI Y K， et al. ERNIE： Enhanced representation through knowledge integration［J］. arXiv preprint arXiv：1904.09223， 2019.
［30］ DEVLIN J， CHANG M W， LEE K， et al. BERT： Pre-training of deep bidirectional transformers for language understanding［J］. arXiv preprint arXiv：1810.04805， 2018.
［31］ CUI J X， NING M N， LI Z J， et al. ChatLaw： Open-source legal large language model with integrated external knowledge bases［J］. arXiv preprint arXiv：2306.16092， 2023.
［32］ BISWA S. Role of ChatGPT in education［J］. SSRN， 2023： 4369981.
［33］ HOSSIN M， SULAIMAN M N. A review on evaluation metrics for data classification evaluations［J］. International Journal of Data Mining & Knowledge Management Process， 2015，5（2）. DOI: 10.5121/ijdkp.2015.5201.
［34］ NI J M， ÁBREGO G H， CONSTANT N， et al. Sentence-T5： Scalable sentence encoders from pre-trained text-to-text models［J］. arXiv preprint arXiv：2108.08877， 2021.
［35］ LAGLER K， SCHINDELEGGER M， BÖHM J， et al. GPT2： Empirical slant delay model for radio space geodetic techniques［J］. Geophysical Research Letters， 2013，40（6）：1069-1073.
［36］ TOUVRON H， MARTIN L， STONE K， et al. Llama 2： Open foundation and fine-tuned chat models［J］. arXiv preprint arXiv：2307.09288， 2023.
［37］ HUANG A H， WANG H， YANG Y. FinBERT： A large language model for extracting information from financial text［J］. Contemporary Accounting Research， 2023，40（2）：806-841.
［38］ LAN Z Z， CHEN M D， GOODMAN S， et al. ALBERT： A lite BERT for self-supervised learning of language representations［J］. arXiv preprint arXiv：1909.11942， 2019.
［39］ LIN C Y. Looking for a Few Good Metrics： ROUGE and Its Evaluation［Z］. Working Notes of NTCIR-4， 2004.