基于KFCM-MultiSwarmPSO的SVR参数寻优策略

doi:10.3969/j.issn.1006-2475.2017.01.005

摘要/Abstract

摘要： 针对目前支持向量回归机模型（SVR）参数寻优的各类基本方法，从提高计算效率及降低早熟收敛概率角度，从粒子群算法出发，提出一种新型的基于核模糊聚类（KFCM）算法参数自学习方法：多种群粒子群算法（MultiSwarmPSO）来对支持向量回归机的参数寻优策略进行改进。在改进策略中，融入k折交叉验证（k-CV）法并提出用幂函数作为粒子群算法动态学习因子的方法来提高算法性能。针对5个不同特点的数据集，用提出的改进粒子群算法与网格算法（Grid Algorithm）、标准粒子群算法（PSO）、标准遗传算法（GA）、人工蜂群算法（ABC）4种智能参数自学习算法进行对比，实验结果表明，改进算法在参数寻优的时间效率及拟合准确度方面相对传统方法有一定的提高，可以求解出更符合需求的参数组。

关键词: 支持向量回归机, 核模糊聚类, 粒子群算法

Abstract: Aiming at the various parameter-optimization methods of SVR, this paper proposes a new parameter-self-learning method, called MultiSwarmPSO, based on Multi-Swarm-PSO and KFCM to improve calculating efficiency, reduce the probability of mature convergence, and ameliorate the original algorithms. In this method, k-CV is blended in to improve the efficiency. Using power function as the dynamic learning factor to improve calculated performance is another innovative point in this paper. Specific to five different data sets, this paper compares the new method with grid algorithm, the standard PSO, the standard genetic algorithm, and artificial bee colony algorithm, the results show that this new method could improve the time efficiency and the fitting accuracy compared with the other two algorithms, and could determine the better parameters.

Key words: SVR, KFCM, PSO

中图分类号:

TP391

门慧超. 基于KFCM-MultiSwarmPSO的SVR参数寻优策略[J]. 计算机与现代化, doi: 10.3969/j.issn.1006-2475.2017.01.005.

MEN Hui-chao. Parameter-optimization of SVR Based on KFCM-MultiSwarmPSO[J]. Computer and Modernization, doi: 10.3969/j.issn.1006-2475.2017.01.005.

参考文献

[1] 渠瑜. 基于SVM的高不平衡分类技术研究及其在电信业的应用[D]. 杭州:浙江大学, 2010.

[2] 邓乃扬,田英杰. 数据挖掘中的新方法——支持向量机[M]. 北京:科学出版社, 2004.

[3] 杨耀宇. 基于支持向量机的沪深300指数预测研究[D]. 上海:上海师范大学, 2014.

[4] 刘靖雯. 基于SVM决策树的增量式文本层次分类研究[D]. 北京:北京邮电大学, 2014.

[5] 陈贤卿,吴乐南,靳一. 基于SVM分类的EBPSK信号解调判决[J]. 东南大学学报(自然科学版), 2011,41(4):672-677.

[6] 张俊,程春田,申建建,等. 基于蚁群算法的支持向量机中长期水文预报模型[J]. 水力发电学报, 2010,29(6):34-40.

[7] Garg H. A hybrid PSO-GA algorithm for constrained optimization problems[J]. Applied Mathematics and Computation, 2016,274:292-305.

[8] 刘琦. 基于LS-SVM的时间序列预测方法及其应用研究[D]. 哈尔滨:哈尔滨工业大学, 2011.

[9] 宋永东. 支持向量机参数选择的研究[D]. 武汉:华中师范大学, 2013.

[10] 赵犁丰,李新,王栋. 多核模糊聚类算法的研究[J]. 中国海洋大学学报(自然科学版), 2009,39(5):1047-1050.

[11] 佚名. FCM聚类算法介绍[DB/OL]. http://wenku.baidu.com/link?url=r1uOCFJg1dgdhpKgvazMNrKrXb6I4SAPktSZM1FRs7rtae19oAZ9dYOG7A_6UYfiYtHAxDyzkXCN8VT-KDQ6gQ6FWlLr4l3oZauE4RH1igS, 2012-12-12.

[12] 曹洪. 基于聚类和模糊性的图像分割算法及应用[D]. 南京:南京航空航天大学, 2014.

[13] 齐丙娟,丁世飞. 基于FCM隶属度的支持向量机[J]. 微电子学与计算机, 2011,28(10):48-51.

[14] 马攀华. 云南省土壤污染聚类及背景值相关分析系统的设计与实现[D]. 昆明:云南大学, 2012.

[15] 石统帅. 指纹图像增强方法的研究与实现[D]. 济南:山东师范大学, 2015.

[16] Xiong Tao, Bao Yukun, Hu Zhongyi, et al. Forecasting interval time series using a fully complex-valued RBF neural network with DPSO and PSO algorithms[J]. Information Sciences, 2015,305:77-92.

[17] 梁慧. 混沌粒子群优化算法的分析与应用[D]. 广州:广东工业大学, 2011.

[18] 任洪娥,霍满冬. 基于PSO优化的SVM预测应用研究[J]. 计算机应用研究, 2009,26(3):867-869.

[19] 冯翔,陈国龙,郭文忠. 粒子群优化算法中加速因子的设置与试验分析[J]. 集美大学学报(自然科学版), 2006,11(2):146-151.

[20] 周利军,彭卫,邹芳,等. 自适应变异粒子群算法[J]. 计算机工程与应用, 2015,52(7):50-55.

[21] 吕林,罗绮,刘俊勇,等. 一种基于多种群分层的粒子群优化算法[J]. 四川大学学报(工程科学版), 2008,40(5):171-176.

[22] 巩永光. 粒子群算法与遗传算法的结合研究[D]. 广州:中山大学, 2007.

[23] 王小川,史峰,郁磊,等. MATLAB神经网络43个案例分析[M]. 北京:北京航空航天大学出版社, 2013.

[24] 刘元峰,赵玫. 基于奇异谱分析的混沌序列降噪[J]. 上海交通大学学报, 2003,37(5):778-780.

[25] 闫国华,朱永生. 支持向量机回归的参数选择方法[J]. 计算机工程, 2009,35(13):218-220.