一种面向城市战场的智能车自主导航方法

doi:10.3969/j.issn.1006-2475.2024.01.015

摘要/Abstract

摘要： 摘要：城市战场是常规战争和日常治安的主要阵地，出色的城市战场突防能力能够帮助我方作战人员更好、更快地完成侦查、打击、营救等任务。然而，城市内街道环境错综复杂同时还可能存在敌方的拦截，使得城市战场环境复杂多变，大大增加了完成任务的难度。传统的路径规划方法依赖于精确的静态地图和规则约束，缺乏灵活性和适应性。因此，本文提出一种面向城市战场的智能车自主导航方法，并设计离散的动作空间和基于任务完成度的奖励函数。首先，以城市战场突防任务为例，设计状态空间、动作空间，并选择适合的深度强化学习算法；然后，基于Gazebo仿真平台和ROS设计算法流程框架和实验方案。实验结果表明，在城市战场环境下运用该方法的智能小车能够有效地穿越障碍并躲避敌方单位到达指定地点，提高了突防的成功率。

关键词: 关键词：城市战场, 路径规划, 深度强化学习, 自主导航

Abstract: Abstract: The urban battlefield is the main position of conventional warfare and daily security， and excellent urban battlefield penetration capabilities can help our fighters better and faster complete reconnaissance， strike， rescue and other tasks. However， the complex street environment in the city， and the possibility of interception by enemy targets， make the urban battlefield environment complex and changeable， greatly increasing the difficulty of completing the mission. Traditional path planning methods rely on accurate static maps and rule constraints， and lack flexibility and adaptability. Therefore， this paper proposes an autonomous navigation method for intelligent vehicles in urban battlefield， and designs discrete action spaces and reward functions based on task completion. Firstly， this paper takes the urban battlefield penetration task as an example to design the state space and action space， and selects a suitable deep reinforcement learning algorithm. Then， based on Gazebo simulation platform and ROS， the algorithm flow framework and experimental scheme are designed. The experimental results show that the intelligent car using this method in the urban battlefield environment can effectively pass through obstacles and avoid enemy units to reach the designated place， which improves the success rate of penetration.

Key words: Key words: urban battlefield, path planning, deep reinforcement learning, autonomous navigation

中图分类号:

TP399

李鹏, 徐珞. 一种面向城市战场的智能车自主导航方法[J]. 计算机与现代化, 2024, 0(01): 92-98.

LI Peng, XU Luo. An Autonomous Navigation Method for Intelligent Vehicles in Urban Battlefield[J]. Computer and Modernization, 2024, 0(01): 92-98.

参考文献

［1］ BELL M G H. Hyperstar: A multi-path astar algorithm for risk averse vehicle navigation［J］. Transportation Research Part B: Methodological，2009，43（1）:97-107.
［2］ TAN G Z， HE H， AARON S. Global optimal path planning for mobile robot based on improved Dijkstra algorithm and ant system algorithm［J］. Journal of Central South University of Technology， 2006，13（1）:80-86.
［3］袁泉，吕迅捷. 基于PRM算法的移动小车路径规划优化研究［J］. 宁波工程学院学报， 2020，32（4）:31-35.
［4］ ASQUI L， ANDALUZ V H， SANCHEZ J S， et al. Path planning based in algorithm rapidly-exploring random tree RRT［J］. Journal of Computational and Theoretical Nanoscience， 2018，24（11）:8831-8836.
［5］吕佳，邱建岗. 智能汽车主动避障的改进蚁群路径规划方法［J］. 机械设计与制造， 2023，383（1）:55-59.
［6］常宁东，冯春，程鹏达，等. 基于Bekker理论改进遗传算法的野外路径优化方法研究［J］. 光学精密工程， 2023，31（5）:767-775.
［7］蔺文轩，谢文俊，张鹏，等. 基于分组优化改进粒子群算法的无人机三维路径规划［J］. 火力与指挥控制， 2023，48（1）:20-25.
［8］谌海云，陈华胄，刘强. 基于改进人工势场法的多无人机三维编队路径规划［J］. 系统仿真学报， 2020，32（3）:414-420.
［9］刘亚军，郭凤娟. 基于Agent的UAV智能导航技术研究［J］. 现代导航， 2014，5（2）:79-83.
［10］ MALDONADO-RAMIREZ A， RIOS-CABRERA R， LOPE
Z-JUAREZ I. A visual path-following learning approach for industrial robots using DRL［J］. Robotics and Computer-Integrated Manufacturing，2021，71. DOI: 10.1016/j.rcim.20
21.102130.
［11］ YU L， WU F H， XU Z H， et al. UAV path design with connectivity constraint based on deep reinforcement learning［J］. Physical Communication， 2022，52（5）. DOI:10.1016/j.phycom.2021.101582.
［12］李茹杨，彭慧民，李仁刚，等. 强化学习算法与应用综述［J］. 计算机系统应用， 2020，29（12）:13-25.
［13］ JIANXIN L， YITING C， XIUNIAO Z， et al. An improved DQN path planning algorithm［J］. The Journal of Supercomputing， 2022，78（1）:616-639.
［14］李杨，闫冬梅，刘磊. 基于输出层具有噪声的DQN的无人车路径规划［J］. 应用数学和力学， 2023，44（4）:450-460.
［15］司鹏搏，吴兵，杨睿哲，等. 基于DDPG三维无人机路径规划［J］. 高技术通讯， 2022，32（10）:1049-1057.
［16］孟晨阳，郝崇清，李冉，等. 基于改进DDPG算法的复杂环境下AGV路径规划方法研究［J］. 计算机应用研究， 2022，39（3）:681-687.
［17］李丽，郑嘉利，王哲，等. 基于异步优势动作评价的RFID室内定位算法［J］. 计算机科学， 2020，47（2）:233-238.
［18］ CHEN D Z， QI Q， ZHUANG Z R， et al. Mean field deep reinforcement learning for fair and efficient UAV control［J］. IEEE Internet of Things Journal， 2021，8（2）:813-828.
［19］ CHEN I M， CHAN C Y. Deep reinforcement learning based path tracking controller for autonomous vehicle［J］. Journal of Automobile Engineering，2021，235（2/3）:541-551.
［20］胡致远，王征，杨洋，等. 改进PPO算法的AUV路径规划研究［J］. 电光与控制， 2023，30（1）:87-91.
［21］袁帅，张莉莉，顾琦然，等. 移动机器人优先采样D3QN路径规划方法研究［J］. 小型微型计算机系统， 2023，44（5）:923-929.
［22］中国地质大学（武汉）. 基于D3QN的无人船自适应路径规划方法、设备及存储介质:CN202110118727.X［P］. 2021-05-14.
［23］陈立家，孙中泽，黄立文，等. 一种基于深度强化学习的船舶智能避碰方法［J］. 武汉理工大学学报（交通科学与工程版）， 2023，47（1）:191-196.
［24］王莹莹，周佳加，高峰，等. 基于课程式双重DQN的水下无人航行器路径规划［J］. 实验室研究与探索， 2022，41（3）:244-248.
［25］朱少凯，孟庆浩，金晟，等. 基于深度强化学习的室内视觉局部路径规划［J］. 智能系统学报， 2022，17（5）:908-918.
［26］杨璐，王一权，刘佳琦，等. 基于融合离散动作的双延迟深度确定性策略梯度算法的自动驾驶端到端行为决策方法［J］. 交通信息与安全， 2022，40（1）:144-152.
［27］白晓煊. 基于任务完成度的舰艇平台体系贡献率评估方法研究［J］. 舰船电子工程， 2022，42（9）:151-154.

[1]	杨俞沣1, 2, 夏小云2, 陈泽丰3, 廖伟志2, 李积武2. 融合多策略蜣螂优化算法的外卖订单配送路径优化[J]. 计算机与现代化, 2024, 0(09): 25-32.
[2]	王倩, 黄淼, 陶莉莉. 基于改进布谷鸟算法的PCB板焊接路径优化[J]. 计算机与现代化, 2024, 0(07): 82-86.
[3]	李爽1, 2, 叶宁1, 2, 徐康1, 2, 王甦1, 王汝传1, 2. 面向智慧养老的边缘计算卸载方法[J]. 计算机与现代化, 2024, 0(06): 95-102.
[4]	王健铭1, 王欣1, 李养辉2, 王殿龙1. 基于改进D3QN算法的泊车机器人路径规划[J]. 计算机与现代化, 2024, 0(03): 7-14.
[5]	韩雪. 基于约束聚类和粒子群算法的多路径规划[J]. 计算机与现代化, 2023, 0(08): 7-11.
[6]	张国有, 宋世峰. 基于D3QN的交通灯控制优化[J]. 计算机与现代化, 2023, 0(07): 30-35.
[7]	邓云峥, 黄翼虎. 密集障碍环境下的改进DWA避障算法[J]. 计算机与现代化, 2023, 0(07): 48-53.
[8]	赖建彬, 冯刚. 一种基于混合样本的经验回放策略[J]. 计算机与现代化, 2023, 0(06): 33-38.
[9]	杜传胜, 高焕兵, 侯宇翔, 汪子建. 基于改进双向A*算法的消防机器人路径规划[J]. 计算机与现代化, 2023, 0(04): 15-19.
[10]	王梓薇. 基于双层模糊推理和改进DWA的多机器人路径规划[J]. 计算机与现代化, 2023, 0(04): 20-25.
[11]	田小壮, 李松, 付国萍, 谭启昀, 单德帅, 王伟光, 王祝. 时间最优的无人机巡检避障路径规划[J]. 计算机与现代化, 2023, 0(03): 43-47.
[12]	申浩阳, 陈晓雷, 袁俊岭, 韩禄. 面向UAV的三维空间快速路径规划算法[J]. 计算机与现代化, 2023, 0(02): 6-11.
[13]	王阔, 郝福珍. 面向带时间窗车辆路径问题的PGSA算法优化[J]. 计算机与现代化, 2022, 0(12): 26-32.
[14]	丁忠林, 李洋, 曹委, 谈宇浩, 徐波. 基于深度Q学习的电力物联网任务卸载研究[J]. 计算机与现代化, 2022, 0(11): 75-80.
[15]	吴水明, 吉志远, 王震宇, 景栋盛. 基于Dueling-DDQN的电力信息网络入侵检测算法[J]. 计算机与现代化, 2021, 0(12): 43-47.