Collaborative Braking Control of Virtual Coupling Trains Based on SAC Algorithm
-
摘要:
传统列车运行控制系统在紧急制动时通常采用最大制动控制策略，但该策略应用于虚拟编组时可能导致列车单元内部发生碰撞. 考虑到虚拟编组列车单元的异质性，不同列车单元的制动率不同，列车安全间距也不同，设计并分析基于软演员-评论家算法紧急制动场景下虚拟编组列车的协同制动控制方法. 首先，基于虚拟编组内部前方列车运行速度、相邻列车间距和列车自身制动性能构建相对坐标下的列车安全制动模型，得出本车的安全限制速度；其次，根据列车安全制动模型搭建运行环境，采用多列车软演员-评论家算法设计制动控制模型，确定各列车单元的状态空间和动作空间，以相对坐标系的安全制动模型生成的安全限制速度作为约束设计奖励函数；最后，以北京首都机场线线路和车辆为例，对多列车软演员-评论家算法进行验证并对比最大制动控制策略和最小制动控制策略. 研究结果表明：相较于其他2种传统的控制策略，该协同制动模型不仅可以在危险点之前安全停车，还能够保证制动过程中间距的安全性，从而提升了城市轨道交通系统的运行安全性和效率.
Abstract:Traditional train operation control systems usually adopt a maximum braking control strategy during emergency braking; however, when this strategy is applied to virtual coupling, it may lead to collisions among train units. Considering the heterogeneity of virtual coupling train units, different braking rates of train units, and different safe spacings, a collaborative braking control method based on the Soft Actor-Critic (SAC) algorithm for virtual coupling trains in emergency braking scenarios is designed and analyzed. First, a train safety braking model in a relative coordinate system is constructed based on the running speed of the preceding train within the virtual coupling, the spacing between adjacent trains, and the train's own braking performance, and the safe speed limit of the train is obtained. Second, an operating environment is built according to the train safety braking model, and a braking control model is designed using a multi-train SAC algorithm. The state space and action space of each train unit are determined, and the reward function is designed with the safe speed limit generated by the safety braking model in the relative coordinate system as a constraint. Finally, taking the Beijing Capital Airport Express line and its vehicles as an example, the multi-train SAC algorithm is validated and compared with the maximum braking control strategy and the minimum braking control strategy. The results show that compared with the other two traditional control strategies, the collaborative braking model can not only stop safely before the hazardous point but also ensure spacing safety during braking, thereby improving the operational safety and efficiency of the urban rail transit system.
-
图 3 不同制动性能下的列车安全限制速度
Figure 3. Safe speed limits for trains with different braking performance
图 5 协同制动控制策略仿真结果
Figure 5. Simulation results of collaborative braking control strategy
图 8 虚拟编组各列车单元奖励曲线
Figure 8. Reward curves for train units in virtual coupling formation
表 1 符号说明
Table 1. Description of symbols
符号 描述 $ {X}_{ij}(t) $/m 时刻 t 列车 $ j $ 相对于列车 $ i $ 的位置 $ {V}_{ij}(t) $/（m•s−1） 时刻 t 列车 $ j $ 相对于列车 $ i $ 的速度 $ V_{ij}^{\lim}(t) $/（m•s−1） 时刻 t 列车 $ j $ 和列车 $ i $ 之间的限制相对速度 $ V_{ij}^{\text{safe}}(t) $/（m•s−1） 时刻 t 列车 $ j $ 和列车 $ i $ 之间的安全相对速度 $ \Delta {X}_{ij} $/m 工况切换过程中列车 $ i $、 $ j $ 相对距离的变化 $\Delta X_{ij}^{\lim}(t) $/m 工况切换过程中列车 $i $、 $j $ 相对安全距离的变化 $ T_{ij}^{\text{react}}(t) $/s 时刻 t 列车 $ j $ 相对于列车 $ i $ 系统响应时间，即列车在接收紧急制动指令之后保持相对加速的响应时间 $ T_{ij}^{\text{coast}}(t) $/s 时刻 t 列车 $ j $ 相对于列车 $ i $ 惰行时间，即牵引工况切除之后保持惰行的响应时间 $ B_{ij}^{\text{react}} $/（m•s−2） 系统响应时列车 $ j $ 相对于 $ i $ 的相对加速度 $ B_{ij}^{\text{coast}} $/（m•s−2） 惰行时列车 $ j $ 相对于列车 $ i $ 的相对加速度 $ B_{ij}^{\max }(t) $/（m•s−2） 时刻 t 列车 $ j $ 相对于列车 $ i $ 可以产生的最大相对制动加速度 
下载: 导出CSV
表 2 线路和列车参数
Table 2. Line and train parameters
参数 描述 数值 列车参数 车长 $ L $/m 68 虚拟编组列车单元
最大制动率 $ {B}_{i} $/（m•s−2）0.951，0.995，
0.860，0.921虚拟编组列车单元
初始速度 $ {v}_{0} $/（m•s−1）23，22.8，
22.5，22虚拟编组列车单元
初始坐标 $ {x}_{0} $（0,0），（−104,0），
（−208,0），（−312,0）通信周期 $ {T}_{{\mathrm{s}}} $/s 0.2 s 线路参数 戴维斯系数 $ {c}_{1} $ 0.00581 戴维斯系数 $ {c}_{2} $ 0.000402 戴维斯系数 $ {c}_{3} $ 0.0000297
下载: 导出CSV
-
[1] 姚恩建, 金方磊, 胡倩雯, 等. 考虑换乘次数阈值的城轨乘客路径选择行为分析[J]. 西南交通大学学报, 2017, 52(3): 639-645. doi: 10.3969/j.issn.0258-2724.2017.03.028Yao Enjian, Jin Fanglei, Hu Qianwen, et al. Analysis of route choice behavior of urban rail passengers considering transfer thresholds[J]. Journal of Southwest Jiaotong University, 2017, 52(3): 639-645. doi: 10.3969/j.issn.0258-2724.2017.03.028 [2] 林俊亭, 倪铭君. 基于人工势场的虚拟编组自适应模型预测控制[J]. 北京航空航天大学学报, 2025, 51(10): 3273-3285.Lin Junting, Ni Mingjun. Adaptive model predictive control of virtual coupled based on artificial potential field[J]. Journal of Beijing University of Aeronautics and Astronautics, 2024, 1-23. [3] 施杉杉. 考虑通信质量的虚拟编组列车平稳追踪控制方法研究[D]. 北京: 北京交通大学, 2025, 51(10): 3273-3285. [4] 李中奇, 衷玲玉, 杨辉. 虚拟编组列车的分布式协同预测控制[J]. 交通运输工程学报, 2024, 24(5): 362-378. doi: 10.19818/j.cnki.1671-1637.2024.05.023Li Zhongqi, Zhong Lingyu, Yang Hui. Distributed cooperative predictive control of virtual coupled trains[J]. Journal of Traffic and Transportation Engineering, 2024, 24(5): 362-378. doi: 10.19818/j.cnki.1671-1637.2024.05.023 [5] 赵倩倩. 基于强化学习的多列车协同编队方法研究[D]. 北京: 北京交通大学, 2021. [6] Felez J, Kim Y, Borrelli F. A model predictive control approach for virtual coupling in railways[J]. IEEE Transactions on Intelligent Transportation Systems, 2019, 20(7): 2728-2739. doi: 10.1109/TITS.2019.2914910 [7] Gao S G, Dong H R, Ning B, et al. Cooperative prescribed performance tracking control for multiple high-speed trains in moving block signaling system[J]. IEEE Transactions on Intelligent Transportation Systems, 2019, 20(7): 2740-2749. doi: 10.1109/TITS.2018.2877171 [8] 刘伯鸿, 卢田. 基于ASP-SAC算法的列车自动驾驶速度控制[J]. 铁道科学与工程学报, 2024, 21(7): 2637-2648. doi: 10.19713/j.cnki.43-1423/u.T20231620Liu (Bai| Bo)(Hong), Lu Tian. Automatic train operation speed control based on ASP-SAC algorithm[J]. Journal of Railway Science and Engineering, 2024, 21(7): 2637-2648. doi: 10.19713/j.cnki.43-1423/u.T20231620 [9] 陈明亮. 编队运行中基于协同控制的列车安全防护控制方法[D]. 北京: 北京交通大学, 2021. [10] 陈明亮. 编队运行中基于协同控制的列车安全防护控制方法[D]. 北京: 北京交通大学, 2022. [11] 崔玉君. 基于知识和深度强化学习的列车自动停车控制算法研究[D]. 太原: 太原理工大学, 2020. [12] 荀径, 陈明亮, 宁滨, 等. 虚拟重联条件下地铁列车追踪运行性能衡量[J]. 北京交通大学学报, 2019(1): 96-103. doi: 10.11860/j.issn.1673-0291.2019.01.011Xun Jing, Chen Mingliang, Ning Bin, et al. Train tracking performance measurement under virtual coupling in subway[J]. Journal of Beijing Jiaotong University, 2019(1): 96-103. doi: 10.11860/j.issn.1673-0291.2019.01.011 [13] Zhou Q, Zhang C Y, Bao F, et al. The safety braking protection model of virtually coupled train platoon in subway[C]//2020 10th Institute of Electrical and Electronics Engineers International Conference on Cyber Technology in Automation, Control, and Intelligent Systems (CYBER). Xi’an, China. IEEE, 2020: 401-406. [14] 孙玉龙. 基于认知结构的高速列车停车对标控制算法研究[D]. 北京: 北京交通大学, 2021. [15] 刘鸿恩, 胡闽胜, 胡海林. 基于制动特征自学习的磁浮列车强化学习制动控制[J]. 西南交通大学学报, 2024, 59(4): 839-847. doi: 10.3969/j.issn.0258-2724.20230517Liu Hongen, Hu Minsheng, Hu Hailin. Reinforcement learning braking control of maglev trains based on self-learning of hybrid braking features[J]. Journal of Southwest Jiaotong University, 2024, 59(4): 839-847. doi: 10.3969/j.issn.0258-2724.20230517 [16] 林俊亭, 倪铭君. 基于扩张状态观测器的虚拟编组触发模型预测控制[J]. 交通运输系统工程与信息, 2023, 23(4): 134-146. doi: 10.16097/j.cnki.1009-6744.2023.04.014Lin Junting, Ni Mingjun. Trigger model predictive control based on extended state observers for virtual coupling[J]. Journal of Transportation Systems Engineering and Information Technology, 2023, 23(4): 134-146. doi: 10.16097/j.cnki.1009-6744.2023.04.014 [17] 李自康, 戴春辉, 黄翠翠, 等. 基于多种群遗传算法的磁浮列车自抗扰速度控制[J]. 西南交通大学学报, 2025, 60(4): 912-920. doi: 10.3969/j.issn.0258-2724.20240113Li Zikang, Dai Chunhui, Huang Cuicui, et al. Active disturbance rejection speed control for maglev trains based on multi-population genetic algorithm[J]. Journal of Southwest Jiaotong University, 2025, 60(4): 912-920. doi: 10.3969/j.issn.0258-2724.20240113 [18] 曹晋瑜. 动态环境下基于深度强化学习的机器人路径规划方法研究[D]. 杭州: 浙江大学, 2024. [19] 张忠铝. 基于SAC算法的AUV路径规划与跟踪方法研究[D]. 济南: 山东大学, 2023. [20] 荆锐. 深度强化学习方法优化研究[D]. 西安: 西安电子科技大学, 2022. [21] 寇凯, 杨刚, 张文启, 等. 基于SAC的无人机自主导航方法研究[J]. 西北工业大学学报, 2024, 42(2): 310-318. doi: 10.1051/jnwpu/20244220310Kou Kai, Yang Gang, Zhang Wenqi, et al. Exploring UAV autonomous navigation algorithm based on soft actor-critic[J]. Journal of Northwestern Polytechnical University, 2024, 42(2): 310-318. doi: 10.1051/jnwpu/20244220310 [22] 王子豪. 基于深度强化学习的无人船多路径跟踪研究[D]. 济南: 山东大学, 2023. [23] 李恒. 基于深度强化学习的移动机器人自主避障技术研究[D]. 合肥: 中国科学技术大学, 2023. [24] 肖硕, 黄珍珍, 张国鹏, 等. 基于SAC的多智能体深度强化学习算法[J]. 电子学报, 2021, 49(9): 1675-1681. doi: 10.12263/DZXB.20200243Xiao Shuo, Huang Zhenzhen, Zhang Guopeng, et al. Deep reinforcement learning algorithm of multi-agent based on SAC[J]. Acta Electronica Sinica, 2021, 49(9): 1675-1681. doi: 10.12263/DZXB.20200243 [25] Wang J Y, Liu H J, Tang T, et al. A space-time interval based protection method for virtual coupling[C]//2022 China Automation Congress (CAC). Xiamen, China. IEEE, 2022: 4906-4911. -
下载:
点击查看大图
计量
- 文章访问数: 1
- HTML全文浏览量: 1
- PDF下载量: 0
- 被引次数: 0