4D Trajectory Prediction of Continuous Descent Operation in Congested Terminal Control Area
-
摘要:
为在繁忙终端区实施连续下降运行并估算其二氧化碳减排成效，提出一种基于数据驱动和最优控制理论相结合的连续下降运行4D轨迹预测方法. 首先，通过近邻传播轨迹聚类方法对典型进场水平路径进行识别；然后，以典型进场水平路径为依据，分别以最小时间和最小燃油为目标，建立垂直剖面连续下降运行多阶段最优控制模型，并提出一种基于遗传算法的最优控制模型求解新方法—连续下降运算遗传算法（genetic algorithm for continuous descent operations，GACDO）；最后，利用终端区实际轨迹数据，开展典型进场水平路径识别和连续下降运行模式下的4D轨迹预测与减排收益比较实验. 结果表明：该方法能获得理想的连续下降运行4D轨迹；以最小时间为优化目标时，平均运行时间和二氧化碳排放分别减少26%和8%；以最小油耗为优化目标时，运行时间和二氧化碳排放分别减少17%和20%.
Abstract:In order to implement continuous descent operation (CDO) in a congested terminal control area and estimate its CO2 emission reduction benefits, a 4D trajectory prediction method for CDO based on data drive and optimal control theory was proposed. Firstly, the affinity propagation trajectory clustering method was employed to recognize typical horizontal arrival routes. According to typical horizontal arrival routes, a multi-phase optimal control model for CDO in vertical profiles was established, with the objectives of minimizing time and fuel consumption. Additionally, a novel solving method, namely genetic algorithm-based CDO (GACDO) for optimal control model was proposed. Finally, 4D trajectory prediction and emission reduction benefit comparison experiments in typical horizontal arrival route identification and CDO modes were conducted by using actual trajectory data in the terminal control area. The experimental results show that ideal 4D trajectories for CDO can be achieved. With the minimum time as the optimization objective, the average operation time and CO2 emission are reduced by 26% and 8%, respectively. With the minimum fuel consumption as the optimization objective, the operation time and CO2 emission are decreased by 17% and 20%, respectively.
-
感知施工现场人员的位置信息、进行施工现场实体的追踪定位，能够为生产力分析、安全管理提供基础数据[1]. 相比基于无线电的方法定位，如无线电射频识别（RFID）、超宽带（UWB）和基于传感器的全球定位系统（GPS），基于计算机视觉的位置信息采集技术有成本低、无接触、效率高等优点[1-3].
基于计算机视觉的施工实体追踪与定位研究多采用手工设计的图像特征（如梯度直方图和色彩直方图）进行目标检测和数据关联[1-2,4]. 数据关联即为目标检测结果分配ID，完成对目标的持续追踪. 相比基于深度学习的特征，手工设计特征是较为浅层的特征，鲁棒性差. 因此，Son等[5]使用深度残差网络作为主干网络进行特征提取，实现高精度的施工现场人员检测. Son等[3]使用YOLOv4[6]进行目标检测，并利用基准卷积神经网络对检测结果进行特征提取以实现目标匹配. Angah等[7]利用Mask RCNN （region-based convolutional neural networks）[8]作为检测器，并使用不同基准卷积网络进行特征提取，完成施工人员的匹配. Zhang等[9]利用行人重识别深度特征实现跨摄像头的施工现场人员匹配.
行人重识别原是多目标多摄像头追踪的子任务，后来分离成为独立的研究方向，旨在利用目标图像实现行人跨时空的准确检索[10-11]. 上述人员追踪研究都仅仅将行人重识别方法用作特征提取器，并没有充分挖掘特征序列彼此之间的关联，以实现更准确的目标匹配；另一方面，行人重识别研究针对的场景大多为普通行人场景，相较之下，施工场景背景复杂、人员姿势丰富、着装更为相似、遮挡重叠更为严重，依靠外观特征进行匹配容易产生错误匹配，需要针对施工场景提出优化机制.
本文采用YOLOv5算法进行目标检测，并提出一种基于行人重识别的数据关联方法，以实现对施工人员的视觉追踪. 该方法包括基于重排序的距离度量技术，能够考虑深度特征之间的关联性，从而增强对难样本的识别能力. 此外，还引入一种后处理机制，结合缓冲机制和特征动态更新，旨在优化匹配结果，充分考虑施工环境的动态性、复杂性及人员着装的相似性，以提高追踪的准确性. 在视觉追踪的基础上，运用图像透视变换实现对施工人员在现场的真实2D坐标及运动信息的持续感知，为生产力分析提供基础数据.
1. 算法整体流程
算法由3个模块组成：目标检测、数据关联、坐标获取. 目标检测能够完成大类目标（如人员、机具、材料等）的识别与初步定位，但并不能实现大类下个体之间的区分，以及视频帧与帧之间目标的辨别. 因此，在目标检测的基础上进行数据关联，为被检测出的对象分配ID，实现目标的视觉追踪. 本文以行人重识别的视角建立了一种数据关联方法，每一帧通过目标检测网络输出的目标称为待检目标（query），这些目标需要和人员图像库（gallery，以下简称库）中的若干对象进行匹配，以为其分配ID. 完成数据关联后，基于图像透视变换完成施工人员现场真实位置信息获取，并结合帧率信息获取如运动距离、速度、时间等的基础生产力分析数据. 算法流程如图1所示，图中，qi为第i个待检目标，gj为库中第j个对象（库中储存图像是由深度网络提取到的深度特征而非直接存储图像，故称其为对象）.
2. 目标检测
采用基于深度学习的单阶段目标检测方法YOLOv5[12]，该方法是单阶段算法YOLO系列的第5版，为目前主流的单阶段算法之一. 实际采用YOLOv5l网络架构，并利用An等[13]提出的施工现场数据集，提取其中包含工人的部分图片和对应的标注信息，结合现场采集的图片，构建训练集以及验证集，其中，训练集
6085 张图片，验证集1522 张图片.训练初始学习率为3.2 × 10-3，最终OneCycle学习率为0.12，动量为0.853，权重衰减为3.6 × 10-4，训练轮数为400轮，每轮样本数为16个. 训练目标框损失变化情况见图2. 在验证集中，训练后的网络检测平均精度均值（mean average precision，mAP）达到87.5%.
3. 基于行人重识别的数据关联
3.1 基于重排序的距离度量
通过基于深度学习的行人重识别网络提取代表目标外观特征的特征向量，利用特征向量之间的欧氏距离进行度量和对比，从而实现对施工现场不同工人的识别，并在遮挡和重叠情况下有效“重识别”同一目标.
采用Luo等[14]提出的基准网络，如图3所示. 图中，GAP、BN、FC分别为全局平均池化层、批正则化层、全连接层. 网络的输出ID用于训练，而特征向量则用于推理和模型训练. 在测试阶段，使用在行人重识别标准数据集Market1501[15]上预训练的模型.
将待检测目标与数据库中所有对象进行欧氏距离度量，并按距离从小到大对对象进行排序，生成初始序列，如式（1）所示. 在这个序列中，靠前的对象与待检测目标越相似，则为该待检测目标分配序列中第1个对象对应的ID.
L0(qi)={g1,g2,⋯,gJ},d1(qi,gj)<d1(qi,gj+1),j=1,2,⋯,J−1, (1) d1(qi,gj)=‖fqi,fgj‖2, (2) 式中：$ d_{1}\left(q_{i}, g_{j}\right) $为qi和gj间的欧氏距离，J为库中对象数，$ {\boldsymbol{f}}_{qi} $和$ {\boldsymbol{f}}_{gj} $分别为qi和gj对应的特征向量.
施工场景下人员穿着相似，排序靠前对象可能并非该待检目标的正确配对. 此外，ID分配仅考虑了外观特征的相似度，所构建序列的排序信息未得到充分利用，而目标和对象若属于同一ID，则二者的近邻之间有较高的相似度[16]. 为此，引入行人重识别研究中的重排序（re-ranking）概念，针对数据关联任务，提出一种基于k最邻近的重排序方法，并对重排序后的序列进行特征局部扩展，以获得更为鲁棒的特征表示，从而生成最终的优化序列，以提高算法在施工人员外观相似情况下的匹配准确性，如图4所示. 图中，gj右侧括号内的$ h_{p}^{(l)} $表示序列中对象gj的真实ID为l，并且在排序中是序列中第p个ID为l的对象，$ L_{1}\left(q_{i}\right) $、$ L_{*}\left(q_{i}\right) $分别为经过k最邻近重排序后的序列（优化序列1）和最终匹配序列，$ N\left(g_{j}, k\right) $为库中对象gj的k最邻近集（定义见3.1.1节），$ q_{i}^{*} $为特征局部扩展后的待检目标.
3.1.1 基于k最邻近的重排序
取待检目标的k最邻近集$ N\left(q_{i}, k\right) $，也即初始匹配序列$ L_{0}\left(q_{i}\right) $中的前k项中满足距离阈值要求的对象集，如式（3）所示. 其中，k取值见式（4）. 使用同样的方法，对$ N\left(q_{i}, k\right) $中每个对象计算其k最邻近对象集$ N\left(g_{j}, k\right) $（排除该对象本身）. 基于建立好的近邻集，利用Jaccard距离[17]，计算待检目标与其k最邻近集中对象的邻近距离$ d_{2}\left(q_{i}, g_{j}\right) $，表征集合间的相似度，如式（5）所示，对于待检目标的非k最邻近对象，该值取1. 采用欧氏距离与最邻近距离加权获得重排序后的序列，如式（6）所示，其中距离的计算见式（7）.
N(qi,k)={g1,g2,⋯,gk},gj∈L0(qi), (3) k=min (4) d_2\left(q_i, g_j\right)=\left\{\begin{array}{l} 1-\dfrac{N\left(q_i, k\right) \cap N\left(g_j, k\right)}{N\left(q_i, k\right) \cup N\left(g_j, k\right)},\quad j \leqslant k, \\ 1,\quad j \gt k \end{array}\right. (5) \begin{split} & L_1\left(q_i\right)=\left\{g_1, g_2, \cdots, g_J\right\}, \quad d\left(q_i, g_j\right) \lt d\left(q_i, g_{j + 1}\right), \\&\quad j=1,2, \cdots, J-1, \end{split} (6) d\left(q_i, g_j\right)=\left(1-\lambda_1\right) d_1\left(q_i, g_j\right) + \lambda_1 d_2\left(q_i, g_j\right), (7) 式中：$ k_{0} $为设定的邻近数，$ d_{0} $为一距离阈值，$ \lambda_{1} $为近邻距离权重.
3.1.2 特征局部扩展
将待检目标本身的图像特征向量与重排序后序列的前$ k_{{\mathrm{e}}} $个对象对应的图像特征向量进行加权，如式（8）所示，其中$ k_{{\mathrm{e}}} $的取值见式（9）. 该加权方法考虑了排序信息，根据对象特征在排序中的位置进行该对象特征权重的调整，能够确保越相近的对象被赋予更高的权重. 利用扩展的特征向量再次进行距离度量，获取该待检目标的最终匹配序列，如式（10）所示.
\boldsymbol{f}_{q_i}^*=\left(1-\lambda_2\right) \boldsymbol{f}_{q_i} + \lambda_2 \frac{\displaystyle\sum_{j=1}^{k_{\mathrm{e}}}\left(k_{\mathrm{e}}-j + 1\right) \boldsymbol{f}_{g_j}}{\displaystyle\sum_{j=1}^{k_{\mathrm{e}}}\left(k_{\mathrm{e}}-j + 1\right)}， (8) \begin{split} & k_{\mathrm{e}}=\min \left\{k_{{\mathrm{e}} 0}, \max (j)\right\},\quad d\left(q_i, g_j\right) \lt d_{{\mathrm{e}} 0}, \\&\quad j=1,2, \cdots, J, \end{split} (9) \begin{split} & L_*\left(q_i\right)=\left\{g_1, g_2, \cdots, g_J\right\}, \quad d_1\left(q_i^*, g_j\right)\lt d_1\left(q_i^*, g_{j + 1}\right), \\&\quad j=1,2, \cdots, J-1, \end{split} (10) 式中：$ \lambda_{2} $为扩展权重，$ k_{{\mathrm{e}} 0} $为设定的扩展邻近数，$ d_{{\mathrm{e}}0} $为扩展距离阈值.
3.2 匹 配
匹配也即为待检目标分配ID. 跟行人重识别研究不同，数据关联任务中，每个待检目标获取的ID是唯一的，也即不存在多个待检目标被分配同一ID的情况，另外追踪过程中可能会出现此前库中没有的新目标，更类似于开放世界行人重识别任务[11]. 因此，为正确分配ID，不同于3.1节中仅度量待检目标与库中对象之间的距离，这里利用最终匹配序列$ L_{*}\left(q_{i}\right) $获取待检目标$ q_{i} $与库中ID间的距离. 计算所有待检目标与所有ID的距离以建立距离矩阵D，如式（11）所示.
\boldsymbol{D}=\left(\begin{array}{cccccc} d_{11} & d_{12} & \cdots & d_{1 l} & \cdots & d_{1 n} \\ d_{21} & d_{22} & \cdots & d_{2 l} & \cdots & d_{2 n}\\ \vdots & \vdots & & \vdots & & \vdots \\ d_{i 1} & d_{i 2} & \cdots & d_{i l} & \cdots & d_{i n}\\ \vdots & \vdots & & \vdots & & \vdots \\ d_{m 1} & d_{m 2} & \cdots & d_{m l } & \cdots & d_{m n} \end{array}\right)_{m \times n}, (11) 式中：$ d_{il} $为待检目标qi与$ L_{*}\left(q_{i}\right) $中ID为l的第1个对象间的欧式距离，也即$ d_{1}\left(q_{i}^{*}, h_{1}^{(l)}\right) $，m和n分别为这一帧的待检目标数和库中所有ID数.
基于建立好的距离矩阵，采用改进的Jonker-Volgenant方法[18]为每个待检目标分配ID. 对于被分配ID为l的待检目标qi，若dil小于匹配阈值，则认为匹配成功，为其分配对应的ID；否则认为出现了库中没有的新目标，为其分配新的ID；此外若m>n，则表示出现了库中没有的目标，为这些没有被匹配到的待检目标分配新ID.
3.3 匹配结果后处理
3.3.1 缓冲机制
施工场景复杂，常常出现遮挡和姿态变化等情况，使得即使待检目标确实属于某一数据库ID，也可能面临匹配失败. 此外，目标检测过程中可能存在误检，如果此时错误地赋予新ID，将导致匹配错误和误判. 为解决这一问题，引入缓冲机制，如图5所示. 该机制通过建立一个缓冲库来类比原始库. 每一帧的待检目标首先与库进行匹配，如果匹配失败，则会与缓冲库进行匹配. 如果成功，则该特征将被添加到缓冲库中. 当缓冲库中对应ID的特征向量数量达到设定阈值时，会将该待检目标加入主库并赋予新ID. 如果仍然匹配失败，则在缓冲库中为该待检目标创建新ID并存储其特征向量. 同时，缓冲库中连续若干帧匹配失败的ID将被删除. 最终的追踪结果由两个部分贡献组成：一是与库中目标成功匹配的目标，二是缓冲库中满足特征向量数量要求的目标. 该缓冲机制提高了算法的容错性，从而减少了错误匹配的发生.
3.3.2 特征动态更新机制
对于匹配成功的若干待检目标，计算其两两间目标框的交并比（2个矩形相交面积与相并面积之比），若任意一个待检目标与其余待检目标的目标框交并比均小于阈值，则认为不存在较大重叠，将该待检目标的图像特征存入库中对应ID下，若该ID特征数满足限值，则随机替换非初始图像特征，见图5. 由于库并不能无限储存特征，特征的动态更新确保库中始终保留与当前目标相近的图像特征，从而提高姿态变化情况下的追踪准确率，并有效避免库中出现重叠的图像特征，减少错误匹配的发生.
4. 坐标获取
上述目标追踪方法只能获取人员与ID对应的像素坐标，为获取现场真实位置信息，需要进行坐标变换. 假定所有施工人员均位于同一施工平面，则可忽略深度信息，通过透视变换获取目标在平面上的真实2D坐标[19]. 在变换前需对相机进行基本的畸变矫正，如图1，这里不再赘述其过程.
图像透视变换本质是利用图像的单应性实现2D图像之间的映射，在变换前后直线仍为直线，效果见图6. 图像坐标系$ uov$通过透视变换转换为设定的$ u^{\prime} o^{\prime} v^{\prime} $坐标系，与结构图对应. 透视变换式见式（12）. 为求解透视变换矩阵，需选择4对参考点，例如图6中的4个点柱节点，实际计算时可选择超过4个点，利用随机抽样一致法（random sample consensus，RANSAC）获得更鲁棒的结果.
w(\begin{array}{l} x \quad y \quad 1 \end{array})^{\mathrm{T}}=\boldsymbol{A}_{3 \times 3}(\begin{array}{c} x_0 \quad y_0 \quad 1 \end{array})^{\mathrm{T}}, (12) 式中：$ \left(x_{0}\;\;\; y_{0}\;\;\; 1\right)^{{\mathrm{T}}} $和$ (x\;\;\; y\;\;\; 1)^{{\mathrm{T}}} $分别为变换前、后对应点的齐次坐标（变换前坐标采用目标框底边中点像素坐标），$ w $为比例系数，$ {\boldsymbol{A}}_{3 \times 3} $为透视变换矩阵.
获取坐标后，结合视频帧率可以分析人员的运动信息. 通过设置采样频率，计算指定区间内的平均移速，如果该速度满足阈值要求，则判定目标处于运动状态. 同时，更新目标的运动距离和时间.
5. 实验验证与模型评价
5.1 实验案例概况
在上海市某房屋建筑施工现场收集视频资料，并从不同视角和施工阶段中选取了具有各种施工现场特点的视频，以制作标准测试视频用于算法测试. 其详细信息见表1. 所有视频均以25帧/s的速度拍摄，且大部分场景中目标的外观相似度较高. 算法测试的软硬件配置如表2所示.
表 1 标准测试视频详细信息Table 1. Details of standard test videos编号 主要施工活动 视角 帧数/帧 目标数/个 难点 1 混凝土浇筑 平视 1479 10136 尺寸差异、遮挡 2 结构测设 平视 769 4606 尺寸差异、遮挡 3 混凝土浇筑 俯视 754 9803 夜间、遮挡 4 结构测设 俯视 616 8101 小目标、遮挡 5 钢筋绑扎 俯视 1230 26922 小目标、遮挡 6 混凝土浇筑 俯视 704 8427 夜间、小目标 7 混凝土模板搭设 俯视 1131 5656 姿态改变、背景复杂 8 预制柱吊装 俯视 1374 11220 动态性强、遮挡 9 预制板吊装 俯视 866 4221 动态性强、遮挡 10 脚手架搭建 俯视 497 6853 背景复杂 11 钢筋加工 俯视 632 3265 人员离开又重进入 表 2 软硬件配置详情Table 2. Software and hardware configuration项目 详情 监控设备 6寸球机 型号：DS-2DC6423IW-AE CPU Intel（R） Core（TM） i9-10900X @3.70 GHz GPU NVIDIA GeForce GTX 2080 Ti 操作系统 Ubuntu 20.04.3 编程环境 Python 3.8.8 深度学习框架 Pytorch 1.9.1 + cu102 5.2 模型评价方法
采用多目标追踪准确度（multiple object tracking accuracy，MOTA）和IDF1（ID的F1得分）对目标追踪效果进行评价，其计算分别如式（13）、（14）所示.
A_{\mathrm{{MOT}}}=1-\frac{\displaystyle \sum_{t=1}^T\left(M_t + W_t + M_t\right)}{\displaystyle \sum_{t=1}^T G_t} \times 100{\text{%}}, (13) \begin{aligned} F_{{\mathrm{ID}}}=\frac{2}{1 / P + 1 / R} \times 100 {\text{%}}, \end{aligned} (14) 式中：$ M_{t} $、$ W_{t} $、$ M_{t} $、$ G_{t} $分别为第$ t $帧中的漏检数、误检数、ID切换数、真实目标数；T为视频总帧数，反映追踪的稳定性；P和R分别为ID的准确率和召回率，能够综合反映ID的准确性.
5.3 视觉追踪
按照实验结果选取参数配置：匹配阈值0.6，缓冲库图像特征限值15个，库中每个目标的特征数限值20个，交并比阈值0.8. 其余参数设置为：$ k_{0}=20 $个，$ d_{0}=1.0 $，$ \lambda_{1}=0.8 $，$ k_{{\mathrm{e}} 0}=10 $个，$ d_{{\mathrm{e}}0}=0.6 $，$ \lambda_{2}=0.5 $. 部分场景追踪效果如图7所示，算法运行平均帧率达到15.2帧/s.
为验证算法的有效性，在不同场景中和其他追踪算法进行对比，结果见表3. 在大部分场景下，本文算法获得了最好的结果，平均IDF1和MOTA分别为85.4%和75.4%.
表 3 不同算法在标准测试视频中的结果（IDF1/MOTA，%）Table 3. Performance of different algorithms on standard test videos （IDF1/MOTA, %）算法 场景 1 场景 2 场景 3 场景 4 场景 5 场景 6 场景 7 场景 8 场景 9 场景 10 场景 11 DAN*[20] 61.5/65.8 44.2/55.4 66.8/67.8 79.2/77.9 73.1/61.5 78.9/81.3 95.3/86.4 76.7/84.2 78.6/81.3 65.5/59.0 93.5/96.2 TraDeS[21] 43.4/27.0 32.2/21.2 8.2/5.3 10.4/-10.8 8.8/-6.8 40.3/28.8 4.2/2.6 30.2/36.2 5.4/-0.7 10.5/2.8 40.4/16.6 FairMOT[22] 48.7/47.0 51.4/54.0 18.4/13.5 47.9/40.5 12.0/0 61.9/45 10.1/9.6 29.1/33.6 28.2/18.2 11.6/5.7 49.8/43.5 Trackformer*[23] 61.7/55.3 49.8/44.4 29.5/23.0 58.0/54.5 37.2/22.7 68.7/58.9 40.6/24.1 36.7/52.3 32.8/30.6 37.5/38.1 83.8/95.7 Unicorn[24] 61.4/57.5 70.5/64.0 13.2/4.6 62.6/46.9 20.1/16.4 72.5/66.3 3.2/3.4 54.6/58.7 34.3/29.2 40.4/34.2 81.7/79.9 ByteTrack[25] 73.4/63.7 67.3/62.4 64.6/58.2 82.1/73.5 38.5/29.6 77.6/71.2 33.4/31.1 61.8/67.1 52.6/54.1 47.0/34.4 83.0/75.8 本文算法* 78.0/66.0 73.3/57.1 82.4/67.8 87.2/77.7 78.0/63.1 89.1/81.6 97.8/95.6 91.8/84.8 90.5/81.5 73.8/58.3 97.5/96.4 注：带*的方法使用了相同的目标检测结果，最优结果加粗表示. 为评估本文提出的基于重排序的距离度量方法及匹配后处理优化机制对算法性能的影响，对比了不同架构下的实验结果，详见表4. 结果显示，包含重排序方法和匹配后处理优化机制（包括缓冲机制和动态更新机制）的算法，相比于去除这二者后的算法，平均提高了52.8%的IDF1和3.8%的MOTA.
表 4 不同架构下追踪结果详情（IDF1/MOTA，%）Table 4. Tracking results with different architectures （IDF1/MOTA, %）架构 场景 1 场景 2 场景 3 场景 4 场景 5 场景 6 场景 7 场景 8 场景 9 场景 10 场景 11 完整 78.0/66.0 73.3/57.1 82.4/67.8 87.2/77.7 78.0/63.1 89.1/81.6 97.8/95.6 91.8/84.8 90.5/81.5 73.8/58.3 97.5/96.4 无重排序 77.3/66.0 60.1/56.6 81.6/67.6 77.8/77.5 74.8/61.9 88.1/81.4 97.8/95.6 80.6/84.2 90.4/81.3 66.8/58.3 95.9/92.6 无缓冲 76.9/66.0 56.8/55.6 79.3/68.0 81.5/77.9 76.0/61.5 87.1/81.6 97.8/95.6 91.3/84.2 89.5/81.0 72.8/59.1 96.0/96.4 无动态更新 67.0/62.9 47.1/53.5 46.7/60.5 56.1/66.4 45.0/54.7 69.2/77.8 68.4/91.9 60.4/79.4 69.1/78.5 51.3/51.2 92.3/93.7 仅动态更新 70.0/65.9 55.5/55.5 76.4/67.9 74.0/77.7 64.7/61.5 84.5/81.5 93.9/95.6 78.0/84.1 81.4/81.1 63.3/58.9 88.0/96.2 仅缓冲 60.6/63.6 31.0/53.0 30.1/59.3 36.2/68.9 28.3/53.9 60.3/77.2 40.2/87.3 37.5/78.8 45.1/77.0 27.0/52.3 44.7/90.2 仅重排序 63.0/63.9 45.0/54.6 38.8/64.4 41.5/72.6 36.8/56.6 64.0/79.9 58.3/92.4 52.8/80.3 69.5/77.8 38.3/55.8 63.2/94.0 无优化方法 47.8/63.4 27.8/53.4 22.9/62.5 29.6/73.3 21.7/56.2 49.2/79.0 31.6/91.3 29.1/80.4 37.7/77.9 24.5/56.4 36.7/94.1 施工场景动态性强，人员除了大量的反复移动之外，姿态相较于普通行人场景更为丰富. 在动态更新机制作用下，视频帧率足够高，即使目标处于运动状态，目标帧间的变化也较小，帧间特征较为相似，确保了持续准确的匹配；此外，动态更新还能对重叠的特征进行过滤，减小目标框重叠导致的错误匹配. 重排序通过考虑特征序列之间相似度，进一步增强待检目标与其对应ID的相似性，从而提高匹配的准确性. 缓冲机制则在目标特征变化匹配失败时发挥作用，避免立刻分配新的ID，虽然可能会带来部分漏检，但提升了长时间追踪下的准确性.
5.4 坐标获取
在俯视视角下选择如图6所示的现场坐标系，利用柱中心点、梁梁节点中心点共9对参考点求解透视变换矩阵，得到施工人员的坐标和轨迹信息如图8，移动距离采样为每25帧一次，运动状态判定阈值为0.5 m，获得位置信息数据如表5，坐标精确到cm.
5.5 结果讨论
本文提出的方法在施工场景下获得较高的追踪准确度，提升追踪精度. 然后，在部分场景下仍存在漏检、误检、错误匹配等现象. 在小目标场景下（如图7（b）），目标检测易出现漏检，此时依靠后续数据关联并不能恢复目标框，而目标本身的行人外观特征也不明显，特别是目标处于蹲姿的情况下，易发生错误匹配. 此外，施工现场重叠较多，由其是在平视且目标穿着相似的情况下. 如图9，在场景2平视视角下，3个相似目标出现了严重重叠，甚至是完全遮挡. 在遮挡后视野中出现穿着相似的新目标会引起ID切换. 一般情况下，遮挡后可利用行人重识别特征进行“重识别”，但在严重重叠的情况下，目标检测可能失效，且因外观高度相似，重识别特征也难保证准确匹配.
表 5 运动数据获取结果Table 5. Attained movement dataID 移动距离/m 在场总时间/s 移动时间/s 平均速度/
（m•s−1）0 52.2 78.0 37.8 1.4 1 12.3 78.0 9.0 1.4 2 0.5 78.0 0.6 0.8 3 7.0 77.8 7.0 1.0 4 28.0 76.1 25.6 1.1 5 17.4 33.5 16.6 1.0 为进一步改善追踪的效果，首先，针对小目标，可以优化目标检测网络以提升检测性能[26]；其次，引入先验信息，例如根据现场布局或结构图纸预先标记可能的遮挡物，并预测重新出现的位置，同时结合多摄像头数据优化匹配结果；此外，还可考虑建立施工场景的行人重识别数据集，并融合多源数据进行开放世界人员重识别. 在算法效率方面，由于本文算法在有限硬件设备下未能实现实时图像处理，因此可以考虑采用轻量化行人重识别网络来提高算法的效率. 最后，本文基于图像透视变换获取了现场真实坐标，但由于施工现场动态性较强、人员密集，并没有对获取的精度进行检验，未来可考虑结合传感器等设备对坐标精度进行验证.
6. 结 论
1） 本文提出的基于行人重识别的方法能够在不同施工场景下进行准确的人员追踪，并获得现场真实坐标与运动信息，在测试视频中平均IDF1和MOTA分别达到85.4%和75.4%.
2） 提出的基于重排序的距离度量方法对目标序列排序结果进行了优化，提高了目标间相似性度量的准确性，有效提升了追踪的准确度.
3） 提出的包含缓冲机制和动态更新机制的匹配后处理方法充分考虑了施工场景的动态性、复杂性，能够有效减少由于重叠、遮挡等带来的错误匹配.
-
图 4 成都双流机场进场轨迹聚类结果
Figure 4. Arrival trajectories clustering result of Chengdu Shuangliu Airport
表 1 不同机型CDO预测飞行时间与燃油消耗对比
Table 1. Comparison of predicted flight time and fuel consumption for CDO of different aircraft types
机型 预测方法 最小时间 最小燃油 lTOD/km 燃油/kg CO2/kg 飞行时间/s lTOD/km 燃油/kg CO2/kg 飞行时间/s A319 实际轨迹 170.9 538.3 950 170.9 538.3 950 GA算法 −100.0 158.2 498.3 697 −127.7 127.3 400.9 810 A320 实际轨迹 192.6 606.7 950 192.6 606.7 950 GA算法 −107.4 180.3 567.9 708 −133.3 161.4 508.4 815 A321 实际轨迹 266.4 839.1 950 266.4 839.1 950 GA算法 −100.0 235.7 724.4 691 −118.5 226.6 713.7 772 B737 实际轨迹 199.5 628.4 950 199.5 628.4 950 GA算法 −101.8 178.2 561.3 697 −125.9 153.2 482.5 808 
下载: 导出CSV
-
[1] SÁEZ R, PRATS X, POLISHCHUK T, et al. Traffic synchronization in terminal airspace to enable continuous descent operations in trombone sequencing and merging procedures: an implementation study for Frankfurt Airport[J]. Transportation Research Part C: Emerging Technologies, 2020, 121: 102875.1-102875.23. doi: 10.1016/j.trc.2020.102875 [2] ZENG W L, CHU X, XU Z F, et al. Aircraft 4D trajectory prediction in civil aviation: a review[J]. Aerospace, 2022, 9(2): 91.1-91.19. doi: 10.3390/aerospace9020091 [3] 王超,郭九霞,沈志鹏. 基于基本飞行模型的4D航迹预测方法[J]. 西南交通大学学报,2009,44(2): 295-300. doi: 10.3969/j.issn.0258-2724.2009.02.028WANG Chao, GUO Jiuxia, SHEN Zhipeng. Prediction of 4D trajectory based on basic flight models[J]. Journal of Southwest Jiaotong University, 2009, 44(2): 295-300. doi: 10.3969/j.issn.0258-2724.2009.02.028 [4] 张军峰,蒋海行,武晓光,等. 基于BADA及航空器意图的四维航迹预测[J]. 西南交通大学学报,2014,49(3): 553-558. doi: 10.3969/j.issn.0258-2724.2014.03.028ZHANG Junfeng, JIANG Haixing, WU Xiaoguang, et al. 4 D trajectory prediction based on BADA and aircraft intent[J]. Journal of Southwest Jiaotong University, 2014, 49(3): 553-558. doi: 10.3969/j.issn.0258-2724.2014.03.028 [5] 王莉莉,刘鑫宇. 基于自主改航的交叉航班流预先冲突解脱研究[J/OL]. 西南交通大学学报,1-9[2024-12-05]. http://kns.cnki.net/kcms/detail/51.1277.U.20240322.1643.006.html.WANG Lili, Liu xinyu, A study on pre-conflict resolution of cross-flight streams based on autonomous re-routing[J/OL] Journal of Southwest Jiaotong University, 1-9[2024-12-05]. http://kns.cnki.net/kcms/detail/51.1277.U.20240322.1643.006.html. [6] ZHANG J F, LIU J, HU R, et al. Online four dimensional trajectory prediction method based on aircraft intent updating[J]. Aerospace Science and Technology, 2018, 77: 774-787. doi: 10.1016/j.ast.2018.03.037 [7] FRANCO A, RIVAS D, VALENZUELA A. Probabilistic aircraft trajectory prediction in cruise flight considering ensemble wind forecasts[J]. Aerospace Science and Technology, 2018, 82/83: 350-362. doi: 10.1016/j.ast.2018.09.020 [8] DANCILA R I, BOTEZ R M. New atmospheric data model for constant altitude accelerated flight performance prediction calculations and flight trajectory optimization algorithms[J]. Proceedings of the Institution of Mechanical Engineers, Part G: Journal of Aerospace Engineering, 2021, 235(4): 405-426. doi: 10.1177/0954410020945555 [9] ZENG W L, QUAN Z B, ZHAO Z Y, et al. A deep learning approach for aircraft trajectory prediction in terminal airspace[J]. IEEE Access, 2020, 8: 151250-151266. doi: 10.1109/ACCESS.2020.3016289 [10] WU X P, YANG H Y, CHEN H, et al. Long-term 4D trajectory prediction using generative adversarial networks[J]. Transportation Research Part C: Emerging Technologies, 2022, 136: 103554.1-103554.13. doi: 10.1016/j.trc.2022.103554 [11] MA L, TIAN S. A hybrid CNN-LSTM model for aircraft 4D trajectory prediction[J]. IEEE Access, 2020, 8: 134668-134680. doi: 10.1109/ACCESS.2020.3010963 [12] DHIEF I, WANG Z, LIANG M, et al. Predicting aircraft landing time in extended-TMA using machine learning methods[C]//Proceedings of the 9th International Conference for Research in Air Transportation (ICRAT). Florida: [s.n.], 2020: 23-26. [13] ROCHA MURCA M C, DE OLIVEIRA M. A data-driven probabilistic trajectory model for predicting and simulating terminal airspace operations[C]//2020 AIAA/IEEE 39th Digital Avionics Systems Conference (DASC). San Antonio: IEEE, 2020: 1-7. [14] PARK S G, CLARKE J P. Optimal control based vertical trajectory determination for continuous descent arrival procedures[J]. Journal of Aircraft, 2015, 52(5): 1469-1480. doi: 10.2514/1.C032967 [15] MA L B, TIAN Y G, ZHANG Y, et al. Trajectory optimization of aircraft for a continuous descent continuous procedure[C]//2020 Chinese Automation Congress (CAC). Shanghai: IEEE, 2020: 2063-2067. [16] GONZÁLEZ-ARRIBAS D, SOLER M, SANJURJO-RIVO M. Robust aircraft trajectory planning under wind uncertainty using optimal control[J]. Journal of Guidance, Control, and Dynamics, 2017, 41(3): 673-688. [17] ZENG W L, XU Z F, CAI Z P, et al. Aircraft trajectory clustering in terminal airspace based on deep autoencoder and Gaussian mixture model[J]. Aerospace, 2021, 8(9): 266.1-266.18. doi: 10.3390/aerospace8090266 [18] FREY B J, DUECK D. Clustering by passing messages between data points[J]. Science, 2007, 315(5814): 972-976. doi: 10.1126/science.1136800 [19] NUIC A. User manual for the base of aircraft data (BADA) revision 3.6[EB/OL]. (2004-10-14)[2023-05-05]. https://www.eurocontrol.int/publication/user-manual-base-aircraft-data-bada. -
下载:
下载:
点击查看大图
计量
- 文章访问数: 60
- HTML全文浏览量: 44
- PDF下载量: 8
- 被引次数: 0