Machine learning-based flight trajectories prediction and air traffic conflict resolution advisory

Abstract

The increasing in traffic demand has strained air traffic control system and controllers which lead to the need of novel and efficient conflict detection and resolution advisory. In the scope of this thesis, we concentrate on studying challenges in conflict detection and resolution by using machine learning approaches. We have attempted to learn and predict controller behaviors from data using Random Forest. We also propose a novel approach for probabilistic conflict detection by using Heteroscedastic Gaussian Process as predictive models and Bayesian Optimization for probabilistic conflict detection algorithm. Finally, we propose an artificial intelligent agent that is capable of resolving conflicts, in the presence of traffic and uncertainty. The conflict resolution task is formulated as a decision-making problem in large and complex action space, which is applicable for employing reinforcement learning algorithm. Our work includes the development of a learning environment, scenario state representation, reward function, and learning algorithm. Machine learning methods have showed their advantages and potential in conflict detection and resolution related challenges. However, more studies would be conducted to improve their performances such as airspace network representation, multi-agent reinforcement learning or controller's strategy reconstruction from data.; L'augmentation de la demande de trafic a mis à rude épreuve le système de contrôle de la circulation aérienne et les contrôleurs, d'où la nécessité d'un système novateur et efficace de détection et de résolution des conflits. Dans le cadre de cette thèse, nous nous concentrons sur l'étude des défis de la détection et de la résolution des conflits en utilisant des approches d'apprentissage machine. Nous avons essayé d'apprendre et de prédire les comportements des contrôleurs à partir de données utilisant Random Forest. Nous proposons également une nouvelle approche pour la détection probabiliste des conflits en utilisant le Processus Gaussien Hétéroscédastique comme modèles prédictifs et l'optimisation bayésienne pour l'algorithme de détection probabiliste des conflits. Enfin, nous proposons un agent intelligent artificiel capable de résoudre les conflits, en présence de trafic et d'incertitude. La tâche de résolution de conflit est formulée comme un problème de prise de décision dans un espace d'action vaste et complexe, qui est applicable pour l'utilisation d'un algorithme d'apprentissage par renforcement. Notre travail comprend le développement d'un environnement d'apprentissage, la représentation des états des scénarios, la fonction de récompense et l'algorithme d'apprentissage. Les méthodes d'apprentissage machine ont montré leurs avantages et leur potentiel dans la détection et la résolution des conflits. Cependant, d'autres études seraient menées pour améliorer leurs performances, telles que la représentation du réseau de l'espace aérien, l'apprentissage du renforcement multi-agent ou la reconstruction de la stratégie du contrôleur à partir de données.

Original document

The different versions of the original document can be found in:

• https://tel.archives-ouvertes.fr/tel-02870575,

https://tel.archives-ouvertes.fr/tel-02870575/document,

https://tel.archives-ouvertes.fr/tel-02870575/file/2019PSLEP027_archivage.pdf