Investigation de modèles de prédiction par méta-modèles pour des fonctions coûteuses en présence de variables de nature mixte, en particulier catégorielles

Abstract

Au cours de ce travail en collaboration avec le centre de recherche CENAERO, nous allons analyser les performances de l’algorithme CatBoost, un algorithme d’approximation par méta-modèles réputé pour créer des approximations de fonction incorporant des variables catégorielles. Ces résultats permettront d’ap- proximer par méta-modèle des fonctions coûteuses, présentes dans différents problèmes d’optimisation. Ces approximations permettront de créer un problème de substitution que nous incorporerons dans une boucle d’optimisation. La solution optimale du problème de substitution sera ensuite vérifiée pour le problème initial. Dans un premier temps, nous allons présenter les bases d’un problème d’optimisation et introduire le formalisme qui en découle. Ensuite, nous présenterons les variables catégorielles, pouvant intervenir dans les fonctions d’un problème d’optimisation. Ces fonctions seront généralement des fonctions coûteuses, celles que nous chercherons à approximer par méta-modèle. Afin d’aborder correctement l’algorithme de CatBoost, nous allons présenter la notion de boosting. Celle-ci consiste à combiner des modèles de prédiction simple pour en créer un plus performant. Nous illustrerons ce principe au travers de l’algorithme AdaBoost pour ensuite présenter une version plus élaborée, GBRT ou "Gradient Boosting Regression Tree". Une fois GBRT appréhendé, nous allons présenter l’algorithme CatBoost et les différences qu’il présente avec d’autres algorithmes de prédiction. Bien que CatBoost est inspiré de GBRT, il utilise une méthode de boosting lui permettant d’éviter de créer de l’overfitting. Nous terminerons ce travail par la recherche de paramètres optimaux afin d’approximer une fonction par méta-modèle (avec CatBoost). Nous utiliserons des problèmes de test spécifiques à MINAMO, la plateforme d’optimisation multi-disciplinaire développée par CENAERO. Une fois que nous avons déterminé des paramètres idéaux, nous allons comparer la qualité des prédictions données par un méta-modèle construit par CatBoost avec une un méta-modèle créé avec l’algorithme actuel de MINAMO. Grâce aux résultats de ces comparaisons, nous pourrons montrer que CatBoost est capable de livrer de meilleures approximations sur certaines fonctions, mais il peut encore s’améliorer grâce à une meilleure paramétrisation.

Date of Award	2023
Original language	French
Awarding Institution	University of Namur
Supervisor	Annick Sartenaer (Supervisor)