Algorithmes stochastiques et réduction de variance grâce à un nouveau cadre pour l’optimisation bi-niveaux

Abstract

L’optimisation bi-niveaux a de nombreuses applications en apprentissage automatique. Cet article présente un nouveau cadre pour la résolution de tels problèmes. Ce cadre permet d’éviter les différents obstacles qui se posent pour le calcul efficace du gradient de la fonction objectif. Il rend possible l’utilisation de n’importe quel estimateur non biaisé de directions de descente. Nous proposons une adaptation de l’algorithme de la descente de gradient stochastique et de l’algorithme SAGA à notre cadre. Des expériences numériques valident l’efficacité de l’approche proposée.

Publication
In XXVIIIème Colloque Francophone de Traitement du Signal et des Images GRETSI