A FUNCTIONAL EQUATION WITH POLYNOMIAL SOLUTIONS AND APPLICATION TO NEURAL NETWORKS - Sorbonne Université
Pré-Publication, Document De Travail Année : 2020

A FUNCTIONAL EQUATION WITH POLYNOMIAL SOLUTIONS AND APPLICATION TO NEURAL NETWORKS

Résumé

We construct and discuss a functional equation with contraction property. The solutions are real univariate polynomials. The series solving the natural fixed point iterations have immediate interpretation in terms of Neural Networks with recursive properties and controlled accuracy. Version française abrégée Pour tout polynôme réel défini sur l'intervalle de référence I = [0, 1], nous construisons une équation fonctionnelle avec trois propriétés principales : a) le Théo-rème principal de cette Note montre le caractère bien posé de la construction ; b) l'équation fonctionnelle peut s'écrire comme un point fixe contractant ; c) les ité-rations de point fixe fournissent des solutions de référence implémentables dans un réseau de neurones du type "Feedforward Deep Networks" avec fonction d'activation de type ReLU [8][Chapitre 6], tout en contrôlant explicitement la précision. Cette approche, dont la preuve s'appuie sur des outils classiques en analyse numérique, généralise directement à tous les polynômes la série [14, 5, 6, 11] qui résout l'équation fonctionnelle pour le polynôme quadratique x → x 2. Cela permet une discussion raisonnée de certaines familles de réseaux de neurones. Des tests de précision obtenus en language Julia illustrent la discussion générale et montrent un gain en stabilité de la phase d'apprentissage par rapport aux expérimentations numériques récentes [6].
Fichier principal
Vignette du fichier
paper_3.pdf (598.12 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

hal-02959678 , version 1 (07-10-2020)
hal-02959678 , version 2 (09-10-2020)
hal-02959678 , version 3 (24-11-2020)

Identifiants

  • HAL Id : hal-02959678 , version 1

Citer

Bruno Després, Matthieu Ancellin. A FUNCTIONAL EQUATION WITH POLYNOMIAL SOLUTIONS AND APPLICATION TO NEURAL NETWORKS. 2020. ⟨hal-02959678v1⟩
532 Consultations
354 Téléchargements

Partager

More