Rémi Girard
Menu

AI Face Labeler

Reconnaître les personnes dans les albums d’une photographe à partir de leurs selfies de référence.

Conception et développement du module de reconnaissance et de mise en correspondance des visages.

2024
  • Vision par ordinateur
  • Automatisation
Illustration de principe : des repères suivent les traits des visages ; chaque visage est comparé aux trois selfies dans une matrice de distances fictives, avec le minimum sous le seuil surligné

En bref

Contexte
Reconnaissance faciale pour le site d’une photographe · 2024
Résultat
Chaque correspondance relie une photo, un visage repéré et un selfie de référence, pour être exploitée par le site.

Retrouver les personnes dans un album

Mon périmètre : détecter les visages, calculer les correspondances avec les selfies et fournir les résultats au développeur chargé du site de la photographe.

Dans ce prototype de 2024, les visages détectés dans les photos d’un album sont comparés aux selfies de référence. Chaque correspondance retenue relie un visage à une personne connue. Les différences de pose, d’éclairage et d’expression compliquent cette comparaison.

Du visage à la correspondance

  1. Détecter. SSD MobileNet v1 trouve les zones de l’image qui contiennent un visage.
  2. Repérer et aligner. Un modèle place 68 repères sur le visage pour préparer sa représentation.
  3. Décrire. Le réseau de reconnaissance de face-api.js, d’une architecture proche de ResNet-34, produit un descripteur de 128 valeurs.
  4. Comparer. FaceMatcher calcule la distance euclidienne entre ce descripteur et celui de chaque selfie de référence. Il retient la plus petite distance si elle est sous le seuil d’acceptation ; sinon, le visage reste inconnu.

Les modèles sont documentés par face-api.js (nouvel onglet).

Le prototype analyse les selfies de référence et les photos avec SSD MobileNet, 68 repères et un descripteur de 128 valeurs. FaceMatcher compare les descripteurs ; React affiche les correspondances enregistrées dans Supabase. TensorFlow.js exécute les modèles sur Node.js.

Les photos et les selfies sont stockés dans Supabase et téléchargés pour le traitement serveur. Les associations sont enregistrées avec la photo, la personne et le cadre du visage. Une interface React affiche les résultats avec le selfie de référence utilisé.

TensorFlow.js : le moteur de calcul

TensorFlow (nouvel onglet) est un ensemble d’outils pour construire, entraîner et exécuter des modèles d’apprentissage automatique. Il manipule des tenseurs, des tableaux de nombres à plusieurs dimensions qui représentent notamment les images et les données intermédiaires du réseau.

TensorFlow.js (nouvel onglet) permet d’exécuter ces modèles en JavaScript. Ici, l’analyse tourne sur le serveur Node, avec @tensorflow/tfjs-node.

face-api.js fournit les modèles préentraînés de détection et de reconnaissance. J’utilise ces modèles pour détecter les visages et les comparer aux références. L’ajout d’un selfie ne réentraîne pas le réseau.

Explorer le calcul de distance

Le score affiché provient d’une distance : plus il est petit, plus les descripteurs sont proches. J’ai consacré un article interactif au calcul, au seuil d’acceptation et à la manière dont le prototype transforme la distance pour l’afficher.

Manipuler les distances et déplier le calcul

Les correspondances, la référence retenue et la position du visage constituent les résultats du module. Le développeur du site peut ensuite les exploiter dans le parcours de consultation des albums.

Environnement technique

  • TensorFlow.js
  • Node.js
  • JavaScript

Codé sans IA