PLAVIA - Plateforme de Labellisation pour Visitage par IA

Nous avons développé un appareil de labellisation de défauts, basé sur une plateforme robotique parallèle sphérique à 3 axes. Cette plateforme, qui avec sa surface de 350x350 mm peut être utilisée sur une simple table de bureau, réalise des mouvements pivotant autour d’un point fixe. Nous avons conçu un support mécanique basé sur une buse d’aspiration ou ventouse manuelle pour pouvoir placer une glace de saphir avec son centre approximativement sur le point de pivot du mécanisme. Le mécanisme offre 3 degrés de liberté (Rx, Ry et Rz, c’est-à-dire des rotations autour des axes horizontaux X et Y, et l’axe vertical Z) mais nous avons utilisé seulement Rx et Ry, pour reproduire le type de mouvement que les opératrices appliquent aux pièces lors des contrôles de qualité ou « visitages ».

Le système est équipé d’un éclairage annulaire très uniforme. Ceci a été un des éléments du projet qui a requis plusieurs essais pour trouver le type d’éclairage et son positionnement pour éviter des reflets sur les glaces. L’éclairage sélectionné est très concentré spatialement, ce qui a permis de minimiser les reflets.

Le système est équipé d’une caméra industrielle de 2040x2040 pixels couleur, connectée par USB3 à un PC laptop, pour favoriser la portabilité du système. Nous avons développé une application en Python intégrant le mouvement de la plateforme robotique d’après la manipulation d’un joystick 3D par l’opérateur, l’acquisition et traitement des images et l’interface graphique pour la labellisation des défauts. L’analyse et traitement d’image, détaillés ci-dessous, ont été faits avec la bibliothèque OpenCV.

Pour la labellisation des défauts, l’application tourne le robot pour le rendre plus accessible et l’utilisateur place la glace dedans, tenue par la ventouse. Préalablement, l’utilisateur doit faire au feutre sur la glace une marque asymétrique et excentrée pour définir l’origine angulaire du repère de coordonnées. L’application détecte le centre de la glace (à partir de ses bords) et demande à l’utilisateur d’indiquer à l’écran où se trouve la marque d’origine angulaire.

L’utilisateur ensuite fait bouger le robot (mode jog) à l’aide d’un mouse 3D et lorsqu’il détecte un défaut sur l’image affichée, il peut dessiner ses contours dans l’image et choisir le type de défauts dans une liste prédéfinie, mais qui est extensible par le superviseur. L’application utilise l’information de la position du robot pour calculer la transformation de coordonnées qui permet de placer les défauts trouvés sur la pièce posée à plat (perpendiculaire à la caméra).

L’application construit ainsi une base de données, en format JSON, des défauts trouvés, leur typologie, leur apparence dans l’image acquise, et leur position par rapport au repère de la glace (glace à plat).

Ces données peuvent ensuite être utilisées pour entrainer des algorithmes d’apprentissage pour prédire la séquence d’actions (mouvements) qui maximisent l’observation (détection de défauts).

Un appel à projets destiné aux entreprises pour stimuler leur innovation, leur compétitivité et leur durabilité

Le projet décrit ci-dessus fait partie d'un appel à projets extraordinaire intitulé "Innovation, compétitivité et durabilité", lancé par le domaine Ingénierie et Architecture de la HES-SO. Ces fonds sont destinés aux professeur-es proches des sociétés de services et d'entreprises suisses. Les hautes écoles concernées par cet appel à projets sont :

• HE-Arc Ingénierie ;
• Haute école d'ingénierie et d'architecture de Fribourg - HEIA-FR ;
•  Haute école du paysage, d'ingénierie et d'architecture de Genève (HEPIA) ;
• HES-SO Valais-Wallis - Haute Ecole d'Ingénierie - HEI ;
• Haute Ecole d'Ingénierie et de Gestion du Canton de Vaud - HEIG-VD ;
• CHANGINS - Haute école de viticulture et œnologie.