Bonjour,

Un sujet peu développé en escrime mais dont l'importance à venir semble mal comprise : l'analyse technique d'un assaut par des outils d'intelligence artificielle.

Petite explication sur les principes, l'application de ces outils et les difficultés rencontrées.
Il ne s'agit pas de l'analyse du geste lui-même (ce qui existe depuis longtemps) : voir vidéo INSEP boxe.
Des travaux existent déjà dans ces domaines : voir Journal INSEP page 17

Une ou plusieurs caméras filment un assaut et un ordinateur analyse (potentiellement en temps réel) les images reçues pour :
1- Déterminer la position et les mouvements des deux tireurs entre 20 et 30 fois par seconde
2- Déterminer la position de leur arme et, si possible, de la lame (et la pointe)
3- "Analyser" les mouvements pour "comprendre" l'action
4- Indiquer sur une vidéo résultante les "résultats" de cette analyse pour aider à comprendre la phrase d'arme

Avec ces outils il devient possible :
- D'analyser les mouvements et "voir" les erreurs de positions (par ex. la main, le lien pied-bras au début de l'attaque...)
- De déterminer précisément les moments dans les phases d'approche, de déclenchement d'action et vérifier la bonne exécution
- De faire des statistiques d'actions sur de multiple vidéos d'un tireur
- D'analyser le jeu d'un.e adversaire (qu'est-ce qu'il.elle fait le plus souvent, y-a-t-il des phases caractéristiques de son jeu...)
- De déterminer la phrase d'armes
- De définir clairement l'action
- De reproduire la séquence avec des moyens vidéos pour l'expliciter au public

Pour le dernier point, cela a déjà été fait en préparation de Tokyo 2020 :























Mais dans le cas présenté ici, la société japonaise qui a développé cette solution a besoin de 24 caméras sur une piste préparée pour cela, de plusieurs ordinateurs pour effectuer les calculs et pour présenter les résultats.
Pas tout à fait à la portée d'une compétition "standard"...

Les outils "d'intelligence artificielle" en Vision par ordinateur (Computer Vision) sont des systèmes informatiques (on parle de réseaux, de réseaux de neurones) qui sont entraînés sur des images.
On leur présente beaucoup d'images de personnes dans des situations différentes associées avec les positions des membres du corps de ces personnes.
Il faut donc 'encoder' les positions des 18 ou 24 points du corps (tête, cou, épaules, coudes, poignets, bassin, genoux, pieds...) pour chaque image et faire "apprendre" au réseau à reconnaitre ces points dans l'ensemble des images du corpus d'apprentissage.

Ce principe permet de "construire" un réseau en plusieurs heures (voire jours) qui a appris à distinguer (plus ou moins bien) où se trouvent les membres d'une personne sur une photo.
Si tout va bien, le réseau généralise l'apprentissage et peut "trouver" les moyens de distinguer une épaule tournée d'un coude levé..., de "voir" une jambe placée devant celle de l'adversaire.

Pour l'analyse des vidéos, on recommence à chaque image (20 à 30 fois par seconde) et on effectue une autre analyse de la variation des positions entre les 2 moments. Cela détermine le mouvement.



















Avec ces données, on peut reconstruire la position du corps de tireurs à tout moment si on le souhaite :






















Evidemment, la vidéo finale n'est qu'un support visuel, le système a calculé toutes les positions en 3 dimensions.

On peut donc en tirer une analyse des mouvements, la vitesse, la position des tous les membres...




















Dans cet exemple, le système mesure la vitesse instantanée du bras de chaque tireuse à tout moment.
Il peut faire la même chose pour les jambes... donc déterminer qui a exécuté la première un allongement du bras suivi d'une fente (suivez mon regard...).

Reste que l'analyse de l'action (ce qui est vraiment intéressant ici) est une autre étape qui nécessite d'autres réseaux de neurones.
Ceux-ci vont analyser les mouvements et en créer une représentation : avancée de la jambe, retrait du bras, pointe menaçante...
L'analyse de la position, des mouvements... et d'interpréter de manière factuelle le jeu du tireur.

Pour cela, il n'y a pas de recette magique : il faut un corpus d'actions annotées.
Beaucoup de séquences d'images pour lesquelles l'action doit être définie par un humain, pour indiquer à l'ordinateur l'enchaînement des mouvements et la séquence correspondante.
Et là il faut respecter le règlement (ou pas...).
Mais c'est une autre histoire.

En résumé, quelques problèmes majeurs actuellement rencontrés en Computer Vision :
- La position en 3D dépend d'un calibrage de caméras qui n'existe que dans des conditions de studios. Difficile de bien connaître les vraies distances sur des vidéos de matchs prises en bord de piste...
- Les réseaux ont du mal à déterminer les positions des segments des tireurs en corps à corps (trop proches)
- La vitesse de l'arme rend délicat la détermination de sa position exacte (il faut des images très rapides, une piste bien éclairée)
- Il n'y a pas (très peu) d'images annotées à l'escrime (sport sans moyens, contrairement aux sports médiatiques) ce qui rend compliqué la phase d'analyse de l'action
- La détermination d'une phrase d'arme nécessite une définition "informatique" très précise qui n'est pas encore faite

Mais tous ces problèmes seront améliorés par la recherche en informatique qui progresse très rapidement dans ce domaine (songez aux prochaines voitures autonomes).
Prochainement (quelques années), il sera possible d'avoir ces résultats d'analyse de match sur son smartphone...

En attendant, ceux qui développeront ces outils auront un avantage compétitif sur leurs adversaires.
Ils apporteront au maître d'armes un appui technique supplémentaire dans la préparation de ses tireurs à l'entraînement (analyse, statistique, visualisation démontrable au tireur...).
L'analyse des vidéos des compétitions aide à améliorer la préparation des matches contre des adversaires connus (dont on a les vidéos).
Les arbitres pourront bénéficier d'une aide plus précise que de visionner au ralenti les actions litigieuses...

Beaucoup de sujets importants pour faire bénéficier d'outils modernes d'aide à l'entraînement aux tireurs et aux maîtres d'armes.

Voici un système sur lequel nous travaillons à Lausanne et qui va dans ce sens...
www.escrime.club

Citation :

Ah non, c'est le cœur du problème pour se débarrasser des arbitres qui ne veulent pas respecter le règlement.

Citation :

Je savais que cela allait faire réagir quelqu'un
La technique n'a aucune influence sur les choix politiques. Aux instances de faire leur travail ou de faire évoluer les règles...

Citation :

Joli résultat, un suivi des tireurs par la caméra semble automatique avec l'exploitation du flux vidéo.
La détermination de la touche est-elle effectuée par l'analyse de l'image ou via une connexion à l'appareil de signalisation ?
Sur un des matches (match ) le tireur touche la coquille et cela allume vert temporairement sur la vidéo mais pas sur l'appareil...

Oui encore quelques bug à l'époque.
Maintenant nous en sommes à la création des avatars du tireurs et via l'intelligence artificielle, nous réfléchissons à la possibilité de l'arbitrage.
A noter que ce système est totalement autonome, une fois installé plus besoin de la main humaine...on gagne du temps

C'est extraordinaire les potentiels que ça suggère...
Je n'arrive pas à me rendre compte de la mise en oeuvre des du matériel nécessaire : capteurs, caméra, ordi, câbles, éclairages... Ensuite, suivant les technologies et les attendus spécifiques, les moyens de traitement sont-ils conséquents, ou déjà à taille "humaine" ?
Des photos de l'extérieur ?

Citation :

Les avatars ce n'est pas ce qui le plus difficile. Il y a pas mal de modèles pour cela.

Est-ce que vous obtenez une analyse de l'action (phrase d'armes) ou bien "simplement" une détermination de la touche ?
Pour l'épée cela permet de mieux contrôler les sorties de piste/lancement d'action, les dépassements et les touches en dehors.
Mais aux autres armes, il est plus difficile de juger l'action.

Citation :

Est-ce que vous l'envisagez portable ? Ou bien à fixer en l'air comme dans vos exemples ?

Citation :

Voir une vidéo japonaise des moyens mis en œuvre (pour un résultat incomparable) : Rhizomatiks

Alors, je ne suis pas monomaniaque, et je m'intéresse à ce sujet (comme au fleuret et à l'escrime) ; comme je l'ai dit il y a trois ans (n°1272).
Cependant, vous me permettrez de vous faire remarquez que vous êtes abscons.

Sur annotations-escrime, on a des images fixes à annoter à la main.
Sur escrime.club, on de simples matchs d'épée passés au ralenti.
Pour Rhizomatiks, on filme des caméra filmant deux petites statues fixes (donc aucun mouvement) et des écrans plein de couleurs.
En gros, qu'est-ce qu'il y a à voir. Vous ne pourriez pas être plus clair et explicite ?

L'article de L'INSEP, il date de 2018 et il annonce une application d'analyse pour l'escrime : ça existe ? La conférence, elle se fait devant une petite dizaine de personnes...

En bref, est-ce que vous vous rendez compte que pour l'instant, vous faites tout ce qui faut pour tuer le sujet en provoquant le désintérêt ?

Citation :

C'est effectivement conséquent comme environnement. A ce stade, ces moyens permettent de capter sans contact tout le volume de la piste et abords immédiats.
Mais pour apprécier le contact physique des lames, il n'y a pas de capteurs spécifiques à priori ? Que de l'image via capteurs optiques ?

Citation :

Ce sujet est en devenir, s'il vous faut une solution toute faite, attendez un peu avant de critiquer.

Et si cela provoque votre désintérêt, passez votre chemin. D'autres y contribueront sans vous.

Bon, alors il ne me reste plus qu'à espérer que je tomberai sur une intelligence artificielle qui sera plus à l'écoute que vous.

Citation :

et nous sur une IA qui ne boucle pas systématiquement sur le même sujet ad vitam aeternam