Concevoir un programme de captation, suivi et traitement sonore du geste instrumental

Reconnaissance de geste vs. Suivi de geste

Dans BogenLied, il y a eu des tests de reconnaissance de 3 modes de jeu : détaché, martelé et spiccato [N. Rasamimanana, E. Flety, F. Bevilacqua, Gesture Analysis of Violin Bow Strokes, In Lecture Notes in Computer Science, volume 3881, pages 145-155. Springer Verlag, 2006.]. L’analyse des données a permis à l’équipe de se rendre compte des différences d’accélération entre le début et la fin du geste pour chaque note pour chacun de ces 3 modes de jeu. Le patch est donc capable de les reconnaître, à partir des signaux enregistrés.

This text will be replaced
Frédéric Bevilacqua, entretien inaugural le 6 février 2007
Explication du crible de la reconnaissance de geste sur BogenLied
Schéma explicatif de la reconnaissance des 3 modes de jeu du violon dans BogenLied, réalisé par Samuel Goldszmidt
Le temps, en abscisse est de même durée dans les 3 figures.
L'accélération du coup d'archet est en ordonnée.

Le schéma ci-dessus montre pour chacun des 3 modes de jeu de BogenLied, la droite représentant la variation de l’accélération en fonction du temps pour chaque coup d’archet. Il y a décélération du geste de l’instrumentiste pour chaque coup d’archet détaché, martelé ou spiccato. Mais cette décélération est plus ou moins marquée, et le geste est plus ou moins long, ce qui permet à la machine, par ces deux paramètres discriminants (décélération et durée du mouvement), à l’aide d’un crible, de trouver le mode de jeu utilisé par l’instrumentiste pour chaque coup d’archet.

Cette méthode de reconnaissance de geste s'avère limitée sur 3 points, révélés à l'occasion du projet BogenLied

  1. La reconnaissance se fait pour chaque coup d’archet et à l’échelle d’une note isolée. Il n’est pas question ici de reconnaître des formes gestuelles regroupant plusieurs notes.
  2. La soliste a modifié son jeu en fonction des paramètres physiques mesurés par les capteurs et utilisés dans la reconnaissance par le système. D’après le chercheur en informatique musicale, Anne Mercier s’est adaptée au système de reconnaissance de geste ; elle ne joue plus détaché, martelé ou spiccato, mais elle a compris les paramètres reconnus parla la machine et joue donc sur la décélération et la durée de son geste. 
  3. La simple reconnaissance en soi n’est pas très intéressante et reste pauvre pour l’ouverture des possibles compositionnels de la compositrice. La reconnaissance d’un geste comme décrit précédemment ne donne que des résultats binaires : « c’est un détaché » ou « ce n’est pas un détaché ».

    Florence Baschet : le fait de simplement pouvoir dire « j’ai reconnu » – « j’ai gagné », […] va rester pauvre.
    Entretien inaugural - 6 février 2007

    Cette dénonciation du caractère binaire se lit également dans la documentation de la librairie MnM servant au suivi de geste : « The following gesture can guess the following questions : which gesture is it ? (if you don't like black and white answers, you can get "greyscale" answers: how close are you from the recorded gestures ? ) »

La compositrice et le chercheur en informatique musicale ont donc choisi de travailler la notion de suivi de geste. Travailler sur le suivi de geste et non la reconnaissance de geste apporte une réponse aux 3 précédents points : 

  1. L’application pourra travailler à différentes échelles : une note, un geste, plusieurs mesures, un passage faisant sens musicalement et non plus seulement à l’échelle de la note, d'ou provient la notion d "Esquisse".
  2. Les instrumentistes enregistrent eux-mêmes des modèles, ce qui minimise l’effet du système informatique sur leur geste. L’instrumentiste n’a donc pas à modifier son jeu en fonction de paramètres des capteurs physiques pour que le système reconnaisse son geste.
  3. Lorsque l’on fait un suivi de geste, il y a une mise en correspondance entre ce qui est joué et ce qui est suivi, et cela en suivant la temporalité de ce qui est joué. On peut donc faire des comparaisons entre le geste joué et celui auquel on le compare, puis extraire des paramètres de cette comparaison, des différences.

Florence Baschet : L’application de Fred [Frédéric Bevilacqua] va permettre d’archiver certaines formes de modèles [2] – quels qu’ils soient, que ce soit sous forme de modules ou sous forme de phrases [1], on décidera après – mais une fois qu’on sait élaborer un modèle, qu’on sait synchroniser à quel moment on va le reconnaître ou comment on va le suivre – ce qui reste encore un autre problème. Et il y a la 3e chose qui est intéressante, c’est non seulement de le reconnaître, en contexte / hors contexte, joué par une interprétation / joué par le même avec une autre interprétation…/ mais aussi de pouvoir en apprécier, justement, les différences [3], entre la façon dont il a été élaboré et celle dont il est interprété.
Entretien inaugural - 6 février 2007

Florence Baschet : Moi je n’attends pas que Max/MSP me dise « j’ai reconnu tel modèle », ce qui m’intéresse c’est (…) d’apprécier la différence entre tel modèle de tremolo et la façon dont il [l'instrumentiste] va le jouer [3].
Entretien d’après séance - 8 mars 2007

Frédéric Bevilacqua : Mais en fait ce qu’on veut arriver à faire ce n’est pas tellement reconnaître, c’est d’arriver à donner un sens [3] aux différences qu’on arrive à mesurer, c’est ça la grosse question.
Entretien d’après séance - 12 avril 2007

Dans l'exemple vidéo qui suit, Frédéric Bevilacqua explique une méthode possible de calcul de différence qu'il a voulu expérimenter dans le patch de suivi de geste. Cet extrait vidéo est représentatif des questions que le chercheur en informatique musical se pose entre les séances d'expérimentations et sur les décisions qu'il est amené à prendre pour le développement informatique.

This text will be replaced
Frédéric Bevilacqua, entretien sur le patch du 15 mai 2007
Explication de l’algorithme de suivi et des manières de calculer les différences