Concevoir un programme de captation, suivi et traitement sonore du geste instrumental

Résolution des questions apparues pendant les séances d'expérimentation

Normaliser les capteurs ou les données ?

Plusieurs solutions techniques de capteurs ont été successivement testés (tailles différentes, positionnements différents sur l’archet). Le système de captation doit être fiable puisque c’est de lui dont dépend les données qui sont ensuite manipulées et analysées. Par exemple, le capteur de pression se dérègle facilement et doit être ré-étalonné en début d’œuvre. Ce n’est pas le cas des autres capteurs.

Frédéric Bevilacqua : Sur les tests d’alto appliqués à violon [N.D.A. : lorsque l'on fait reconnaître au système une figure musicale d'alto sur une figure musicale enregistrée de violon], on est sous-optimal parce que les minima et maxima ne se correspondent pas, cependant on est suffisamment proche pour déjà obtenir des résultats.
Entretien d’après séance – 12 avril 2007

Au cours de la production, les entrées dans le patch pour les données des capteurs ont toujours été les mêmes puisque ce dernier enregistre l’intégralité des données des capteurs d’accélération, de rotation et de pression. De nombreuses questions se posent au chercheur en informatique musicale sur la manière de traiter ces données en vue du suivi. Faut-il : 

Toutes ces questions ont ouvert ou enrichi des pistes déjà développées par le chercheur en informatique musicale pour le follower. Frédéric Bevilacqua a testé ces idées directement dans sa version de développement du follower de MnM mais, dans StreicherKreis il n'y a ni dérivation, intégration ou pondération des capteurs dans le follower. Pour remarque, ce sont des questions qui ne remettent pas en cause l’entrée du follower, puisque celui-ci attend des courbes à n dimensions, ce qui est le cas des deux manipulations précédemment décrites.

Comment améliorer le suivi de geste ?

En organisant différemment les séances d'expérimentation

L’évolution du système technique du module suivi de geste, replanifiée régulièrement par Frédéric Bevilacqua, influence l’organisation de séances avec les instrumentistes. À la fin de l’entretien du 5 mars 2007, Frédéric Bevilacqua indique que l’organisation des séances doit changer pour que les enregistrements puissent être exploitables : aux instrumentistes de jouer du matériau musical nécessaires à l’amélioration du système technique entrain d’être conçu. Le chercheur en informatique musicale pense qu’il faut, dorénavant, d’abord enregistrer les " Esquisses ", et ensuite enregistrer les phrases types par mode de jeu (les modèles). Cela permettra, d’après lui, de mettre l’accent sur « la musicalité » mais aussi que les instrumentistes aient dans les doigts les modèles lorsqu’ils les jouent, ce qui n’est pas le cas à cette date en début de séance. Jouer d’abord les esquisses ‘à froid’ puis les modèles permet d’avoir le référent modèle dans un version stabilisée plus proche de la réalité écrite, ainsi que des esquisses pouvant être considérées comme ‘interprétation’ approximative (car jouées en début de séances, et donc un peu éloigné de ce qui est écrit).

En augmentant les paramètres du suivi de geste

Le follower accepte en entrée tout type de signaux : audio ou capteurs. On peut donc faire du suivi à partir de ces signaux combinés. Seulement, la hauteur n’a pas d’influence sur la reconnaissance des capteurs jusqu’à la sixte, mais elle en a une sur la reconnaissance des signaux audio, et inversement le rythme n’a pas d’influence sur la reconnaissance à partir des signaux audio si les variations ne sont pas trop grandes, mais en a une sur les capteurs. En combinant signaux audio et capteurs, on réduit le degré de liberté des interprètes, mais on améliore la précision du suivi.
? est-ce que l'audio est pris comme modèle dans StreicherKreis ?

Comment utiliser le suivi de geste pour les transformations sonores ?

Lors des premières séances, la partie du patch transformations sonores était celle utilisée dans BogenLied.
Comme explicité au début de cet article, les paramètres des transformations sonores sont initialement prévu pour dépendre de la partie suivi de geste, ainsi, très peu de développements l’amélioreront pendant la phase de recherche. Lors des premières séances de test de l’électronique, comme ces paramètres ne sont pas définis, la compositrice initie les instrumentistes aux transformations sonores en modulant les effets uniquement via la pression de leur archet qui entre dans son Mac (séance du 12 Avril 2007). Il n’y a donc ni les effets définitifs, ni les paramètres définitifs pendant cette séance.

Pour le chercheur en informatique musicale, l’objectif de la recherche n’est pas de mapper des courbes de captation du geste sur des transformations sonores (ce qui rappel l'acronyme Mapping is not Music de la librairie MnM qu’il développe). Pour lui, la différence d’interprétation n’est pas que dans la différence point à point de l’esquisse et du modèle associé : le signal transmis par les capteurs ne donne pas directement une identification du  mode de jeu. Cependant, lors de la séance du 8 mars 2007, lorsqu’il est question de simulation électro-acoustique, la compositrice va travailler sur des inserts qui lui permettront de traiter le son des instrumentistes, en se basant directement sur les signaux enregistrés par les capteurs. Cela est dû au fait que le suivi de geste est prééminent sur le système de transformation sonore, qui n’a pas encore été conçu.

Comment se préparer au concert ?

De nombreux développements expliqués jusqu'ici concernent l'amélioration de l'algorithme de suivi de geste, ou l'organisation des séances, mais n'abordent pas la mise en œuvre du dispositif pour le concert.

Pendant les séances d'expérimentations initiales, il est souvent question du retour des transformations sonores. Le système de earmonitor est envisagé, les questions de dosages des transformations dans les retours, le nombre de retours (individuels et/ou collectifs).
Un système de retour standard sera utilisé pour le concert.

Par ailleurs, les capteurs sont alimentés par des piles rechargeables, ce qui a été l’occasion de quelques interruptions de séances pour cause de batteries à plat. L'équipe a pris note de l'importance de débuter le concert avec des batteries rechargées.

En cas de problème du follower pendant le concert, le mode Panic a été développé. C'est un mode de fonctionnement du patch qui déconnecte les parties suivi de geste et transformations sonores. Il a été évoqué à l’occasion du dernier entretien. Toute l'œuvre enregistrée comme modèle dans le patch contient des cuepoints et ce mode permet au RIM :

Notons que ce mode ne permet au RIM que d’indiquer les changements d’état du suivi, et non pas d’envoyer des informations de différences, (peu utilisé dans l’œuvre).