Mixage Fou

SpatStruments et Mixage Fou : les conversions entre catégories

Jean-Marc Duchenne — 2023-10-10T13:19:23Z

Les SpatStruments peuvent traiter tout espace haut-parlant pouvant être représenté par un ensemble de points, jusqu'à 24 (les autres Acousmodules 64 ou plus).
Dans cadre du Mixage Fou, les configurations de 8 à 12 points semblent être les plus indiquées.

Ceci permet d'explorer librement à peu près n'importe quelle configuration spatiale de petite à moyenne dimension (acousmoniums, maillages 3D etc.), mais aussi les espaces plus conventionnels comme ceux issus du cinéma et les dômes immersifs, c'est à dire finalement tout ce qui peut entrer dans la catégorie "open channels"... et les autres.

On peut néanmoins souhaiter employer des formats plus normalisés pour faciliter la distribution des créations au public, comme ceux justement des catégories "ambisonic" et "Atmos", ainsi que le "binaural".

Pour cela, il est important de ne pas confondre le format spatial (c'est le type de disposition haut-parlante, par exemple le modèle cinéma, celui du dôme, "un acousmonium" etc.) et la technique de représentation et de traitement des sons (multipoints, ambisonique, Object Based Audio, binaural...). Certains sont fortement liés, mais tous les formats spatiaux ne supportent pas toutes les techniques (et réciproquement) :

Tant que l'on reste dans les espaces périphoniques egocentrés, où tous les points sont situés à une distance comparable autour du centre (les trois premières colonnes, enfin, surtout les deux premières) les conversions sont plutôt aisées. En règle générale, si la résolution du format initial (plus ou moins le nombre de points qui le composent) est égale ou supérieure à celle qui est obtenue après encodage et décodage/rendu il n'y a pas de "perte" (mais il peut y avoir des changements plus ou moins importants dûs aux techniques elles-mêmes).

Afin de faciliter la conversion de l'Open Channels vers les formats encodés, des configurations spatiales pour les SpatStruments sont spécialement pourvues selon :
– deux configurations en "dôme 24" à destination de l'ambisonique (l'une est plus enveloppante)
– une en "sphère 18" pour le binaural
– des beds étendus Atmos en "7.1.4", "9.1.6", "11.1.8 et "13.1.10", le 9.1.6 semblant être aujourd'hui le plus largement pratiqué.
Note : comme indiqué dans l'illustration précédente par le signe d'exclamation, il est tout à fait possible d'encoder un format "dôme" en Atmos ou un format "cinéma" en ambisonique, mais cela peut donner lieu à des approximations plus importantes.

Petite FAQ des conversions :
Q. à l'écoute (sur le même dispositif), quelle est la différence entre une production Open Channels "9.1.6" et sa conversion en Atmos puis son rendu en "9.1.6" ?
R. en ADM Atmos normalement aucune, mais si on est passé par un encodage de diffusion (mp4) les effets de la compression sonore et spatiale peuvent être plus ou moins perceptibles
Q. quelle est la différence entre une production en Open Channels "9.1.6" et une production en Atmos basée sur des objets ?
R. la production Atmos pourra bénéficier éventuellement d'un rendu plus précis si elle se fait sur un système supérieur au "9.1.6". C'est le cas au cinéma, mais cela a peu de chances de se produire ailleurs, où elle pourra se faire sur des dispositifs extrêmement différents et réduits (y compris en binaural). En revanche la production Open Channels pourra profiter de toutes les techniques de traitement du son et de l'espace possibles sur l'ensemble des points.
Q. quelle est la différence entre une production Open Channels en "dôme 24" et son encodage en ambisonique puis son décodage sur un dôme constitué d'un nombre de points comparable ?
R. avec un encodage en ordre élevé (ordre 5 ou plus) la différence devrait être assez faible, avec un encodage en ordre bas (3 et moins) l'espace sera rendu d'une manière plus ou moins confuse, mais avec comme effet corollaire un accroissement de l'impression d'immersion...

A. Le principe
Dans tous les cas il s'agit de convertir les points qui représentent les espaces originaux en coordonnées permettant leur traitement, et éventuellement leur encodage dans le format choisi.
La qualité et la fiabilité de la conversion dépend bien-sûr du type d'espace, des outils et de leur configuration, mais c'est surtout l'étape finale qui est importante : que l'on fasse une conversion en ambisonique d'ordre 7 ou en Atmos, un "5.1" restera un "5.1"...

Le cas du binaural est un peu à part, car le changement de nature est dans ce cas total, et la diversité des auditions individuelles tellement importante qu'on ne pourra pas appliquer les mêmes critères de correspondance qu'avec les espaces haut-parlants, tout au plus celui de ressemblance.
Il est à noter sur ce points que comme les formats ambisonique et Atmos sont aujourd'hui principalement écoutés à travers une virtualisation binaurale, il est finalement peut être plus simple et plus fiable de la réaliser soi-même au mieux et en connaissance de cause, et d'éviter les complications (et le coût) de technologies intermédiaires ?

Trois petites vidéos réalisées à propos du SpatStrument SM24 illustrent ces principes :
Listen in binaural
Convert in ambisonics
Convert in Atmos objects

Pour résumer :

B. La méthode
Dans Reaper la méthode pour la conversion "open channels" vers l'ambisonique et le binaural est simple, et il n'y a rien à changer dans la structure d'un projet existant :
– toutes les pistes multicanales (jusqu'à 24 canaux) disposant d'un SpatStrument et/ou de son rendu sont envoyées par défaut vers le Master (voir l'article Utiliser Reaper pour la création multiphonique avec les SpatStruments)
– le Master est configuré par défaut sur 24 canaux (il dispose peut-être d'un SpatStrument T24 pour en aider la configuration et l'utilisation)
– insérer en fin de chaîne du Master un plugin de conversion binaurale ou ambisonique, les canaux d'entrée et de sortie des plugins sont automatiquement connectés
– pour le binaural il n'y a rien d'autre à faire que de configurer la disposition des points d'entrée pour qu'elle corresponde à celle de l'espace haut-parlant
– si la valeur de l'ordre d'encodage ambisonique est supérieure à 3 (= 16 canaux encodés), il convient de changer le nombre de canaux du Master pour qu'il corresponde à celui de l'ordre choisi (par exemple ordre 7 = 64 canaux). Il est fortement conseillé d'utiliser la valeur la plus élevée possible afin de réduire les effets du codage ambisonique, l'écoute et la diffusion pouvant se faire alors facilement avec une valeur plus réduite si nécessaire (décoder un fichier d'ordre 7 en ordre 3 revient simplement à ignorer les canaux inutiles).

La conversion en Atmos est moins directe et peut varier grandement selon les outils dont on dispose.
Elle peut se résumer ainsi :

Si la disposition spatiale initiale est conforme à celle d'un "super-bed" Atmos (7.1.4, 9.1.6, 11.1.8...) la conversion se fait sans aucune perte, tout le travail sur l'espace d'origine est conservé.
Dans tous les cas on a là aussi intérêt à choisir le format disposant du nombre de points le plus élevé.

C. Les outils
En binaural comme en ambisonique les positions spatiales se définissent par leur angle (Azimut et Elevation) en référence au point d'écoute central. Comme l'Atmos pour les salles de cinéma ne s'insère pas dans un espace sphérique, les outils disposent généralement d'un positionnement des points plus adapté en X, Y, Z.
Les SpatStruments utilisent également une représentation cartésienne (X, Y, Z) mais où les points sont rarement associés à des valeurs de coordonnées lisibles (c'est un choix...), et où leur disposition est plus dictée par l'effet recherché que par un soucis d'identité visuelle avec le positionnement physique des points haut-parlants.
Les correspondances peuvent néanmoins se faire de visu et à la main avec un degré d'approximation tout à fait suffisant.

Exemple d'un "9.1.6" dans :
SpatStrument en mode Periphonic (vue 2D dessus) :

SpatStrument en mode Volumetric :

IEM MultiEncoder (vue 2D dessus) :

Sparta AmbiEnc (vue projection 2D de face) :

Studio One Atmos :

Note : si l'espace initial comporte des points situés à des distances différentes (maillage multicouche par exemple) il conviendra de le convertir d'abord en espace périphonique à l'aide d'un SpatStrument C24, ou d'un GRM-Tools SpaceMaster (gratuit). Mais ce n'est pas toujours possible, ni souhaitable (ceci n'est pas détaillé ici car il fait l'objet d'un article spécifique).

1. Open Channels vers Binaural
Si l'espace est périphonique (rappel : définit par des points situés autour d'un auditeur idéal, sur une seule couche de distance), alors pratiquement tous les outils de "binauralisation" peuvent être utilisés.
Certains peuvent être dédiés à une sélection de formats cinéma, d'autres comme celui de SPARTA permettent de définir soi-même la configuration des points :

Si l'espace est autre que périphonique, notamment s'il est de nature multicouche comme un maillage 3D, le choix des outils se restreint énormément !
Parmi les plugins il n'y a pratiquement que le GRM-Tools SpaceVR, mais comme il est gratuit et qu'il accepte jusqu'à 64 points on ne va pas se plaindre ;-)

Le principe de fonctionnement des GRM-Tools nécessite de passer par un éditeur de configuration spatiale. On y accède par le bouton Edit Layout :

– Load permet d'importer un fichier de configuration dans un slot vide ou d'en remplacer, un certain nombre est disponible dans les ressources sur la page des SpatStruments
– l'édition se fait en déplaçant les points à l'intérieur de la vue 3D, dont on peut changer l'angle et les dimensions (on ne peut pas éditer celui qui est déjà sélectionné dans la fenêtre principale...)
– à la fin de l'édition cliquer sur OK puis sélectionner le Layout
– il est fortement conseillé de placer les deux curseurs Amplitude et Frequency à 0

2. Open Channels vers Ambisonique
Rappel : le champ ambisonique ne peut représenter que des points situés sur la surface d'une sphère et ne peut donc s'appliquer qu'aux espaces périphoniques.

Les plugins IEM MultiEncoder et SPARTA AmbiEnc sont excellents et ils permettent très simplement de réaliser une configuration correspondant à un format spatial compatible (ils peuvent utiliser le même fichier de configuration spatiale que le Binauraliser).
On pourra préférer l'une ou l'autre présentation graphique, mais le principe reste le même :
– placer les points à la souris ou en entrant les valeurs angulaires Azimut + Elevation. L'Azimut se déroule dans le sens anti-horaire, 0° se situant à 12H (à ne pas confondre avec les outils de l'IRCAM dans lesquels l'Azimut est en sens horaire avec le 0° à 9H...)
– selon la valeur de l'ordre choisi il peut être nécessaire d'augmenter le nombre de canaux du Master afin de permettre un encodage avec le moins de perte possible. La différence entre les ordres 1 et 3 (16 canaux de codage) est assez colossale, le saut à l'ordre 4 ou 5 (36 canaux de codage) est encore significatif même pour des espaces open channels en "basse définition", 6 ou 7 (64 canaux de codage) risque d'être superflu dans le cadre présent.

3. Multipoints vers Atmos
Si, comme Reaper, le logiciel multipiste ne dispose pas de module Dolby Atmos intégré, une solution à la fois économique et souple est aujourd'hui fournie avec le plugin Fiedler Audio Dolby Atmos Composer Essential (note du 18-01-2024 : à partir de ce jour cette version est devenue GRATUITE !).
Un de ses avantages est qu'il permet de convertir directement une entrée multipoints jusqu'au 9.1.6 en un ensemble d'objets (objets au sens Object Based Audio), sans avoir à passer par leur positionnement un à un. Le résultat est le même mais c'est plus rapide ;-)
Cette méthode est décrite dans cette vidéo consacrée au SpatStrument SM24 :

On suppose pour cet exemple que le format du mixage a été réalisé selon la disposition "9.1.6", ou sinon qu'il a déjà été adapté pour elle avec un SpatStrument C24 (abordé dans un autre article).
– sur le mixage "open channels" existant, insérer en tête d'arrangement deux nouvelles pistes, la deuxième étant décalée en tant que "fille", étant elle même définie en tant que "parent" (folder) pour les pistes de rang inférieur :

On a de cette manière l'ensemble du mixage sous la forme d'une série de poupées russes qui va dans la piste "2", qui va dans la piste "1", qui va vers le Master...

– sur la piste "1" insérer le plugin Fiedler Audio Composer
– sur la piste "2" insérer le plugin Fiedler Audio Beamer
– définir le nombre de canaux de la piste "1 Composer" sur au moins "16", pour qu'elle puisse traiter les 16 canaux d'objets et nous les faire écouter à travers le Master. Nous pourrions aussi utiliser pour représenter cet espace "9.1.6" une combinaison hybride des 10 canaux du beds (7.1.2) plus 6 canaux d'objets, mais ce serait ajouter de la confusion inutilement.
– définir le nombre de canaux de la piste "2 Beamer" sur 16

– dans le Beamer cliquer sur "Reset Objects" et sélectionner dans la liste le format "9.1.6" : de cette manière les 16 canaux entrant dans cette piste sont envoyés en un seul groupe vers le plugin Composer

– dans le Composer, 16 objets correspondant au contenu de la piste 2 ont été automatiquement ajoutés, leurs canaux Atmos sont entourés d'une ligne dans la vue de droite

– il ne reste plus qu'à choisir la durée du mixage (1'20"...), à cliquer sur Export pour sélectionner le nom du fichier et à lancer la lecture :-)

Puisqu'aucun "bed" ou autre objet n'ont été encodés, le fichier wav produit doit comporter seulement 16 canaux. Il peut être lu comme un fichier 9.1.6 normal, mais il comprend également les metadatas Dolby Atmos qui sont invisibles pour Reaper et tout outil non compatible Atmos. Elle lui permettront d'être ensuite compressé dans un format mp4 ou autre afin d'être lu sur un équipement compatible.
Pour la participation au Mixage Fou ce fichier wav/ADM est suffisant.

Une autre méthode, moins directe, peut être employée avec des logiciels comme Studio One 6.5 qui dispose d'un module Dolby Atmos intégré.
1. dans Reaper faire un rendu multicanal du mixage sur un maximum de 24 points s'insérant dans le schéma d'une configuration Atmos. Cela peut être un "9.1.6" ou plus, puisque nous passeront par des objets mono pour effectuer l'encodage.
2. comme le rendu de Reaper se fait sous la forme d'un fichier multicanal et que dans Studio One nous aurons besoin de fichiers mono, il faut d'abord le convertir en un ensemble de fichiers numérotés, soit directement dans Reaper avec l'option "Explode multichannel audio to new one-channel items", ou en utilisant les applications gratuites WaveAgent ou Wavewizard (leur utilisation est présentée dans un autre article)
3. importer les fichiers mono sur le nombre nécessaire de pistes audio dans Studio One (la Song doit être configurée au préalable en Dolby Atmos)
4. sur chaque piste sélectionner le panner Spatial Object Panner : les canaux et les points correspondants s'affichent dans la fenêtre du Renderer placé sur le Master (voir le tutoriel Mixage Fou consacré au Dolby Atmos dans Studio One)
5. configurer chaque panner de manière à ce qu'il reflète la position spatiale du point correspondant : en cas de doute ça peut être bien d'en avoir fait une capture d'écran ou un schéma...
6. faire le rendu ADM Atmos !

Utiliser Reaper pour la création multiphonique avec les SpatStruments

Jean-Marc Duchenne — 2023-10-09T18:52:08Z

Configuration des pistes et utilisations
Quelques particularités de Reaper en font un logiciel spécialement précieux pour le multicanal :
– les pistes ne sont pas spécialisées : elles peuvent être tour à tour et à la fois audio, MIDI, Instruments, Aux, Vidéo...
– elles peuvent comporter un nombre quelconque de canaux jusqu'à 128 (!), cette valeur peut être changée à tout moment et elle ne contraint ni le format des plugins qu'on peut insérer ni des fichiers que l'on peut lire et enregistrer
– un routage multicanal est réalisé automatiquement entre les pistes et le Master
– les pistes peuvent être librement définies en tant que "Parent" (ou Folder) ou "Enfant", sur de multiples niveaux, les sorties des enfants étant par défaut envoyées vers les parents
– il est possible de connecter n'importe quel canal/canaux d'une piste vers n'importe quel canal/canaux d'une autre piste
– les objets audio (sons) supportent directement les plugins multicanaux (et leurs automations)
– il est possible d'enregistrer la sortie multicanale d'une piste sur elle même sous la forme d'un fichier audio multicanal

Il n'y a donc généralement pas de configuration spéciale à effectuer, pas de routage des sons ou des automations, pas besoin de "Sends" et "d'Aux" : il suffit de sélectionner pour chaque piste le nombre de canaux nécessaire pour que les fichiers et les plugins qui y sont placés puissent faire entendre leur espace...
Il est même possible placer les plugins directement sur les objets sonores (rien à voir avec l'Object Based Audio...) et d'effectuer tout le travail sur les sons et sur l'espace comme montré dans la vidéo "Acousmodules + Reaper, travailler avec des objets sonores"

Avec les SpatStruments il est conseillé de régler la valeur des canaux de pistes sur "32", car même si le format spatial en comporte moins, cela peut être utile ultérieurement (voir "Générer des matières spatiales").

1. La spatialisation de points-sources
La création sono-spatiale est le plus souvent présentée comme le placement de sons dans l'espace, c'est à dire d'une part des sons mono ou stéréo créés et travaillés dans leur matière, et d'autre part un outil de spatialisation - un "panner" - qui a pour tâche de les disposer et d'en animer les positions, en fonction d'un espace qui peut être représenté par des points ("channel based"), par un champ sphérique ("scene based") ou par des coordonnées paramétriques ("object based").
Cette approche constitue évidemment un aspect important dans une création sono-spatiale, et elle est parfaitement adaptée au mixage spatialisé et à la sonorisation en concert.
Elle indispensable en OBA/Atmos car elle constitue la seule manière de permettre la transmission de sons individuels en association avec des informations de spatialisation.

La série des SpatStrument ne comporte pas de panner (et les Acousmodules pas beaucoup), car leur propos est justement de ne pas dissocier le traitement du son de celui de l'espace. Il peuvent bien-sûr utiliser des représentations graphiques qui s'en rapprochent, et permettre d'obtenir les mêmes résultats, mais d'une manière plus holistique, comme un moyen parmi d'autres de traiter la masse spatiale.
Le SpatStrument SM24 peut être tout de même utilisé ainsi en mode Live Input (voir la vidéo "Live Input spatialization"), tout comme le SpatStrument AL24 pour des animations avancées, et le SpatStrument C24 pour des sources multiphoniques pouvant comporter jusqu'à 24 canaux.

Cependant il pourra être plus simple d'utiliser les outils intégrés dans le DAW, dans le cas de Reaper le ReaSurround et le ReaSurrounPan. Le ReaSurroundPan est plus efficace pour les formats cinéma, mais moins souple voir totalement incompétent pour des dispositions plus originales, y compris les dômes.
Pour les deux, la disposition graphique des points haut-parlants n'est pas figée et peut être éditée librement. Comme beaucoup de choses dans Reaper il ne sont pas très sexy, mais ils sont parmi les plus puissants qui existent... Et comme il s'agit de plugins, ils peuvent être placés à n'importe quel endroit d'une chaîne d'effets et pas seulement à la fin, ce qui apporte des manières très créatives de les utiliser.

Dans tous les cas le principe de base est le même : disposer, à la souris ou à l'aide d'un contrôleur externe, un point qui représente le son mono ou un point faisant parttie d'un groupe de points à la position visuelle désirée.
L'effet spatial pourra être par contre assez différent selon que le point source coïncide plus ou moins avec un point haut-parlant, selon la taille du point (la plupart des panners permettent de régler son étendue ou Spread), la technique de panner utilisée (VBAP, DBAP, DBAC etc.), et évidemment le nombre de canaux disponibles.

Tout en restant dans ce principe de l'envoi dirigé d'une source dans un espace, on peut également utiliser une technique qui est encore massivement utilisée aujourd'hui pour la spatialisation stéréophonique sur acousmonium : on contrôle le niveau d'envoi de la source vers les points de diffusion à l'aide d'une série de potentiomètres. Il est toujours possible de mettre en place ce genre de configuration dans tous les DAWs en utilisant de multiples envois auxiliaires sur chaque piste.
C'est beaucoup moins ergonomique qu'un panner si l'on souhaite simplement placer ou étendre cette source sur ou autour d'un point de l'espace, mais cela permet de réaliser absolument toute forme de masse spatiale, y compris celles que produisent nos panners.
Le SpatStrument C24 dispose d'un mode "Faders" qui permet ainsi d'envoyer chaque canal de la source vers jusqu'à quatre points de l'espace, chacun avec un gain différent, de quoi modeler l'espace des sons avec subtilité... à défaut de rapidité.

2. Les connexions directes
Mais il existe une autre manière de placer des points sonores dans un espace haut-parlant sans passer par un panner.
Cette approche par connexion directe est certes une méthode ancienne et limitée - on ne peut pas placer de son "entre" les points et on ne peut pas les animer - mais elle est tout à fait appropriée dans de nombreux cas.

Dans Reaper cela peut se faire simplement en sélectionnant le canal d'une piste source et le canal de destination de la piste de niveau supérieur. Attention, comme Reaper ne dispose pas de pistes mono, il peut être nécessaire de réglager le panoramique complètement à gauche.

Le changement de fonction d'une piste vers un niveau "enfant" s'effectue à l'aide d'un bouton qui peut prendre des formes différentes selon le thème utilisé, comme une petite croix ou l'image d'un petit dossier : l'entête de la piste se décale alors vers la droite.

C'est cette méthode qui va être utilisée pour envoyer une série de pistes mono (ou stéréo) vers les multiples canaux d'entrée du SpatStrument VB32, du FX24/32 ou du AL24 (voir plus bas).

3. Générer des sons-espaces
Une approche différente pour la création sono-spatiale, complémentaire de celle permise par les panners, consiste à générer ou à traiter la matière des sons conjointement avec leur espace : au lieu de prendre un son (mono/stéréo) et de le spatialiser, on le crée directement dans un format multicanal compatible avec celui de l'espace de la création. Qu'il s'agisse d'une quadriphonie, d'un cercle octo, d'un "11.1.8" ou d'une spirale arboricole (?) le son sera l'espace, et réciproquement.
La différence entre les deux modes peut rappeler celle qui existe en Dolby Atmos entre le "bed" et les "objets", à part qu'ici toutes les tailles et les formats sont possibles pour les uns comme pour les autres.

Ceci nécessite des effets ou des instruments qui, bien que basés sur les mêmes techniques que les effets et les instruments stéréophoniques, permettent de spatialiser le son à un niveau plus élémentaire et à lier le son et l'espace d'une manière interactive, par une intentionnalité et éventuellement une gestuelle commune.
C'est ce pour quoi sont conçus les SpatStruments...

Leur mode d'utilisation normal est l'improvisation de type instrumentale, qui peut d'ailleurs s'effectuer dans le cadre d'une production "live", mais qui est aussi tout à fait appropriée pour le "sound design".
Qu'il s'agisse alors d'un générateur de sons basé sur l'échantillonnage ou la synthèse (PL32, SM24, GR24, AL24) ou d'un transformateur de son-espace (FX24/32, FZ24, C24, VB32, AL24), il n'est pas question ici d'enregistrer simplement l'automation des positions spatiales comme avec un panner. Il faut pouvoir enregistrer le son qu'ils produisent, d'où la quasi nécessité que l'hôte supporte les sons multicanaux et pas seulement la synchronisation de multiples fichiers mono/stéréo.

C'est là où Reaper possède un net avantage sur les autres multipistes : on peut enregistrer ce que produit un plugin placé sur une piste, ou même sur un objet audio comme présenté dans la vidéo ci-dessus, sous la forme d'un nouveau fichier multicanal sans avoir besoin de créer des pistes spéciales ni d'effectuer le moindre routage.
– sur la piste sélectionner l'option "record : output (multichannel)"
– si le plugin doit répondre à des contrôleurs MIDI sélectionner la source MIDI en entrée de piste
– si le plugin doit traiter des sons qui sont lus sur la piste activer "Monitor track media when recording", et dans ce cas activer également le mode "Free item positionning" afin de permettre l'affichage simultané du son enregistré

Ceci peut produire quelque-chose comme ça, avec le SpatStrument GR24 (générateur) :

ou avec le SpatStrument FX24/32 (transformateur), ici accompagné d'un son mono utilisé pour son entrée :

Dans les deux cas on peut voir sur la piste le résultat de l'enregistrement de la sortie du plugin sous la forme d'un fichier multicanal. Dans le deuxième cas celui-ci est superposé avec le fichier source à l'origine du traitement.

La composition se fait ensuite, comme en stéréophonie, simplement par montage/mixage des sons multiphoniques, sur lesquels on peut bien-sûr appliquer des effets, eux aussi multiphoniques.

L'espace des objets sonores que l'on produit est a-priori du même format que celui qui a été choisi pour effectuer le mixage, mais on peut également combiner des sons de formats différents, ou même qui n'ont pas de format du tout...

4. Générer des matières spatiales
Certains SpatStruments disposent d'un mode "Direct" qui permet de court-circuiter la partie de traitement spatial. Ils produisent alors un son constitué d'une multitude de "points", de canaux, qui représentent la matière de l'espace sans pour autant présumer de sa forme.
Il est bien-sûr possible que ces 32 canaux correspondent à un format spatial sur 32 points, mais dans le cas des SpatStruments l'idée est plutôt de fournir un format intermédiaire permettant de relier ainsi plusieurs d'entre-eux et de déporter le traitement spatial sur un plugin disposant de fonctionnalités différentes, comme par exemple les effets du FX2/32 ou la binauralisation dynamique du VB32.
Comme dans la plupart de ces outils, ces "points" ne constituent pas pour autant des "points spatiaux", même s'ils peuvent, pourquoi pas, coïncider parfois avec. Il faut plutôt les considérer comme des grains de matière spatiale, comme une manière de définir des "quantums" d'espace porteurs de l'information de la matière du son et qui ne formeront le son que lorsqu'il se matérialisera dans l'air grâce aux haut-parleurs...

Il est à noter que certains hôtes ne supportent pas les plugins présentant 32 canaux, notamment Nuendo et Studio One. Des version spéciales limitées à 24 canaux de certains SpatStruments sont donc disponibles pour ces logiciels.

On trouve cette option Directe dans les plugins :
– PL32 : sorties directes des 25 players mono et distribution des sorties des 9 players multiphoniques
– GR24 : grains individuels pour le Vaporizer, fragments du Crumblizer en mode "Straight"
– FX24/32 : entrée sélectionnable de 1 à 32 canaux + sortie directe des 32 lignes de traitement
– AL24 : entrée sélectionnable de 1 à 32 canaux
– VB32 : 32 canaux d'entrée fixes
– C24 : jusqu'à 64 sorties en mode Fader

Ici un SpatStrument PL32 et un GR24 envoient tous deux leurs 32 sorties directes vers la piste parente où le SpatStrument FX24/32 traite ces canaux et en réalise la spatialisation sur 16 sorties.

Pour résumer, on pourra donc combiner dans un même projet, selon les besoins et quel que soit le format spatial et le nombre de canaux qu'il comporte (c'est aussi valable pour une quadriphonie ou même en stéréophonie !) :
– des fichiers mono/stéréo suivis d'un plugin de type panner (lui même éventuellement suivi de plugins d'effets multicanaux, mais ceci est une autre histoire...)
– des fichiers mono/stéréo directement routés vers des canaux du Master ou d'une piste parente d'ordre supérieur
- des fichiers multicanaux résultant de l'enregistrement du jeu avec un SpatStrument selon le format spatial choisi pour le mixage
– des fichiers multicanaux réalisés selon d'autres configurations spatiales, associés à un SpatStrument C24 pour leur adaptation dans le format du mixage
– des fichiers 32 canaux (ou moins) obtenus lors de l'enregistrement d'objets sonores en mode Direct, associés à un SpatStrument C24 ou à un autre SpatStrument pour en effectuer à la fois le traitement du son et la mise en forme spatiale

5. Exporter le mixage
Comme on vient de le voir, ce qu'envoient les pistes au Master doit être, d'une manière ou d'une autre, conforme au format choisi pour le mixage.
Dans ce cas il suffit dans la fenêtre d'exportation de Reaper de sélectionner le nombre de canaux correspondant (taper la valeur dans la boîte Channels).

Nous avons vu également dans l'article sur la configuration du projet que le Master pouvait héberger des plugins permettant d'effectuer la conversion du mixage vers un autre format spatial, un encodage en ambisonique ou une virtualisation en binaural.
Par exemple : un SpatStrument C24 pour la conversion dans un autre format "Open Channels", un Sparta Binauraliser pour la virtualisation binaurale et un IEM MultiEncoder pour l'encodage en ambisonique.
La méthode et les outils sont décrits dans l'article "Les conversions entre catégories".

Les plugins sont simplement placés à la suite sans nécessiter de routage particulier (ils utilisent l'ensemble des canaux qui ont été déterminés pour le Master), et ils sont activés en fonction du format d'exportation souhaité :
– aucun : l'exportation se fera selon le format de la création, par exemple en dôme sur 16 canaux
– SpatStrument C24 : conversion du format dôme vers un format cinéma comme le "7.1.4", l'exportation se fera sur 12 canaux
– Binauraliser : traitement HRTF selon la disposition des points du dôme, l'export est stéréo
– MultiEncoder : encodage selon la disposition angulaire des points du dôme si possible dans un ordre élevé afin de ne pas trop perdre de définition spatiale, 5 par exemple. Il faudra modifier le nombre de canaux du Master sur la valeur coorespondante (36 canaux pour l'ordre 5) et sélectionner ce même nombre pour l'exportation du fichier multicanal

Bon Mixage Fou avec les SpatStruments !

Configurer Reaper pour la création multiphonique avec les SpatStruments

Jean-Marc Duchenne — 2023-10-09T15:40:35Z

De nombreux logiciels multipistes sont aujourd'hui compatibles avec les modes de création des SpatStrument, c'est à dire qu'ils supportent non seulement le format des plugins mais permettent également l'enregistrement et la lecture des fichiers audio multicanaux correspondants :
– Reaper
– Ardour
– Pyramix
– DaVinci resolve
– Nuendo (24 canaux)
– Studio One (16 canaux)
– Cubase Pro (6 canaux)
Protools Studio, Digital Performer (12 canaux) et Logic Pro (12 canaux) peuvent éventuellement être utilisés à travers des wrappers comme Element ou Metaplugin, et il est également possible d'utiliser ces plugins en stéréophonie... mais c'est moins intéressant ;-)

Bien que l'on puisse bien-sûr créer en multicanal avec seulement une écoute binaurale (voir l'article Les conversions entre catégories), l'utilisation d'un ensemble d'enceintes est irremplaçable, même a minima en ce qui concerne leurs caractéristiques matérielles.

La configuration audio peut être plus ou moins simple, notamment selon que les logiciels permettent d'affecter librement les canaux de sortie (Reaper, Ardour) où si leur configuration passe obligatoirement par le choix d'un format cinéma (Nuendo, Studio One).
Vous trouverez quelques guides rapides de configuration pour Reaper, Ardour, Nuendo, Tracktion, Ableton Live, Logic pro, Samplitude, Studio One 6, Bidule et Usine Hollyhock, ainsi que des projets-templates pour Reaper, Ardour, Tracktion, Bitwig, Live, Logic et Samplitude sur la page dédiée aux SpatStruments.

La configuration de routage interne de Reaper peut être représentée ainsi (simplifiée !) :

Cet article traite de ce qui se situe au dessus du Master, le suivant est consacré à ce qui est en dessous...

A. Configuration du Master et du MonitoringFX
Reaper est de loin le multipiste le plus ouvert et le plus souple en ce qui concerne le routage, et la mise en place d'un projet multiphonique se fait quasiment aussi simplement qu'en stéréophonie :
1. sélectionner l'interface audio et le pilote
2. définir le nombre de canaux du Master
3. envoyer ces canaux vers les sorties de l'interface audio
4. tester, régler et calibrer l'écoute...

1. Sélectionner l'interface audio et le pilote
Sous Windows le pilote est généralement du type ASIO, et si l'interface audio est livrée avec, celui-ci doit présenter l'ensemble des sorties (et des entrées) disponibles.

Avec des cartes son génériques il convient d'utiliser ASIO4All, qui permet également l'agrégation de plusieurs cartes son afin d'additionner leurs sorties.

Sur Mac il peut être nécessaire de définir au préalable le nombre de sorties dans le panneau de configuration Audio et MIDI. C'est aussi là qu'on pourra agréger plusieurs cartes son pour que Reaper puisse les utiliser ensemble.
Pour Linux ça passe généralement par Jack...

2. Définir le nombre de canaux du Master
La définition du nombre de canaux du Master se fait dans le menu déroulant I/O :

Celle-ci détermine le format spatial maximum qui pourra être produit et/ou entendu, par exemple "16" pour un format compatible Atmos 9.1.6 ou "24" pour un "22.2" ou un dôme générique.
Mais ce nombre doit aussi représenter le nombre de canaux nécessaire pour que les plugins qui y sont placés fonctionnent correctement. Par exemple si l'on fait un rendu en ambisonique en ordre 6, le Master devra comporter au moins 49 canaux, même si le décodage nécessaire à l'écoute ne se fait qu'en "7.1.4" sur 12 enceintes (ou en binaural).

3. Envoyer ces canaux vers les sorties de l'interface audio
Le même panneau permet de sélectionner et d'affecter les canaux du Master aux sorties physiques présentées par le pilote.
Le plus simple consiste à les sélectionner toutes dans l'ordre dans lequel elles se présentent et à en effectuer au besoin les routages dans un plugin (voir plus bas).

Cela peut être nécessaire avec certaines interfaces audio qui disposent d'une combinaison de sorties analogiques, ligne et casque, ADAT et SPDIF, ou lorsqu'on fait une agrégation : il peut y avoir des "trous" ou simplement ne pas correspondre au regroupement logique des connexions physiques.
On peut aussi les répartir au niveau du Master en sélectionnant plusieurs séries de Hardware Output, par exemple ici vers les sorties 33/34 pour l'écoute au casque :

B. Tester, régler et calibrer l'écoute

C'est là où le SpatStrument T24 va être utile.

Ce plugin peut être placé sur le Master ou sur le MonitoringFX puisque son rôle consiste à :
– tester et calibrer une configuration spatiale
– réaliser le Bass management
– router les sorties
– ajuster leurs niveaux
toutes opérations qui concernent le monitoring seul, et qui ne doivent pas être prises en compte lors de l'exportation du mixage.
D'autres fonctions comme :
– la visualisation spatiale des amplitudes (présentée dans la Partie B de ce document)
– l'analyse fréquentielle
peuvent prendre place au niveau du projet (sur le Master), mais de toute façon elles n'interfèrent pas avec le signal.
Dans tous les cas il devrait se situer en fin de chaîne (à part les éventuelles égalisations d'enceintes qui se situeront après), c'est à dire si l'on produit en ambisonique ou en OBA/Atmos APRÈS le décodage ou le rendu.

Le MonitoringFX est une fonction souvent méconnue de Reaper.
C'est une chaîne d'effets qui se situe APRÈS le Master et AVANT l'interface audio. Elle est propre à la configuration génerale de Reaper et n'est pas dépendante du Projet, ce qui veut dire qu'elle s'applique à la configuration matérielle du studio tant que celle-ci ne change pas (mais on peut bien-sûr la désactiver au besoin...).

C'est l'endroit parfait pour y placer tout ce qui va concerner les réglages du dispositif haut-parlant, par exemple : un Bass Manager, un réglage de gain multicanal, un Routeur et des EQ pour les enceintes qui ont besoin d'une petite correction.

À part cette dernière fonction, qu'il vaut mieux confier à des plugins spécialisés, les autres sont comprises dans le SpatStrument T24 et abordées dans ce qui suit.

1. Les connexions et le routage
Le premier travail à effectuer est celui de la vérification des connexions : tel numéro de canal et de sortie de l'interface correspond-il bien à telle enceinte ?
On ne la fait normalement qu'une seule fois, mais ça peut être bien de vérifier de temps et temps...

En mode TEST le SpatStrument T24 permet de générer un signal de synthèse lors de l'appuis sur les boutons que l'on a disposés en fonction de la position des points haut-parlants. Ça n'a pas d'influence sur le son mais c'est plus pratique à utiliser...
Un ensemble de fichiers de configuration spatiale comprenant les formats les plus courants, et d'autres moins, est disponible pour l'ensemble des SpatStruments.
Vous pouvez les charger et les sauvegarder après édition (en mode Edit) avec les boutons Import et Export.

L'affichage des points en mode Test est en vert, et si le mode Peaks est également activé un disque rouge symbolise le niveau du signal émis sur ce canal.

Plutôt que cliquer sur chaque point il est aussi possible de générer le signal en série à partir d'un canal de départ (Start) et à une vitesse donnée. C'est pratique pour vérifier l'équilibre global en se déplaçant dans le lieu.

2. Le mappage des canaux
Si l'on peut supposer que les connexions physiques sont effectuées une fois pour toutes, rien n'interdit de travailler sur plusieurs formats spatiaux qui partagent la même configuration de haut-parleurs, par exemple un 7.1, un Auro-3D 9.1, un Atmos 9.1.6 et un dôme, qui tous quatre peuvent s'inscrire dans (à peu près) le même schéma spatial, mais être basés sur une correspondance de canaux différente.

Le routeur de sortie, à droite de la fenêtre du plugin, permet d'envoyer les canaux de production vers les sorties physiques. Cela peut se faire aussi avec la matrice de connexion dont disposent tous les plugins dans Reaper, mais le routeur permet de le faire d'une manière plus intuitive. Cliquer sur le petit bouton à droite de la vue spatiale affiche les points de routage simultanément d'une manière graphique (en jaune) :

Dans les deux cas il suffit de déplacer la souris sur chacun d'eux pour sélectionner un canal de sortie différent.
Le routage peut être sauvegardé et chargé indépendamment du format spatial à l'aide des deux petits boutons "I" et "O" situés dans le coin inférieur droit (format .amr).

Ceci permet par exemple de disposer de plusieurs configurations pour un même format "22.2", selon qu'on utilise la répartition des canaux de la NHK, de Nuendo de Steinberg, ou d'autres plugins comme Sparta.
Ça peut être utile également pour les différentes variantes de surround à partir du 7.1, des dômes qui comptent les angles dans le sens horaire ou anti-horaire, les cercles octophoniques par paires ou en séries etc...

3. Le calibrage du niveau
Le générateur de bruit rose du T24 produit un signal conforme au calibrage en K-System K-20, et correspond également aux spécifications en Dolby Atmos.

La valeur par défaut du Volume à -12 dB Peak est équivalente à celle de -20 dB RMS, qui doit correspondre à une mesure de 80 à 83 dB SPL sur un sonomètre réglé sur SLOW / Courbe C.
Les sonomètres pas chers, ou les applications pour smartphone, ne sont pas forcément très précis, mais ils donnent généralement une approximation suffisante pour l'étalonnage des voies d'amplification et pour permettre un travail confortable et sécurisé : avec une valeur de 80/83 dB, à moins d'avoir un problème auditif, on est à peu près sûr d'être conforme aux normes de Loudness sans avoir besoin de faire des mesures. Évidemment, il ne faut pas baisser le volume sinon ça ne présente plus d'intérêt, et avec l'écoute au casque c'est plus compliqué...

Enfin, selon l'équipement, s'il s'agit d'amplificateurs multicanaux, d'enceintes amplifiées etc. il peut être aussi utile d'ajuster finement le gain pour chaque canal (dans la plage -40/+12 dB).

4. Le Bass Management
Disposer d'un sub et l'utiliser en bass management n'est pas une obligation... mais cela offre un confort d'écoute et surtout permet d'homogénéiser l'espace et les éventuelles différences entre les enceintes.
Le SpatStrument T24 peut détourner un ou deux canaux pour cet usage, réduisant à 23 ou à 22 le nombre de canaux de monitoring effectifs.
Chaque canal dispose d'un réglage de fréquence de crossover (la fréquence autour de laquelle le signal va être progressivement retranché de la sortie directe et envoyé vers le canal de grave), et de deux réglages de niveau d'envoi vers les deux subs (de 0 à 100 %).
Deux réglages additionnels affectent quant à eux tous les canaux : la pente des filtres crossover et celle du coupe-bas additionnel. Une valeur de 2 à 4 pour les deux semble raisonnable, mais ceci est très dépendant de l'équipement, du lieu, du "style musical" et des préférences personnelles. De toute façon cela n'interfère pas avec le rendu du mixage (mais avec l'écoute du mixeur...).
Par exemple, pour un 22.2 :

Une méthode à l'oreille :
– le réglage de gain du (ou des) LFE est à 0
– ordre du crossover à 3 (18 db/oct), ordre du Low-cut à 1
– générer un bruit rose sur le premier canal de sortie
– augmenter la fréquence de coupure de ce canal jusqu'à ce qu'on ait l'impression de retrancher quelque-chose au son
– effectuer la même opération pour chaque enceinte
– monter le gain du LFE à -9 dB
– sur le canal 1 augmenter le niveau d'envoi vers le canal LFE (en pourcentage) jusqu'à ce que le son paraisse plus large ou plus équilibré, bref plus plaisant... (ça dépend évidemment aussi du réglage qui est effectué sur le sub lui-même)
– effectuer la même opération pour chaque enceinte
– écouter un mixage, avec des "vrais sons", et ajuster le niveau du LFE et/ou changer la pente du crossover et du Low-cut
– réajuster chaque canal au besoin...
Il peut être utile et intéressant d'effectuer les mêmes opérations avec une source sinusoïdale de basse fréquence.

C. Les conversions
Le Master peut héberger aussi le ou les plugins de conversion si l'on souhaite exporter le mixage dans un format spatial différent, l'encoder en ambisonique ou en faire le rendu en binaural.
L'article "Les conversions entre catégories" en explique le principe et le fonctionnement.

Pour résumer : une fois les connexions physiques effectuées et les niveaux réglés pour le studio, le seul travail de configuration pour commencer une création multiphonique consiste à sélectionner le nombre de canaux nécessaires sur le Master et à les envoyer vers l'interface audio (Hardware Output).
Ensuite, chaque piste devra disposer d'au moins le même nombre de canaux et des plugins nécessaires à la création... c'est tout !

La suite dans Utiliser Reaper pour la création multiphonique avec les SpatStruments

À propos de la série des SpatStruments

Jean-Marc Duchenne — 2023-10-08T19:12:37Z

La petite série de plugins SpatStruments représente à la fois une introduction au foisonnement des Acousmodules, et un ensemble cohérent optimisé pour les petits et moyens espaces, avec un accent particulier sur la question du geste.
Leur nom est évidemment la contraction de spatial et d'instrument (c'est aussi un hommage à mon premier contrôleur MPE le LinnStrument...) ce qui veut dire qu'à l'instar de la majorité des Acousmodules, elle n'est pas consacrée à la spatialisation mais est conçue pour permettre la création de sons sons-espaces originaux, où les moyens du traitement spatial sont développés et intégrés conjointement avec ceux de la matière et du temps. En gros, au lieu de faire des sons mono ou stéréo et de les placer ensuite dans un espace, on fait directement des sons avec leur espace...
Effets et instruments basés sur l'échantillonnage et la synthèse forment l'essentiel de ces outils.
Ils sont particulièrement adaptés aux multiples espaces de la catégorie "Open Channels", de 1 à 24 canaux, mais peuvent s'insérer facilement dans les catégories en canaux codés.

.
Chaque plugin combine en général plusieurs fonctionnalités et manières de les aborder autour d'un domaine principal de génération ou de transformation du son.
Il y a quatre "générateurs" et quatre "transformateurs", plus un utilitaire :
– le SpatStrument SM24 (Sampling, Synthesis et MPE) est un instrument assez complet (et un peu complexe) qui associe échantillonnage, synthèse, modelage spatial à partir des gestes permis par certains contrôleurs MPE (vidéo "SpatStrument SM24 : What can I do for you ?")
– le SpatStrument PL32, pour "PLayers", est un multi lecteur d'échantillons, y compris multicanaux (totalement in-synchronisable au tempo !), qui peut être joué à partir d'un clavier standard mais fera bon usage de la pression polyphonique. Il propose aussi avec le SpatialTrigger et le ClockTrigger de modes d'interaction plus originaux. Une version "spéciale Mixage Fou" inclue la banque de 125 sons dans ses Presets (vidéo "Le TouchPlayer")
– le SpatStrument GR24 (GRains + Gesture Recorder) est un des plus créatif et potentiellement infini à explorer avec son Gesturizer : dislocateur, brasseur, vaporisateur de sons sur jusqu'à 32 points, avec sampleur de gestes ! (vidéo Présentation générale
– le SpatStrument AL24 (Animated Loops) propose des animations de matière et d'espace débridées sur de la synthèse et de l'échantillonnage multiphoniques (vidéo-démo)
– le SpatStrument FX24/32 est un multi-effets opérant en interne sur 32 canaux, qui associe Pitch/Frequency Shifting, Delays, Filtres et Réverbération. Ses 192 paramètres sont malgré tout facilement ajustés et animés grâce à son espace matriciel. Les personnes qui connaissent déjà les plugins de la famille "Scatter" apprécieront... (vidéo "Présentation générale")
– le SpatStrument C24 (Creative Converter) peut servir aussi bien pour convertir un format spatial vers un autre que pour transformer radicalement la masse spatiale et spatialiser des sons possédant jusqu'à 24 canaux
– le SpatStrument VB32 (VR + Binaural) se présente comme un explorateur spatial en 6DOF que l'on peut utiliser en octophonie (cercle ou cube) et surtout en binaural, soit avec le module de convolution intégré accompagné de fichiers HRTF (Windows uniquement), ou avec un convertisseur externe (vidéo de présentation). C'est le seul qui puisse être utilisé nativement dans la catégorie Binaural.
– le SpatStrument T24 (Tools) est un peu différent des autres puisqu'il n'a pas pour vocation de créer des sons mais d'aider à la configuration et au fonctionnement d'un environnement de production ou de diffusion multicanal. Il rassemble sur 24 canaux un générateur de signaux de test, un afficheur des crêtes d'amplitudes, un analyseur de spectre, un réglage de gains, un bass manageur, un routeur et un enregistreur (vidéo "The Swiss knife of multichannel tools").

La série des SpatStruments comporte également une collection d'une trentaine de tout petits plugins, les MiniTools, qui peuvent compléter ou reprendre certaines de leurs fonctions d'une manière séparée et plus légère.

Les compatibilités
Ces plugins nécessitent évidemment un hôte qui soit adapté à la gestion des signaux et des connexions multicanales.
Ils sont aujourd'hui nombreux, et tendent de plus en plus à supporter les espace en définition élevée... mais pas toujours avec l'ouverture que l'on pourrait souhaiter.
Sur ce plan, les multipistes Reaper et, dans une moindre mesure, Ardour sont les plus intéressants.
Mais à part quelques rares exceptions, la majorité des logiciels peut être utilisée, y compris, dans le cas des VSTi, ceux qui ne disposent que d'une architecture stéréophonique.

Les compatibilités précises avec les logiciels et les systèmes sont détaillées sur la page.
Pour faire simple et rapide :
– ils fonctionnent en VST3 (ou en VST2) sur Windows toutes versions
– ils fonctionnent sur Mac (minimum 10.15, CPU Intel ou Rosetta) en VST3 et en AU... si la version de l'OS les accepte, car ils ne sont pas "notariés". S'ils sont rejetés (et si vous ne voulez pas désactiver le SIP), téléchargez les fichiers sur une machine équipée de Windows ou de Linux et transférez les ensuite sur le Mac... Notez que certaines fonctions peuvent ne pas être disponibles pour l'instant sur cette plateforme.
– ils ne fonctionnent pas directement sur Linux, mais c'est néanmoins possible en utilisant Yabridge, ou une distribution pré-configurée comme l'excellente AV Linux MX Edition.

Les Acousmodules sont développés depuis 20 ans avec le logiciel Synthedit de Jeff McClintock, et s'appuient sur les modules de développeurs tiers, notamment Elena Design, Davidson Audio & Multimedia, Sacha, Roy MPack, Time Domain.

La page-blog consacrée au Mixage Fou et aux SpatStruments détaille et explique leur utilisation par rapport aux différentes catégories.