facebook twitter youtube contact

Accueil > ressources > SpatStruments > SpatStruments et Mixage Fou : les conversions entre catégories

SpatStruments et Mixage Fou : les conversions entre catégories

Les SpatStruments peuvent traiter tout espace haut-parlant pouvant être représenté par un ensemble de points, jusqu’à 24 (les autres Acousmodules 64 ou plus).
Dans cadre du Mixage Fou, les configurations de 8 à 12 points semblent être les plus indiquées.

Ceci permet d’explorer librement à peu près n’importe quelle configuration spatiale de petite à moyenne dimension (acousmoniums, maillages 3D etc.), mais aussi les espaces plus conventionnels comme ceux issus du cinéma et les dômes immersifs, c’est à dire finalement tout ce qui peut entrer dans la catégorie "open channels"... et les autres.

On peut néanmoins souhaiter employer des formats plus normalisés pour faciliter la distribution des créations au public, comme ceux justement des catégories "ambisonic" et "Atmos", ainsi que le "binaural".

Pour cela, il est important de ne pas confondre le format spatial (c’est le type de disposition haut-parlante, par exemple le modèle cinéma, celui du dôme, "un acousmonium" etc.) et la technique de représentation et de traitement des sons (multipoints, ambisonique, Object Based Audio, binaural...). Certains sont fortement liés, mais tous les formats spatiaux ne supportent pas toutes les techniques (et réciproquement) :

Tant que l’on reste dans les espaces périphoniques egocentrés, où tous les points sont situés à une distance comparable autour du centre (les trois premières colonnes, enfin, surtout les deux premières) les conversions sont plutôt aisées. En règle générale, si la résolution du format initial (plus ou moins le nombre de points qui le composent) est égale ou supérieure à celle qui est obtenue après encodage et décodage/rendu il n’y a pas de "perte" (mais il peut y avoir des changements plus ou moins importants dûs aux techniques elles-mêmes).

Afin de faciliter la conversion de l’Open Channels vers les formats encodés, des configurations spatiales pour les SpatStruments sont spécialement pourvues selon :
 deux configurations en "dôme 24" à destination de l’ambisonique (l’une est plus enveloppante)
 une en "sphère 18" pour le binaural
 des beds étendus Atmos en "7.1.4", "9.1.6", "11.1.8 et "13.1.10", le 9.1.6 semblant être aujourd’hui le plus largement pratiqué.
Note : comme indiqué dans l’illustration précédente par le signe d’exclamation, il est tout à fait possible d’encoder un format "dôme" en Atmos ou un format "cinéma" en ambisonique, mais cela peut donner lieu à des approximations plus importantes.

Petite FAQ des conversions :
Q. à l’écoute (sur le même dispositif), quelle est la différence entre une production Open Channels "9.1.6" et sa conversion en Atmos puis son rendu en "9.1.6" ?
R. en ADM Atmos normalement aucune, mais si on est passé par un encodage de diffusion (mp4) les effets de la compression sonore et spatiale peuvent être plus ou moins perceptibles
Q. quelle est la différence entre une production en Open Channels "9.1.6" et une production en Atmos basée sur des objets ?
R. la production Atmos pourra bénéficier éventuellement d’un rendu plus précis si elle se fait sur un système supérieur au "9.1.6". C’est le cas au cinéma, mais cela a peu de chances de se produire ailleurs, où elle pourra se faire sur des dispositifs extrêmement différents et réduits (y compris en binaural). En revanche la production Open Channels pourra profiter de toutes les techniques de traitement du son et de l’espace possibles sur l’ensemble des points.
Q. quelle est la différence entre une production Open Channels en "dôme 24" et son encodage en ambisonique puis son décodage sur un dôme constitué d’un nombre de points comparable ?
R. avec un encodage en ordre élevé (ordre 5 ou plus) la différence devrait être assez faible, avec un encodage en ordre bas (3 et moins) l’espace sera rendu d’une manière plus ou moins confuse, mais avec comme effet corollaire un accroissement de l’impression d’immersion...


A. Le principe
Dans tous les cas il s’agit de convertir les points qui représentent les espaces originaux en coordonnées permettant leur traitement, et éventuellement leur encodage dans le format choisi.
La qualité et la fiabilité de la conversion dépend bien-sûr du type d’espace, des outils et de leur configuration, mais c’est surtout l’étape finale qui est importante : que l’on fasse une conversion en ambisonique d’ordre 7 ou en Atmos, un "5.1" restera un "5.1"...

Le cas du binaural est un peu à part, car le changement de nature est dans ce cas total, et la diversité des auditions individuelles tellement importante qu’on ne pourra pas appliquer les mêmes critères de correspondance qu’avec les espaces haut-parlants, tout au plus celui de ressemblance.
Il est à noter sur ce points que comme les formats ambisonique et Atmos sont aujourd’hui principalement écoutés à travers une virtualisation binaurale, il est finalement peut être plus simple et plus fiable de la réaliser soi-même au mieux et en connaissance de cause, et d’éviter les complications (et le coût) de technologies intermédiaires ?

Trois petites vidéos réalisées à propos du SpatStrument SM24 illustrent ces principes :
Listen in binaural
Convert in ambisonics
Convert in Atmos objects

Pour résumer :


B. La méthode
Dans Reaper la méthode pour la conversion "open channels" vers l’ambisonique et le binaural est simple, et il n’y a rien à changer dans la structure d’un projet existant :
 toutes les pistes multicanales (jusqu’à 24 canaux) disposant d’un SpatStrument et/ou de son rendu sont envoyées par défaut vers le Master (voir l’article Utiliser Reaper pour la création multiphonique avec les SpatStruments)
 le Master est configuré par défaut sur 24 canaux (il dispose peut-être d’un SpatStrument T24 pour en aider la configuration et l’utilisation)
 insérer en fin de chaîne du Master un plugin de conversion binaurale ou ambisonique, les canaux d’entrée et de sortie des plugins sont automatiquement connectés
 pour le binaural il n’y a rien d’autre à faire que de configurer la disposition des points d’entrée pour qu’elle corresponde à celle de l’espace haut-parlant
 si la valeur de l’ordre d’encodage ambisonique est supérieure à 3 (= 16 canaux encodés), il convient de changer le nombre de canaux du Master pour qu’il corresponde à celui de l’ordre choisi (par exemple ordre 7 = 64 canaux). Il est fortement conseillé d’utiliser la valeur la plus élevée possible afin de réduire les effets du codage ambisonique, l’écoute et la diffusion pouvant se faire alors facilement avec une valeur plus réduite si nécessaire (décoder un fichier d’ordre 7 en ordre 3 revient simplement à ignorer les canaux inutiles).

La conversion en Atmos est moins directe et peut varier grandement selon les outils dont on dispose.
Elle peut se résumer ainsi :

Si la disposition spatiale initiale est conforme à celle d’un "super-bed" Atmos (7.1.4, 9.1.6, 11.1.8...) la conversion se fait sans aucune perte, tout le travail sur l’espace d’origine est conservé.
Dans tous les cas on a là aussi intérêt à choisir le format disposant du nombre de points le plus élevé.


C. Les outils
En binaural comme en ambisonique les positions spatiales se définissent par leur angle (Azimut et Elevation) en référence au point d’écoute central. Comme l’Atmos pour les salles de cinéma ne s’insère pas dans un espace sphérique, les outils disposent généralement d’un positionnement des points plus adapté en X, Y, Z.
Les SpatStruments utilisent également une représentation cartésienne (X, Y, Z) mais où les points sont rarement associés à des valeurs de coordonnées lisibles (c’est un choix...), et où leur disposition est plus dictée par l’effet recherché que par un soucis d’identité visuelle avec le positionnement physique des points haut-parlants.
Les correspondances peuvent néanmoins se faire de visu et à la main avec un degré d’approximation tout à fait suffisant.

Exemple d’un "9.1.6" dans :
SpatStrument en mode Periphonic (vue 2D dessus) :

SpatStrument en mode Volumetric :

IEM MultiEncoder (vue 2D dessus) :

Sparta AmbiEnc (vue projection 2D de face) :

Studio One Atmos :

Note : si l’espace initial comporte des points situés à des distances différentes (maillage multicouche par exemple) il conviendra de le convertir d’abord en espace périphonique à l’aide d’un SpatStrument C24, ou d’un GRM-Tools SpaceMaster (gratuit). Mais ce n’est pas toujours possible, ni souhaitable (ceci n’est pas détaillé ici car il fait l’objet d’un article spécifique).

1. Open Channels vers Binaural
Si l’espace est périphonique (rappel : définit par des points situés autour d’un auditeur idéal, sur une seule couche de distance), alors pratiquement tous les outils de "binauralisation" peuvent être utilisés.
Certains peuvent être dédiés à une sélection de formats cinéma, d’autres comme celui de SPARTA permettent de définir soi-même la configuration des points :

Si l’espace est autre que périphonique, notamment s’il est de nature multicouche comme un maillage 3D, le choix des outils se restreint énormément !
Parmi les plugins il n’y a pratiquement que le GRM-Tools SpaceVR, mais comme il est gratuit et qu’il accepte jusqu’à 64 points on ne va pas se plaindre ;-)

Le principe de fonctionnement des GRM-Tools nécessite de passer par un éditeur de configuration spatiale. On y accède par le bouton Edit Layout :


 Load permet d’importer un fichier de configuration dans un slot vide ou d’en remplacer, un certain nombre est disponible dans les ressources sur la page des SpatStruments
 l’édition se fait en déplaçant les points à l’intérieur de la vue 3D, dont on peut changer l’angle et les dimensions (on ne peut pas éditer celui qui est déjà sélectionné dans la fenêtre principale...)
 à la fin de l’édition cliquer sur OK puis sélectionner le Layout
 il est fortement conseillé de placer les deux curseurs Amplitude et Frequency à 0

2. Open Channels vers Ambisonique
Rappel : le champ ambisonique ne peut représenter que des points situés sur la surface d’une sphère et ne peut donc s’appliquer qu’aux espaces périphoniques.

Les plugins IEM MultiEncoder et SPARTA AmbiEnc sont excellents et ils permettent très simplement de réaliser une configuration correspondant à un format spatial compatible (ils peuvent utiliser le même fichier de configuration spatiale que le Binauraliser).
On pourra préférer l’une ou l’autre présentation graphique, mais le principe reste le même :
 placer les points à la souris ou en entrant les valeurs angulaires Azimut + Elevation. L’Azimut se déroule dans le sens anti-horaire, 0° se situant à 12H (à ne pas confondre avec les outils de l’IRCAM dans lesquels l’Azimut est en sens horaire avec le 0° à 9H...)
 selon la valeur de l’ordre choisi il peut être nécessaire d’augmenter le nombre de canaux du Master afin de permettre un encodage avec le moins de perte possible. La différence entre les ordres 1 et 3 (16 canaux de codage) est assez colossale, le saut à l’ordre 4 ou 5 (36 canaux de codage) est encore significatif même pour des espaces open channels en "basse définition", 6 ou 7 (64 canaux de codage) risque d’être superflu dans le cadre présent.

3. Multipoints vers Atmos
Si, comme Reaper, le logiciel multipiste ne dispose pas de module Dolby Atmos intégré, une solution à la fois économique et souple est aujourd’hui fournie avec le plugin Fiedler Audio Dolby Atmos Composer Essential (note du 18-01-2024 : à partir de ce jour cette version est devenue GRATUITE !).
Un de ses avantages est qu’il permet de convertir directement une entrée multipoints jusqu’au 9.1.6 en un ensemble d’objets (objets au sens Object Based Audio), sans avoir à passer par leur positionnement un à un. Le résultat est le même mais c’est plus rapide ;-)
Cette méthode est décrite dans cette vidéo consacrée au SpatStrument SM24 :

On suppose pour cet exemple que le format du mixage a été réalisé selon la disposition "9.1.6", ou sinon qu’il a déjà été adapté pour elle avec un SpatStrument C24 (abordé dans un autre article).
 sur le mixage "open channels" existant, insérer en tête d’arrangement deux nouvelles pistes, la deuxième étant décalée en tant que "fille", étant elle même définie en tant que "parent" (folder) pour les pistes de rang inférieur :

On a de cette manière l’ensemble du mixage sous la forme d’une série de poupées russes qui va dans la piste "2", qui va dans la piste "1", qui va vers le Master...

 sur la piste "1" insérer le plugin Fiedler Audio Composer
 sur la piste "2" insérer le plugin Fiedler Audio Beamer
 définir le nombre de canaux de la piste "1 Composer" sur au moins "16", pour qu’elle puisse traiter les 16 canaux d’objets et nous les faire écouter à travers le Master. Nous pourrions aussi utiliser pour représenter cet espace "9.1.6" une combinaison hybride des 10 canaux du beds (7.1.2) plus 6 canaux d’objets, mais ce serait ajouter de la confusion inutilement.
 définir le nombre de canaux de la piste "2 Beamer" sur 16


 dans le Beamer cliquer sur "Reset Objects" et sélectionner dans la liste le format "9.1.6" : de cette manière les 16 canaux entrant dans cette piste sont envoyés en un seul groupe vers le plugin Composer


 dans le Composer, 16 objets correspondant au contenu de la piste 2 ont été automatiquement ajoutés, leurs canaux Atmos sont entourés d’une ligne dans la vue de droite


 il ne reste plus qu’à choisir la durée du mixage (1’20"...), à cliquer sur Export pour sélectionner le nom du fichier et à lancer la lecture :-)

Puisqu’aucun "bed" ou autre objet n’ont été encodés, le fichier wav produit doit comporter seulement 16 canaux. Il peut être lu comme un fichier 9.1.6 normal, mais il comprend également les metadatas Dolby Atmos qui sont invisibles pour Reaper et tout outil non compatible Atmos. Elle lui permettront d’être ensuite compressé dans un format mp4 ou autre afin d’être lu sur un équipement compatible.
Pour la participation au Mixage Fou ce fichier wav/ADM est suffisant.

Une autre méthode, moins directe, peut être employée avec des logiciels comme Studio One 6.5 qui dispose d’un module Dolby Atmos intégré.
1. dans Reaper faire un rendu multicanal du mixage sur un maximum de 24 points s’insérant dans le schéma d’une configuration Atmos. Cela peut être un "9.1.6" ou plus, puisque nous passeront par des objets mono pour effectuer l’encodage.
2. comme le rendu de Reaper se fait sous la forme d’un fichier multicanal et que dans Studio One nous aurons besoin de fichiers mono, il faut d’abord le convertir en un ensemble de fichiers numérotés, soit directement dans Reaper avec l’option "Explode multichannel audio to new one-channel items", ou en utilisant les applications gratuites WaveAgent ou Wavewizard (leur utilisation est présentée dans un autre article)
3. importer les fichiers mono sur le nombre nécessaire de pistes audio dans Studio One (la Song doit être configurée au préalable en Dolby Atmos)
4. sur chaque piste sélectionner le panner Spatial Object Panner : les canaux et les points correspondants s’affichent dans la fenêtre du Renderer placé sur le Master (voir le tutoriel Mixage Fou consacré au Dolby Atmos dans Studio One)
5. configurer chaque panner de manière à ce qu’il reflète la position spatiale du point correspondant : en cas de doute ça peut être bien d’en avoir fait une capture d’écran ou un schéma...
6. faire le rendu ADM Atmos !