Machine NA-3 : Filmosaïque [mélangeur de films]

Généralités
Le filmosaïque est le film convolué de deux films. C'est un film de films en ce sens qu'il permet de visionner deux films simultanément, pendant la durée équivalente d'un seul des deux films. Le filmosaïque est une variation du film mutantiste per se, privilégiant la vision simultanée d’images à leur vision successive accélérée. Le filmosaïque utilise la technique de la granulation, originellement issue de la sphère musicale, en l'appliquant à l'image. On s'intéresse ici uniquement à la vidéo, pas au son (à ce sujet, voir « Amélioration »).

Machine
Le filmosaïque, que l'on notera par la suite Fm, est un film composé de deux films (notés F1 et F2), dont les durées et le nombre d'images par seconde sont égaux, ce qui, en d’autres termes, signifie que F1 et F2 possèdent le même nombre d'images. Par ailleurs, F1 et F2 ont les mêmes dimensions, soit l pixels de largeur et h pixels de hauteur. Les processus suivants sont décrits pour les i-èmes images de F1 et de F2 et permettent de créer la i-ème image du filmosaïque Fm :

• Les images de F1 et de F2 sont découpées en petits carrés, appelés mosaïquons, de c pixels de côté, de telle sorte que l et h soient des multiples de c
• A chaque mosaïquon des images de F1 et de F2 est attribué un triplet de composantes RVB*, calculées comme étant les moyennes des composantes RVB des pixels du mosaïquon**.
• Ensuite, pour chaque mosaïquon de l'image du film F1, les opérations suivantes sont réalisées :
  • l'ensemble des mosaïquons de l'image du film F2 est parcouru aléatoirement jusqu'à ce que les valeurs des composantes RVB des deux mosaïquons (le mosaïquon de référence issu de l'image du film F1 et le mosaïquon choisi aléatoirement parmi les mosaïquons de l'image du film F2) soient très proches*** (cela se traduit par une différence ténue entre les couleurs moyennes des deux mosaïquons),
  • le mosaïquon de l’image du film F2 qui est retenu au point précédent est copié dans l’image du film Fm, aux mêmes coordonnées que celles du mosaïquon de référence dans l’image du film F1.
• Au terme des traitements précédents, la i-ème du film Fm est complètement constituée : elle contient donc la totalité des mosaïquons de l’image du film F2, repositionnés dans le plan de l’image en fonction de leur affinité colorimétrique avec les mosaïquons de l’image du film F1. La fidélité de restitution de l’image du film F1 avec les mosaïquons de l’image du film F2 est d'autant plus pertinente que les rapports entre le nombre de mosaïquons clairs sur le nombre de mosaïquons foncés de chacune des deux images sont très proches****.

Une fois toutes les images des films F1 et F2 traitées, la totalité des images du Fm qui ont été générées sont mises bout à bout, avec le même nombre d'images par seconde que celui des films F1 et F2, afin de constituer le filmosaïque final.

Rendu
Un exemple de filmosaïque est présenté sur la vidéo ci-après, avec :

• en bas, F1 : The Party (Blake Edwards, 1968) [0:27:30 - 0:27:49]
• en haut, F2 : The Chronicles of Riddick (David Twohy, 2004) [1:33:38 - 1:33:57]
• au milieu, Fm, le filmosaïque.

Filmosaïque seul en meilleure qualité ici.

En fonction de la taille des mosaïquons, le filmosaïque est appréciable selon des critères différents :

• Pour des tailles réduites de mosaïquons, le filmosaïque reproduit assez fidèlement les formes et les contours du film F1. On y apprécie alors le fourmillement des mosaïquons au sein de contours plus ou moins prononcés, incertains et imprévisibles, comme une réalité qui se désagrège et se réagrège constamment, évolue et mute. Si les formes et les contours du film F2 semblent perdus corps et âmes dans le processus, les changements de tons, le passage d’une scène éclairée à une scène obscure (et inversement), les dominantes chromatiques, demeurent patents et sont même mis en valeur, puisqu’ils viennent directement imprégner et colorer les formes issues du film F1.
• Pour des grandes tailles de mosaïquons, le filmosaïque est une œuvre abstraite, un collage-maelström de micro-images (mosaïquons du film F2) où il est encore possible de discerner et d’identifier des éléments, des silhouettes, des objets. Ce sont cette fois-ci les effets visuels du film F1 (mouvement de caméra, vitesse de déplacement des objets et des personnes, changement d’ambiance chromatique) qui viennent orchestrer le ballet des mosaïquons, comme si la réalité (ex-film F2) était un miroir brisé réarrangé au gré de champs de forces invisibles ou soumis au bon vouloir d’une entité imprévisible qui s’en serait fait des écailles.

Amélioration
Les mêmes processus peuvent être appliqués aux bandes son de deux films, à ceci près que la reconstitution granulaire s'opère à l'échelle de la bande son en entier, contrairement à la vidéo pour laquelle la granulation s’opère pour chaque image. En effet, la piste sonore possède une seule dimension, la dimension temporelle, dans laquelle œuvre la granulation : dans ce cas, la grandeur des grains est homogène à 1 durée (quantifiable en secondes, millisecondes, etc.). La vidéo, en revanche, possède deux dimensions : la dimension temporelle (succession d’images) et la dimension spatiale de chaque image, où a lieu le processus de granulation. Dans ce cadre, la grandeur des grains (appelés ici mosaïquons) est homogène à une longueur (quantifiable en pixels, cm, etc.).

Hack
Film prémoniteur (autofilmosaïque, filmosaïque 69-onaniste) : Filmosaïque réalisé avec un seul film original, l'équivalent du deuxième film n'étant autre que le film inversé. Ainsi, pour un film de n images, l'image i est convoluée avec l'image j = n - i + 1. Ainsi, visionner la moitié du film suffit pour voir tout le film !

Appellations alternatives
video-convolusyngran, moviemixer, convolufilm

---

Notes
* : Format de codage des couleurs (R = Rouge, V = Vert, B = Bleu).

** : Si on note q_k le mosaïquon de l'image i_Fj du film Fj (j = 1 et 2), le calcul des moyennes des composantes RVB des pixels p_n du mosaïquon peut être exprimé comme suit :

*** : Les deux triplets de composantes RVB à comparer (celles des mosaïquons q_k’ de l’image i du film F1 et q_k’’ de l’image i du film F2) sont considérés comme les coordonnées de deux points dans l’espace cartésien. Aussi, le critère de « proximité » colorimétrique se traduit-il par une proximité spatiale, la distance entre les deux points devant alors être inférieure à une distance arbitraire, notée d :

En pratique, d = 15.

**** : Le processus de granulation appliqué à l'image est représenté visuellement au travers de la vidéo « fly2death » (ci-dessous), où l'on peut voir l’œuvre « the fly » de g.cl4renko être émiettée en mosaïquons de quelques pixels de côté. On voit ensuite les mosaïquons se réarranger afin de constituer une autre illustration de g.cl4renko, représentant une tête de mort.

[Créateur machine : Nikola Akileus]