L’intégration des nouvelles technologies dans les arts musicaux est une problématique essentielle de nos jours notamment dans la conception d’instruments de musique ainsi que dans la création musicale. Nous allons donc aborder différents thèmes pour fournir des notions solides permettant d’appréhender la relation entre art et technologie par l’intermédiaire de la musique.

– La musique

La compréhension des bases de la théorie de la musique est importante pour comprendre la relation entre art, dans notre cas la musique, et technologie.

Nous avons tout d’abord abordé le fonctionnement du système de notation musical. La notation se base sur un système de portée, un ensemble de cinq lignes horizontales. Des symboles sont ensuite placés sur ces lignes, la hauteur du symbole correspond à la hauteur de la note et la forme du symbole indique la durée relative de celle-ci par rapport aux autres notes. Le tempo, souvent indiqué en début de partition, fournit l’information sur la vitesse de jeu.

Après ces notions basiques, nous avons expliqué brièvement le concept de nuances ainsi que leur notation. Nous avons aussi mis en exergue les concepts d’ossature et de mélodie ainsi que leur importance en analyse musicale.

Nous avons ensuite appliqué ces notions à quelques unes des 12 variations de « Ah vous dirai-je maman » par Mozart.

– Science et musique

Nous avons ensuite abordé le thème de l’acoustique des salles de concerts ainsi que les principales caractéristiques de celles-ci et leur importance :

  • Temps de réverbération
  • Sensation d’espace sonore (forme,matériaux)
  • Puissance du son
  • Clarté du son

Puis, nous avons étudié les différentes pièces composant un piano numérique et leurs fonctions :

  • Système électrique: reproduction du son – timbre du piano, harmoniques
  • Clavier mécanique: toucher dynamique – touche lesté et double échappement
  • Amplificateur/ prises casques
  • Interface MIDI: enregistrement et traitement

Enfin, nous avons abordé les bases de la numérisation sonore et mis en relief les avantages et inconvénients que présentent les instruments numériques.

– La musique de nos jours

Dans cette dernière partie, les différences de perception entre les oeuvres diffusées par voie numérique et les oeuvres écoutées en salle de concert ont été évoquées. Parmi ces différences, l’acoustique des salles de concert, l’interaction artiste-public et les différences de représentation sont parmi les principales. La question de la perte de qualité par numérisation a aussi été soulevée.

Nous avons ainsi réalisé une analyse de la vidéo de Jarrod Radnich, un pianiste se produisant principalement sur Youtube, qui nous interprète « Pirates of the Caribbean » ce pour illustrer ces différentes notions. L’utilisation des technologies au service de la musique sublime ici une performance d’une qualité déjà impressionante.

Dans toutes les pratiques musicales, y compris celles qui se caractérisent par l’utilisation des nouvelles technologies telles l’électronique ou l’informatique, le geste reste une action sans laquelle le son ne pourrait exister.

On se pose aussi la question de la valeur de l’oeuvre musicale selon les différences dans les supports de diffusion et les moyens de productions utlisés. La technologie a ouvert la porte à de nouveaux moyens de production musicale. Cependant, on remarque que le geste de l’artiste reste essentiel à la production du son.

Orchestre d’une personne : cliquer sur l’image pour plus de détails

L’évolution de la technologie a des conséquences dans le domaine de l’art et la réciproque est tout aussi vraie. La science et l’art sont deux domaines qui s’alimentent mutuellement. Dans le contexte de la musique, Musique et Technologie sont deux domaines qui co-existent et se co-constituent.

QUACH Maurice, JU Di, SOH Yoann

Drawing with my eyes


Sans titre1

Introduction :

Pour traiter cette problématique nous nous sommes concentrés sur une œuvre en particulier. Cette œuvre crée par Graham Fink a été présentée lors d’une exposition à Londres du 9 mars au 21 mars dans la galerie Riflemaker à Londres et s’intitule « Drawing with my eyes ». L’exposition le met en scène devant un ordinateur et regardant fixement l’écran blanc. Il va alors dessiner des visages sans utiliser ses mains ni un quelconque instrument mais avec comme seul outil ses yeux. Au fur et à mesure qu’il dirige ses yeux sur l’écran des lignes apparaissent. Ceci est possible grâce à un logiciel et à une machine spécifiquement. Ce matériel utilise une technique nommée l’ «eye-tracking» qui permet de suivre les mouvements des yeux de n’importe quelle personne.

Nous avons découvert cette œuvre par hasard sur internet, et nous avons de suite trouvé cette exposition étonnante et très innovante. Nous l’avons choisi car elle lie l’art et la technologie et donc correspond parfaitement au thème de la matière AR03. Nous nous sommes demandé dans un premier temps comment il était possible de faire de l’art uniquement grâce à ces yeux mais aussi d’où venait son aspiration.

Lien vers la video : https://www.youtube.com/watch?v=7ApFzumPQEQ

  • Qui est Graham Fink ?

Sans titre2

Graham Fink est l’un des créateurs les plus respecté et récompensé. Il travail essentiellement dans la photographie, les films et la peinture.

Son parcours :

Il fut premièrement directeur artistique chez CDP. Pour obtenir ce poste, il est venu à l’entretien habillé comme un vieil homme car il savait que CDP ne voulait pas prendre de créateur trop jeune.

Il fut ensuite directeur adjoint de Creative à l’or Greenlees Trott, et chef de groupe chez Saatchi & Saatchi et WCRS

Puis directeur exécutif de la création chez M & C Saatchi à Londres. En 1995, il a commencé à diriger des publicités télévisées et des clips dans la société de film de Paul Weiland. Il a travaillé de cette manière à Londres pendant plusieurs années.

ll est devenu le plus jeune président de D & AD (Conception et Association des directeurs d’art) en 1996. Il a ensuite été voté dans D & ‘le livre de Direction artistique’ AD représentant les 28 meilleurs directeurs artistiques de tous les temps.

Depuis Avril 2011 Graham Fink est un artiste multimédia et chef de la création à l’agence de publicité Ogilvy & Mather Chine.

Il est l’un des créateurs les plus primés au monde. Il a remporté des prix au Festival de Cannes, D & AD, One Show, BAFTA, Clio de, LIAA, BTAA, Creative Circle, Mobius, Eurobest, Epica…

En 2012 il remporte l’Ogilvy Asie pour la première fois au Grand Prix de Cannes.

En 2001, il créé thefinktank, une compagnie de production conceptuelle.

En 2014, il fit sa première exposition personnelle de photographies à la Foire d’Art de Shangai. Puis en 2015, il dévoila sa deuxième exposition à Londres « dessiner avec mes yeux » celle-ci liant l’innovation actuelle à la pensée cognitive et à la création d’images

Ses photographies récompensés par les award ont été utilisé dans de nombreuses campagnes publicitaires, y compris pour les affiches «blood» et « Mental Wealth » de PlayStation. Il a également réalisé un court-métrage (Z) pour le millénaire.

Sans titre3Sa personnalitée :

En tant enfant, il a toujours été préoccupé par les visages. Il les voyait dans nuages, les pierres, le feu et dans les fissures dans les murs et le béton. Il pense que les visages sont les choses que nous regardons le plus au monde. Il s’ai alors demandé s’il était possible de les mettre sur le papier ou la toile d’une manière complètement nouvelle et intéressante.

Il a rencontré quelques sociétés de recherches qui se spécialisaient dans l’eye-tracking pour des publicités, celle ci observaient si les personnes regardaient les titres d’abord ou le corp du texte ou encore l’image. L’eye-tracking consiste à dépister la ligne du mouvement oculaire pour le visualiser ensuite sur l’écran d’un ordinateur. Ainsi ces images émergent directement de la manière dont les personnes regardent quelque chose. Il a alors eu l’idée d’employer cette technologie pour créer des images et plus particulièrement des visages. Cette réflexion l’a ensuite conduit à dessiner avec ses propres yeux.

  • Quelle technologie est utilisée pour Drawing with my eyes?

C’est une technologie dite d’ « eye tracking ». Le point (à 1 cm près) que Graham Fink fixe est reperé par l’enregistrement de rayons réflechis par ses pupilles. Une source de lumière infra-rouge et des caméras sont utilisées. La collaboration entre Graham Fink et l’entreprise Tobii Technology a permis d’optimisé les réglages et le programme correcteur pour atteindre une très bonne fiabilité.

Un utilisateur lambda ne parviendra pas à réaliser les mêmes tracés que Graham Fink car il faut une certaine habitude mais surtout parce qu’il n’est pas du tout évident de contrôler ses points de fixations.

Tous les 0,5 ms un point est marqué sur l’écran et relié au point précédent. Evidement l’artiste aurait pu décider d’avoir des options supplémentaires comme différentes épaisseur de traits ou des couleurs, mais il souhaitait un travail brut.

Il s’impose d’ailleurs une règle de jeu qui ajoute à son travail une vrai notion de performance : pas de pause, un trait continue, pas de retouche en post production.

Utiliser cette technologie il y a quelques années n’aurait pas permis une telle finesse dans le tracé et le travail aurait peut être perdu de l’intérêt. C’est donc bien le progrès de la technologie de l’eye tracking (aussi connu dans d’autres applications commerciales) qui a motivé le travail de Graham Fink.

Il est ainsi important de souligner le travail préparatoire de plusieurs mois sur l’optimisation du médium qu’est l’eye tracking.

  • Pourquoi avoir fait Drawing with my eyes? Interprétation de l’œuvre.

Au travers des autres œuvres de l’artiste telles que son Exposition Nomads, ou encore de ces films et interviews nous pouvons voir que le portrait est le principal thème.

En effet, comme il le dit dans plusieurs interviews G. Fink voit des visages partout, et ce depuis l’enfance. Que ce soit dans les fissures des murs, la forme des bâtiments, les nuages ou les arbres, il les appelle même « ses fantômes ». On voit donc que c’est une obsession.

Pour revenir sur Nomads, cette exposition (elle a eu lieu à Londres du 9 au 22 janvier 2014 et à Shanghai du 5 au 7 Septembre) a commencé avec les douze portraits les plus frappants de sa collection de photos. En effet, dans cette exposition il essaye de faire des comparaisons avec des personnalités ou des peintures connues. Comme ici un cardinal, ou encore une peinture.

Sans titre4Sans titre5

Pour revenir à l’œuvre en elle même :Fink dit que si on y pense bien les visages sont ce que l’on regarde le plus dans le monde. Et ce qui lui a donné l’idée de l’eye tracking c’est son professeur. En effet quand il était encore en école d’art, l’un de ses professeurs lui répété toujours qu’il ne regardait pas assez les choses, et après avoir fait Nomads il a eu envie de faire quelque chose de plus pur que toutes ses autres œuvres. Une œuvre venant directement de son subconscient sans outils intermédiaires pour la réaliser. Il a un véritable désir de produire son œuvre sans outils intermédiaires. On voit que c’est une véritable collaboration entre œuvre et technologie

NB : on peut remarquer que les portraits qu’il y a dans ses films ressembles à ceux venant de l’eye tracking.

Liens vers d’autres artiste :

à James Powderly est un artiste qui utilise aussi l’eye tracking.

à The eyeWritter project

à Free Art and Technology (FAT) (eyewriter.org)

Pierre MASSET, Laure LESSOURD, Juliette MARCOULT

Introduction

Les capteurs de mouvements ou motion capture en anglais, permettent d’enregistrer des mouvements et de les restituer en temps réel sur un ordinateur. On les utilise essentiellement dans les jeux vidéo pour les jeux d’action et de guerre où l’on veut des mouvements rapides et fluides. Nous nous sommes intéressées à l’utilisation de ceux-ci dans le cinéma.

  1. Présentation

La première idée de retranscrire les mouvements par des images vient d’Etienne Jules Marey en 1882. Il invente le fusil photographique qui permet de prendre 12 images très rapidement et retranscrire le mouvement sur une image. Dans les années 80, c’est l’armée qui s’empare des capteurs pour l’aviation, puis le médical. Depuis les années 90, les capteurs sont arrivés dans les films de synthèse et les effets spéciaux au cinéma, mais aussi dans les performances artistes comme la danse ou le théâtre.

Il existe 4 types de capteurs :

  • Mécanique
  • Magnétique
  • Optique
  • Gyroscopique

Capteurs mécaniques :

capteur méca

1ère technique mise en place pour enregistrer les mouvements. Ces capteurs nécessitent l’utilisation d’exosquelette.

Avantages Inconvénients
Grande précision pour les rotations des articulations Mouvements limités à cause de l’exosquelette
Capture rapide Nécessite une connexion filaire
Insensible aux facteurs extérieurs – > pas de données perturbées Adaptation de l’exosquelette à chaque utilisation, objet, personne
  Pas d’intéractions possibles entre les personnes et/ou objets
  Déplacements peu précis

Capteurs magnétiques :

Cateur magne

Création d’un champ électromagnétique autour des personnages équipés de capteurs. Ces capteurs sont en réalité des bobines de fils qui interfèrent dans le champ ce qui permet de situé leur position dans le champ.

Avantages Inconvénients
Pas de fils à relier à l’ordinateur Beaucoup d’interférences dans le champ électromagnétique (bout de métal dans les bijoux, élastique à cheveux, plombage…)
Capteurs, donc s’adapte très facilement à tous les personnages La portée des capteurs est très courte donc la surface de mouvement est limitée
  Les mouvements doivent être lents pour être retranscrits
  Les cascades sont impossibles car les capteurs sont trop fragiles

Capteurs Optiques :

Optique

C’est le type de capteur le plus répandu. Il existe deux systèmes de capture :

  • Utilisation de caméra infrarouge et marqueurs : les caméras émettent des rayons infrarouges qui sont réfléchis par les marqueurs, ce qui permet de situer ceux-ci.
  • Utilisation de cellules photosensibles et capteurs : les capteurs émettent des rayons qui sont récupérés par les cellules photosensibles.

PHotosensible

Les deux systèmes de captures ont les mêmes avantages et inconvénients :

Avantages Inconvénients
Méthode très précise Technique la plus cher
Possibilité de faire des mouvements rapides Nécessite beaucoup de matériel (caméra, capteurs, marqueurs, cellules)
Capteurs qui fournissent le meilleur rendu au traitement des données
Possibilité de faire des cascades
Technique sans fils
Technique la moins contraignante pour les acteurs

Capteurs Gyroscopiques et Inertiels :

gyroscopique

Ce sont des capteurs qui récupèrent l’angle et la position, puis ces données sont transmissent à l’aide d’un émetteur à l’ordinateur.

Avantages Inconvénients
Pas d’interférences Moins précis que la technique avec les capteurs optiques
Pas besoin de caméra La portée des capteurs est très courte donc la surface de mouvement est limitée

Performance Capture :

perofrmance

On utilise plusieurs types de capteurs pour enregistrer simultanément les mouvements et les expressions du visage.

.

  1. Avantages du film classique (+inconvénients capteurs)

On parle de films « classiques » lorsque les effets spéciaux ne sont pas réalisés par une technologie numérique qui passerait par des capteurs de mouvement.

 

Le premier avantage du film dit classique est son coût beaucoup moins élevé. Il ne nécessite pas, en effet, toute la technologie numérique qui comprend le matériel (caméras, capteurs, ordinateurs, logiciels de traitements des images et animation 3D, combinaisons spéciales…). Si on prend l’exemple d’une créature fantastique, il est possible de passer par une autre technique que les capteurs (et qui est moins cher) : le maquillage. La réalisation de masques, en silicone ou en mousse par exemple, et de costumes est possible et peut être aussi réaliste que l’animation, voire même plus réaliste puisque le personnage est directement filmé. L’émission américaine Face Off nous apprend plus sur ces techniques : à l’image de Top Chef, une quinzaine de candidats s’affrontent dans une compétition en créant des maquillages spéciaux qui pourraient être utilisés dans des films et sont jugés par des grands noms cinématographiques. On peut voir que la réalisation d’un personnage complet prend une vingtaine d’heure de travail et est ensuite prêt à l’emploi. Il offre l’avantage aux acteurs de mieux visualiser la scène qu’ils sont en train de jouer mais présente l’inconvénient de s’user. Cependant, ils sont très souvent utilisés, encore aujourd’hui et donnent de très bons résultats comme nous pouvons le voir dans « La Planète des Singes » ou encore « Hellboy ».

face off4
Ainsi l’utilisation de la motion capture n’est absolument pas indispensable pour la création de créatures fantastiques ou imaginaires. Il faut cependant noter que le maquillage est une technique qui s’use et qu’il est difficile de faire plusieurs fois un masque identique.

A contrario, la motion capture demande plus de préparation et de moyen. Elle nécessite de bien préparer la séance (optimisation du coût) : il faut préparer la liste des mouvements, la connaître et la maîtriser parfaitement (chaque mouvement préalablement défini permet de placer les caméras de sorte que les capteurs/marqueurs soient tous détectés : facilite l’animation). Cela nécessite aussi de préparer à l’avance les programmes et de répertorier les fichiers par mouvements.

Les acteurs doivent avoir de l’expérience, le jeu passe essentiellement par le langage corporel, ce qui est très difficile. Ils doivent aussi se représenter la scène en étant sur un plateau vide, les animations ne sont rajoutées que par la suite. On peut citer Andy Serkys qui joue Gollum dans « le Seigneur des Anneaux », dont la performance a longuement été saluée, ou encore sur le tournage de Pirates Des Caraïbes où Davy Jones étrangle un homme avec ses tentacules, les mouvements du visage sont récupérés par motion capture et les tentacules incrustées ensuite. L’action semble difficile pour eux à 1ère vue puisqu’ils doivent jouer une scène entièrement dans le « vide », mais le rendu est très bon.

Davy

De plus, le matériel n’est pas toujours agréable à porter, les marqueurs disposés sur le visage peuvent tomber (bien qu’aujourd’hui, les points sont directement peints sur l’acteur), il peut être lourd et entrave les mouvements des acteurs, ce qui donne un jeu moins authentique.

La recherche est axée pour améliorer les systèmes de tenues légères, maniables et dont le rendu est très bon.

  • Avantages film avec capteurs

L’un des premiers avantages des films utilisant la motion capture est sa rapidité. Cette technique est effectivement plus rapide que l’animation 3D totale, grâce aux ordinateurs et aux logiciels qui sont capables de modéliser l’animation en temps réel. Aussi, une journée de tournage correspond globalement à une journée pour l’animation jusqu’au rendu final. Comme tous les mouvements sont déjà enregistrés, il ne reste qu’aux animateurs à ajouter le squelette externe et toutes les textures (peau, vêtements, cheveux, et tous les détails).

Différentes étapes pour gogollum

La rapidité se retrouve aussi en post production puisque le montage et la mise en scène se font en même temps. Le réalisateur tourne les scènes avec les acteurs puis il peut faire tout ce qu’il veut des images. Comme les caméras sont placées tout autour du plateau, il dispose de tous les angles de vue qu’il souhaite.

Cette technique offre aussi une possibilité infinie de décors et de personnages. L’imagination du réalisateur n’est jamais contrainte, surtout s’il possède de très bons modeleurs/animateurs. Citons l’exemple d’Avatar, le monde a entièrement été créé de toute pièce en étant filmé sur des fonds verts et bleus. De la plus petite plante, aux appareils de vol en passant par les créatures vivantes, tout a été réalisé en animation, en utilisant la motion capture, et tout sort de l’imagination de son réalisateur James Cameron. On peut aussi citer Davy Jones, dans Pirates des Caraïbes ou encore Gollum, qui ont été modélisés et animés à 100%

Polar_Express

De plus, les décors s’adaptent entièrement autour des animations créées, et un acteur n’est pas cantonné à un unique rôle, ou le nombre d’acteur est réduit. Par exemple, dans le Pôle Express, Tom Hanks a joué 4 rôles différents dont celui d’un enfant de 10ans (ce qui paraît improbable étant donné qu’il n’a pas la carrure d’un enfant).

Conclusion :

Aujourd’hui, la plupart des films utilisant la technologie des capteurs de mouvements, sont des films « hybrides » qui combinent des effets spéciaux et des scènes tournées de façon classique. « Pirates des Caraïbes » en est un bon exemple : les créatures maritimes au service de Davy Jones sont obtenues par capture de mouvement alors que les autres personnages (humains) sont filmés normalement.

La recherche pour améliorer les techniques déjà existantes, continue et est en bonne voie. Cela dit, on peut craindre l’apparition de film totalement réalisé en motion capture et la disparition des métiers d’acteurs, de cadreurs, de scénaristes, maquilleurs, décorateurs et tous les métiers du cinéma qui ne sont pas concernés par cette technique.

Aurélie Carmona et Pauline Mandon

%d blogueurs aiment cette page :