L’IA dans les mangas : outil magique ou menace pour les artistes ?
Avec les progrès de l’intelligence artificielle (IA pour les intimes), l’humanité se dirige de plus en plus vers les mondes décrits dans les récits d’anticipation ou de science-fiction. Et comme toujours avec les nouvelles technologies, c’est une fois leur développement et leur utilisation déjà démocratisé que les législateurs et la société civile commencent à réfléchir à un cadre légal…
Dans l’intervalle, faut-il craindre l’IA qui arrive sur le marché du manga ? Est-ce un outil magique ou une menace pour les artistes ? Tentons de répondre à ces questions en parlant de 2 exemples : celui de Cyberpunk Momotarô, manga réalisé par Rootport avec l’aide de l’IA Midjourney ; et, la société Orange qui a mis au point Factory, un système de traduction mélangeant IA et traducteurs humains.
Cyberpunk Momotarô, genèse d’un manga écrit par l’humain et illustré par l’IA
En général, le scénariste de mangas Rootport collabore avec des illustrateurs mais pour Cyberpunk Momotarô, il a décidé de recourir à l’IA pour le travail graphique. Paru en mars 2023, le bandeau noir sur la couverture du premier tome vente ainsi « le nouvel horizon du manga né du potentiel maximal de l’intelligence artificielle Midjourney ». Dans le documentaire Arte « Le dessous des images : l’IA, nouvelle mine à mangas ? », l’auteur japonais utilise l’exemple des échecs pour expliquer ce choix de « collaborer » avec l’intelligence artificielle en faisant référence aux matchs de Deep Blue contre Garry Kasparov, le champion du monde russe en 1996 et 1997. Il explique d’ailleurs que c’est la combinaison de l’IA et de l’humain qui donne les meilleures performances.
Le scénariste revisite le célèbre conte japonais Momotarô, l’enfant né dans une pêche. C’est l’histoire d’un couple de personnes âgées dirigeant un club de striptease qui découvre un jeune homme amnésique sur le pas de la porte.
Le projet est présenté pour la première fois sur Twitter le 10 août 2022 où Rootport poste une première série d’images tests. On découvre déjà le héros aux cheveux roses de la couverture et le décor futuriste cyberpunk rappelant Blade Runner. Au tout début, pour générer les images, il utilisait 4 mots comme prompt : « cyberpunk ; momo-tarô ; midnight [« minuit »] ; Japan [Japon] ». Il explique qu’il n’a pas obtenu ce à quoi il pensait car Midjourney associait à « momo-tarô » le fruit de la pêche et le féminin. Or pour faire apparaître le garçon de la couverture, le mangaka a donc précisé sa demande avec : « pink hair [« cheveux roses »] ; Asian boy [« garçon asiatique »] ; cyberpunk ; stadium jacket [« blouson de sport »] ; manga ».
©Rootport
Il compare à la loterie les nombreuses itérations nécessaires : entre 8 000 et 9 000 images ont été générées pour les 108 planches. Il n’aura fallu à Rootport que 5 semaines en tout pour publier sur les réseaux sociaux le premier volume intitulé The Butterfly Dream (« le rêve du papillon ») ! L’IA était incapable de redessiner les mêmes personnages donc l’auteur a attribué des caractéristiques particulières aux différents personnages, comme les cheveux roses au héros, pour donner l’illusion d’une continuité même si l’utilisation de Midjourney saute aux yeux !
Impossible de ne pas remarquer les mains floues et difformes ou que les traits des personnages changent d’une case à l’autre… Pour l’édition publiée par Shinchôsha, les planches partagées en ligne ont été revues et corrigées. Même si pour le moment, on est encore loin d’une IA capable de créer de A à Z un manga sans l’intervention humaine, il n’empêche que l’on peut craindre pour l’avenir avec des outils toujours plus puissants.
L’exemple de la société Orange et la traduction de mangas par IA
La startup japonaise Orange a annoncé, courant mai, son intention d’utiliser l’intelligence artificielle et la technologie de deep learning pour aider à la traduction de mangas en anglais, 5 fois plus rapidement et 90 % moins cher qu’actuellement. Les mangas sont de gros succès pour le Japon, avec un marché estimé à 42,2 milliards de dollars d’ici 2030, selon les chiffres donnés par la société. Mais seulement 2 % environ de la production annuelle japonaise de 700 000 volumes de mangas sont publiés en anglais, « en partie à cause du processus de traduction long et difficile ainsi que du nombre limité de traducteurs » explique Orange. Avec l’intelligence artificielle, elle ambitionne de produire 500 mangas en anglais par mois, soit 5 fois plus que la capacité actuelle de l’industrie. En 5 ans, cela représenterait 50 000 volumes ! Et l’entreprise prévoit également d’autres langues.
Le vice-président marketing d’Orange est conscient du défi et des particularités de la traduction de bande-dessinée. En effet, les phrases sont très courtes, dans un langage courant et souvent plein d’argot, rendant l’exercice difficile pour une IA. A cela s’ajoute le sens d’écriture différent en japonais (souvent écrit verticalement) et en anglais. Il y a aussi à traduire de nombreuses onomatopées japonaises. Orange a annoncé avoir levé 2,92 milliards de yens (19 millions de dollars) de financement. Dans les investisseurs, on trouve en principal éditeur Shôgakukan et 9 groupes de capital-risque, dont JIC Venture Growth Investments, soutenu par le gouvernement japonais. L’entreprise pense qu’elle aiderait également l’industrie à lutter contre le piratage, une perte estimée à 5,5 milliards de dollars par an selon la Content Overseas Distribution Association.
Karyn NISHIMURA, correspondante à Tokyo, dans un article dans Libération mais aussi sur sa chaîne YouTube s’est inquiétée de l’avenir du manga, bien culturel japonais et non un simple « produit commercial de bas étage », mais aussi du chômage à craindre pour la chaîne de l’édition des mangas à l’étranger incluant les traducteurs, les lettreurs et les graphistes mangas, ces métiers méconnus.
La plateforme emaqi qui se chargera, dès cette année, d’inonder de centaines de mangas par mois les États-Unis et les pays anglo-saxons pourrait à terme complètement court-circuiter les éditeurs nationaux avec aucune idée de la qualité du travail effectué par Factory, « l‘usine » à traduire les mangas à la chaîne où les traducteurs humains seront relégués à un simple rôle de correcteur… Enfin, la journaliste pointe du doigt aussi le manque de transparence. Quelles sources ont alimenté l’intelligence artificielle pour apprendre à traduire les mangas ? N’y aurait-il pas eu violation des droits d’auteurs ?
A travers les deux exemples de Cyberpunk Momotarô et Orange, on voit que l’usage de l’intelligence artificielle pose de nombreuses questions et qu’il est urgent de trancher. Il ne se cache pas qu’une histoire d’art et d’artistes… On a tous notre mot à dire et ne pas soutenir les créations issues du non-respect des droits d’auteur. Avec l’IA, c’est un risque culturel plus global qui ne se limite pas qu’à la traduction et aux mangas. Cela nous amène aussi au doublage par exemple où des comédiens de doublage se mobilisent avec #TouchePasMaVF.
Sources et liens utiles :
- Documentaire sur Arte « Le dessous des images : l’IA, nouvelle mine à mangas ? »
- Compte Twitter/X de Rootport : @rootport
- Article de The Japan Times (anglais) « Japanese startup to use AI to translate manga »
- Vidéo YouTube « Mangas sous la menace de la traduction par l’intelligence artificielle » de Karyn NISHIMURA
- Site officiel de l’entreprise Orange : https://orange.inc/
