Hello,

La chaleur tape fort à Paris, c’est dur de se mettre au travail, mais l’IA n’attend pas ! Aujourd’hui, on parle du fonctionnement de perplexity et de comment réaliser un film complet à 100% avec l’IA !

Théo

Comment fonctionne Perplexity (techniquement) ?

Cet article rentrera un peu plus dans le fonctionnement “caché” pour comprendre comment un LLM est capable de chercher et d’utiliser des infos sur internet.

Il est la suite d’un premier article publié dans la newsletter suivante :

Je ne reviendrai pas sur le fonctionnement d’un LLM, je l’ai déjà détaillé dans cette newsletter :

Ma ressource principale est cet article directement écrit et publié par Perplexity sur leur blog. Il date de novembre 2023, mais est encore d’actualité sur le fonctionnement de Perplexity AI (pas forcément sur ses résultats, qui se sont améliorés).

Cette édition ne rentrera pas dans les techniques précises de Perplexity, car elles ne sont pas divulguées, mais vous permettra (j'espère) de comprendre le processus.

Avant de commencer, pourquoi créer un LLM capable d’utiliser des infos sur internet ?

C’est vrai, on pourrait se dire que ChatGPT ou Claude suffirait par exemple. Sauf que les LLMs “classiques” ont deux limitations.

1- Ils hallucinent de fausses informations.
2- Leurs connaissances ne sont pas à jour.

Certaines personnes s’étonnent de ce deuxième point. “Il suffirait d’entraîner en direct l’IA avec les news qui sortent”

Sauf que malheureusement, c’est impossible. Parce que ce qui a le plus de valeur dans l’IA, c’est pas la quantité de données, mais sa qualité. Et vouloir entraîner en direct un LLM, ça veut dire détériorer ses données et donc ses résultats. (C’est entre autres pour ça qu’on voit OpenAI signer des deals avec tous les grands médias dans le monde : avoir une source de données de qualité pour mettre à jour ses modèles régulièrement)

Et face à ce problème, il y a deux solutions potentielles.

1- Faire comme OpenAI : Tendre vers la perfection en ayant une IA toujours meilleure avec des données toujours meilleures.

2- Accepter de ne pas posséder ni le modèle, ni les infos. Mais se concentrer sur relier les deux. C’est ce que fait Perplexity.

D’ailleurs, ça peut paraître fou quand on s’en rend compte.

Tout ce que fait Perplexity, une boite valorisée 3 milliards et l’une des plus à la mode en ce moment, c’est relier un LLM (Mistral, Llama ou autre) avec internet.

Bon, c’est un peu plus compliqué. Mais juste un peu. Parce qu’en fait, il y a trois étapes :

1- Utiliser un bon LLM. Dans leur article, Perplexity parlent de Mistral 7B et Llama 70B (car ils sont opensource). Depuis, si vous utilisez leur version payante, vous pouvez choisir le LLM (GPT-4o, Claude 3.5, etc..)

2- Créer un index de recherche performant. Vous voyez Google ? Bon, imaginez Google mais sans SEO, et avec pour objectif de récupérer uniquement des informations de bonne qualité. Voilà.
D’ailleurs, c’est pas si complexe de créer un moteur de recherche. Démo dans cette très bonne vidéo de V2F :

3- Finetuner le LLM. Pour arriver à leurs propres LLMs capable d’utiliser des informations sur internet grâce à leur index de recherche, il a fallu finetuner les LLMs utilisés pour qu’ils incorporent et utilisent les informations dans leurs réponses.

C’est tout.

Vous pouvez recréer Perplexity.
Enfin, si vous avez les ingénieurs de génie et le marketing.

Parce que le résultat de leurs années de travail, ça donne ça :

Voici comment créer un film seulement avec de l’IA.

Il y a quelques jours, Toys“R”us a sorti un film d’une minute sur leur mascotte, Geoffrey la girafe. Sauf qu’il y a un twist.

Cette vidéo a été réalisée à 100% par l’IA.
Bon, en fait, à 90%. La musique a été composée par des humains, et c’est “dommage” ! Parce qu’ils auraient pu aller jusqu’au bout, mais on en reparle après.

Vous pouvez la voir en cliquant sur l’image plus haut, ou sur ce site : https://www.toysrus.com/pages/studios

Et c’est vrai que depuis peu, on a enfin toutes les technologies pour créer un film seulement avec l’IA. En fait, ça fait moins de 15 jours.

Mais ça y est, c’est possible.
Et je vais vous détailler comment :

PS : Si la stratégie derrière cette vidéo vous intéresse, j’en parle plus en détail dans ce post Linkedin

Partie 1 : L’image

La première étape, c’est le plus important : l’image, ou plutôt la suite d’image qui forment la vidéo.

Dans le cas de Toysrus, l’agence derrière la vidéo fait partie des rares privilégiés à avoir accès à Sora, l’IA d’OpenAI.

Sauf que depuis peu, on a une alternative du même niveau, et gratuite !

Lumalabs, dont je vous parlais dans cette newsletter :

Pour vous la faire courte, c’est du text-to-vidéo, ou vous avez simplement à décrire votre idée, et une vidéo de quelques secondes se génèrent. En quelques secondes. Et gratuitement. Pardon, je bloque là-dessus, mais c’est complètement fou.

Vous pouvez également vous servir de Midjourney pour créer des premières images !

Pour l’animation, Runway est également une bonne alternative depuis la sortie de leur dernière IA, Gen-3 !

Partie 2 : La voix

Ici, c’est très simple.

Utilisez ElevenLabs. C’est la meilleure IA de génération de voix. Et de loin. De très très loin. On fera une édition sur la technique derrière dans une prochaine newsletter.

Et si vous voulez créer un avatar dans votre film, utilisez Heygen ! (Mais reliez le à ElevenLabs, car ils ne sont pas très bons en génération de voix)

Partie 3 : Le sound Design (et la musique)

Bon.
Je sais que je parle beaucoup d’ElevenLabs.

Mais ils sont juste trop forts 😅 

Ils ont sorti il y a quelques semaines un modèle permettant de générer n’importe quel son. Il suffit de le décrire.

Vous avez des exemples sur ce site : https://elevenlabs.io/sound-effects

Pour la musique, il suffit de passer faire un tour sur Suno et de générer le son de vos rêves.

Pour une musique sans paroles, il suffit de cocher l’option “instrumental” au moment de la génération de votre musique, et vous aurez un très bon résultat !

J’ai même créé un album de musique grâce à Suno, je détaillais ça dans cette newsletter :

Partie 4 : Le montage

Bon. On a tous les ingrédients pour notre vidéo : l’image, la voix, la musique. Maintenant, il suffit de les assembler ensemble. Et c’est là que ça fâche. Malheureusement, on a pas encore d’IA capable de venir aider sur le montage, car c’est trop complexe. Enfin, c’est partiellement vrai.

Parce qu’on a quand même plusieurs joujous pour s’aider et offrir de nouvelles possibilités.

Pour les sous-titres, Submagic reste leader incontesté.

Et si vous voulez un montage hollywoodien, vous pouvez utiliser WonderDynamics.

Alors oui, je sais, c’est plutôt pour transformer un humain en alien dans une vidéo. Ca rentre pas trop dans notre exemple du jour avec l’objectif de faire un film 100% IA.

Mais c’est fun. Et ça vaut le coup de tester. Sauf que j’ai jamais l’occasion d’en parler. Alors j’en profite.

Bref.
Cette newsletter est déjà longue, et je suis en retard pour la publier, alors il est temps de conclure.

Non, on a pas encore de bouton magique pour décrire un film et qu’il apparaisse par magie (même si je connais des gens qui travaillent dessus, et c’est fou. Bref, je m’éparpille).

Et non, l’IA ne vas pas remplacer les métiers créatifs. Au contraire.

Tous ces outils, c’est de nouvelles options mises entre les mains des créateurs pour qu’ils puissent imaginer de nouvelles choses et les partager.

C’est ouvrir la possibilité à des débutants passionnés de créer de “vrais” films sans avoir le budget ou l’expérience.

C’est permettre à des millions de personnes de rêver d’une nouvelle manière.

Et si ça vous gêne, c’est que vous avez peut-être oublié comment rêver.
Alors faites une petite pause, et revenez en enfance.

Pour une fois, si on profitait de tout ces outils merveilleux pour s’amuser ?

Et voici pour aujourd'hui !

On se retrouve {jour} !

En attendant, dis moi-ce que tu as pensé de la newsletter d'aujourd'hui !

PS : Cette newsletter a été écrite à 100% par un humain. Ok, peut-être 80%.