Hello,

Bienvenue aux 50 nouveaux membres de l'IA Émergée, la newsletter pour découvrir les dernières avancées dans l'IA et les comprendre au-delà des titres aguicheurs.

On est maintenant 7600 !

Que tu sois passionné, effrayé ou curieux de l'IA, tu vas pouvoir mieux comprendre et maîtriser cet outil aussi puissant que dangereux.

Et c'est parti pour la plongée de 10 minutes !

Théo

Cette newsletter t'as été transférée ? Reçois les prochaines en t'inscrivant ici :

Dans l'email d'aujourd'hui :

• La newsletter se transforme

• Aidez-moi à améliorer mes posts !

• Et si vous donnez plusieurs livres de contexte à votre IA ?

• Comment j'ai automatisé l'écriture de la newsletter

• L'IA de google est raciste

• Ces 3 étudiants ont déchiffré des parchemins brûlés depuis 2000 ans grâce à l'IA

• Google lance Gemna, le meilleur modèle opensource de sa taille

La semaine prochaine dans l'IA Émergée :

• 4 manières d'intégrer l'IA à son entreprise

• Comment mettre en place un système de surveillance intelligente devant chez soi grâce à l'IA (Tuto pas à pas)

Tu peux voter pour les prochains sujets de newsletter ! Ca se passe ici

La newsletter se transforme

Aujourd'hui, FreeA devient l'IA Émergée. Mais au-delà de ça, la newsletter se transforme complètement.

Déjà, la fréquence augmente. Une édition le lundi à 17 heures, et une autre le jeudi à 17 heures. Le but est de passer à 3 éditions par semaine d'ici quelques mois. Mais surtout, le format n'a plus rien à voir.

Avant, le format, les sujets, le style, rien n'était cadré. C'était bien pour faire des tests, mais c'est limité. Alors j'ai structuré. Donné une forme, un cadre à la newsletter. Et c'est ce cadre qui va me permettre de parler de sujets différents. C'est la contrainte qui me donne une liberté.

Alors à chaque édition, vous aurez :

• Un sujet principal

• Quelques news importantes développées

• Des tests d'outils (parfois)

• Des contenus plus courts sur l'IA

• Des tutos pas-à-pas

• Des recommandations de personnes / contenus à suivre (parfois)

C'est une grosse mise à jour, qui va demander pas mal de travail, mais la valeur délivrée n'en sera que plus grande. Alors c'est une bonne nouvelle.

Aidez-moi à améliorer mes posts !

J'ai créé une communauté whatsapp pour que vous puissiez m'aider à améliorer mes posts.

Ca passe par :

• Voter pour les meilleures idées

• Voter pour les meilleures accroches

• Échanger sur le contenu, la forme et tout ce qui concerne les posts

Ca ne s'adresse pas à tout le monde, seulement aux personnes qui ont envie de s'impliquer dans le process de création et de m'aider.

Seulement pour les intéréssés, voici le lien :

https://chat.whatsapp.com/KVYHQAtpYTx1oHoFqGee32

Et si vous donnez plusieurs livres de contexte à votre IA ?

Qu'est ce qui est nouveau ?

Google lance Gemini 1.5, un modèle IA avec une fenêtre de contexte de 1 million de tokens, ouvrant la voie à une compréhension et un traitement des données révolutionnaires.

Tout ce qu'il faut savoir dessus :

Gemini 1.5 est une mise à jour de Gemini. Cette IA se distingue par sa fenêtre de contexte étendue, capable de traiter jusqu'à 1 million de tokens en une seule fois. Cette capacité lui permet de traiter des quantités massives d'informations, telles qu'une heure de vidéo, 11 heures d'audio, plus de 30,000 lignes de code, ou environ 700,000 mots​.En comparaison, GPT-4, était limité à 100 000 tokens.

Cette mise à jour va être très utile pour donner une grande quantité d'informations à l'IA avant de lui demander de se servir d'une partie uniquement. Cette capacité va potentiellement le RAG (Retrieval Augmented Generation), une technique aujourd'hui très utilisée lorsque l'IA doit être capable de réutiliser des informations fournis.

Et on s'est en plus rendu compte que Gemini est meilleur pour retrouver des informations précises dans un texte, là où ChatGPT et Claude ont plus de difficultés.

Gemini Advanced (la version avec 1 million de tokens de mémoire) n'est actuellement disponible qu'aux Etats-Unis, il faut donc utiliser un VPN. De plus, l'abonnement est de $20 / mois, mais Google propose 2 mois d'essai gratuit.

Comment j'ai automatisé l'écriture de la newsletter

J'ai automatisé ma newsletter avec ChatGPT en un week-end.Voici comment :

Un samedi, en écrivant ma newsletter, j'ai eu une idée : Automatiser son écriture avec ChatGPT.

En gardant mon style.

Et je savais déjà quelle forme je voulais que prenne cette automatisation :

Je parle à l'IA du sujet et de l'angle à adopter dans un message vocal.Elle me répond une V1 de texte de très bonne qualité.

Alors au départ, j'ai voulu faire un système un peu complexe.Un système d'All About AI.

Créer plusieurs agents autonomes s'améliorant mutuellement.

Pour ceux que ça intéresse, voici de quoi je suis parti au départ :

Mais ça n'allait pas.

Avec cette méthode, le résultat est très bon.Mais pas dans mon style.

Alors je me suis tourné vers une autre solution :

Finetuner un modèle GPT-3.5.

Le finetuning, c'est prendre une IA qui existe déjà et lui dire :"Voici 50 livres de Stephen Hawking. Tu savais déjà écrire. Grâce à ces livres, écris comme Stephen Hawking."

Bon.C'est un peu plus compliqué, mais vous avez l'idée.

Je ferai un jour une newsletter sur le finetuning, et comme facilement finetuner votre propre IA (que ce soit pour votre entreprise ou votre utilisation perso). Si ça vous intéresse, je vous laisse voter pour le sujet ! Ca se passe ici

C'est ce que j'ai voulu faire avec ma newsletter.Envoyer 50 exemples et dire à l'IA d'écrire comme moi.

Sauf qu'elle a refusé.

"Théo, tes newsletters ne se ressemblent pas du tout. Ne me demande pas un miracle !"

Bon, elle ne l'a pas dit comme ça.

Mais c'est le cas : à part les news (et encore), mes newsletters étaient désorganisées, jamais de la même longueur et pas toujours dans le même style.

Alors après plusieurs heures de tests, négociations et concessions... j'ai dû me rendre à l'évidence.Il me fallait abandonner le finetuning.

J'étais déçu. Fatigué.J'en avais marre.

Alors j'ai demandé à ChatGPT quoi faire.

"Voici mon problème. Aide moi."

J'avais 0 espoir. Pourtant, il m'a répondu.

"Transforme complètement ta newsletter.Sépare là en plusieurs parties avec un format identique chaque semaine. "

Il avait raison.Et je me suis senti bête.

J'étais sauvé ! Et d'ailleurs, c'est pour ça que la newsletter ressemble désormais à ça !Mais je ne pouvais toujours pas faire de finetuning.

Forcément : j'ai changé la newsletter, donc je n'ai plus d'exemples pour entraîner l'IA.

Alors temporairement, je suis revenu à une vieille méthode.Plusieurs prompts très détaillés et des GPTs que j'ai automatisé avec Make.

(Si ça ne vous parle pas, allez voir la newsletter sur les automatisations)

Et après beaucoup d'erreurs, de corrections et d'heures de travail, l'automatisation fonctionne.

Elle est plus simple que prévu, je dois relire les textes de ChatGPT, mais elle fonctionne.

Et ça reste ouf.Parce qu'en 2 jours de travail, j'ai gagné plusieurs heures par semaine.

Je n'ai qu'à décrire le sujet, et l'automatisation me donne une V1 très aboutie.

Bon, j'ai du abandonner les messages vocaux : je n'avais pas la foi de me créer un bot whatsapp ou télégram juste pour ça.

A la place, j'envoie un mail en 2 phrases sur le sujet dont je veux parler.Un premier prompt reformule ces phrases pour préparer le texte au bon format. Puis, un GPT entraîné à la main prend le relai et transforme cette structure de texte en "vrai" texte. Un autre prompt repasse sur ce texte pour le relire et améliorer légèrement le texte.

Puis je reçois le résultat par mail, et je n'ai qu'à le copié-collé dans mon brouillon sur Obsidian.

Ensuite, j'ai refait le même process pour chaque format différent de la newsletter. Un nouveau premier prompt et un nouveau GPT. (Et les GPTs, ça prend du temps.)

Mais le résultat est là. Je gagne du temps sur l'écriture, donc je peux me concentrer sur l'apport de valeur.

Pense à partager la newsletter, c'est ce qui me soutient le plus !

Et laisse un like si toi aussi tu as toujours rêvé d'automatiser la partie ch*ante de ton travail, mais que c'était impossible.

Car l'IA rend tout possible.

(ou presque)

L'IA de Google est raciste.

Et le problème vient de nous, les humains.

Depuis quelques jours, on voit des tweets bizarres. 

Gemini se trompe lorsqu'elle génère des personnalités historiques.

Ex : Générer le "père fondateur des US" renvoie des images de personnes noires ou indiennes au lieu de renvoyer une image de George Washington.

Mais alors, d'où vient le problème ?

Les IA génératives créent à partir de leurs données d'entraînement.

Le problème, c'est que ces données peuvent être biaisées.

Alors l'IA fournit des résultats stéréotypés :

- Des images de femmes hyper sexualisées

- Uniquement des hommes blancs au prompt "job à statut élevé"

Pour contrer ça, les ingénieurs travaillant sur ces IA ont deux solutions :

1- Avoir des meilleures données. Ca coûte cher. 

Google paye 60 millions par an à Reddit pour utiliser leurs contenus.

2- Modifier l'IA et ses paramètres pour contrer les biais.

C'est moins cher et plus rapide.

Mais c'est risqué : on peut créer le biais opposé.

Et c'est probablement ce qui est arrivé à Gemini.

Les ingénieurs de Google ont voulu contrer les résultats stéréotypés.

Mais le résultat, c'est un biais opposé.

Pour corriger le problème, Google a mit Gemini sur pause. 

Et vu comme ça, ça paraît anecdotique.

Une simple erreur de Google.

Sauf que ça rappelle une chose :

Les IA répliquent les biais humains.

Si les biais de l'IA nous choque, 

C'est qu'il est peut-être temps d'arrêter les nôtres.

Ces 3 étudiants ont gagné $700 000 en déchiffrant des parchemins brûlés depuis 2000 ans grâce à l'IA.

Pourtant, il y a quelques semaines, ils ont failli tout abandonner.

Je vous raconte :

En mars, 2 américains riches et fous lancent un concours.

Des centaines de papyrus sont conservés depuis 1750.

Les lire doublerait notre connaissance de l'Antiquité.

Le problème : ces papyrus ont été brûlés dans l'éruption du Vésuve.

Une technique a été trouvée pour les déchiffrer.

Elle se base sur des images X-ray.

Sauf que cette technique n'est pas au point.

Alors ces deux américains promettent $850 000.

La condition : déchiffrer 4 passages de 140 caractères.

Tout de suite, des recherches s'organisent.

Mais quelques personnes se démarquent.

Enfin, après plusieurs mois de recherche intensive.

Le 3 octobre, Julian Schilliger gagne $10 000.

Cet étudiant en robotique à Zürich a segmenté les papyrus.

C'est grâce à lui si on peut virtuellement dérouler le papier.

Le 12 octobre, Luke Farritor gagne $40 000.

A 21 ans, le stagiaire de SpaceX a été la première personne a lire un mot complet.

"Violet".

Et le troisième membre de cette équipe a également gagné le 12 octobre.

En lisant plusieurs colonnes de texte, mais aucun mot complet, il est arrivé 2e.

"Seulement" $10 000 pour Youssef, un étudiant en PhD à Berlin.

Et pour gagner le grand prix, ils ont associé leurs forces.

Une super team prête à empêcher $700 000 et faire avancer la science.

Chacun des trois a travaillé de son côté.

Ils ont conçu des modèles d'IA se soutenant mutuellement.

Julian a créé un modèle d'auto-segmentation complètement fou, offrant plus de texte à lire.

Un modèle de détection d'encre a facilité la lecture.

Et enfin, une IA entraînée à été capable de déchiffrer plus de 2000 caractères.

Mais à ce moment là, ils ne le savent pas encore.

Parce que quelques semaines avant, rien n'avait été déchiffré.

Et même s'ils sont tous les trois des génies dans leur domaine, ils s'attaquaient à une tâche impossible. Rien ne laissait présager leur réussite.

Forcément, la question de l'abandon se pose...

Mais après être arrivés aussi loin, ils ne pouvaient pas s'arrêter.

Ils se sont surpassés, et ont changé l'archéologie à jamais.

Julian, Youssef et Luke ont bien mérité leurs $700 000 dollars.

Car grâce à eux et à l'IA, nous allons redécouvrir notre histoire.

Google lance Gemna, le meilleur modèle opensource de sa taille

Google vient de dévoiler Gemma, une nouvelle collection de petites IA construites à partir des mêmes recherches et technologies utilisées pour créer les modèles Gemini.

Caractéristiques clés de Gemma :

- Variants du modèle : Gemma est disponible en versions à 2 milliards et 7 milliards de paramètres.

- Utilisation commerciale : Entièrement autorisé pour les applications commerciales.

- Fenêtre de contexte : Les deux modèles ont une fenêtre de contexte de 8192 tokens (6000 mots)

- Performance : Chacun des modèles est le meilleur pour son nombre de paramètres

L'architecture de Gemma intègre plusieurs avancées significatives par rapport aux IA traditionnelles, d'où sa meilleure performance.

Les innovations comprennent :

- Attention Multi-Requêtes (on l'a vu la semaine dernière)

- RoPE

- GeGLU

- RMSNorm

Gemma est accessible sur des plateformes comme Hugging Face, Kaggle et Vertex AI.

Quelques ressources supplémentaires de sujets pour aller plus loin :

- Reddit permet à Google d'utiliser le contenu de sa plateforme pour entraîner ses IA contre 60 millions par an.

- Nvidia a gagné 277 milliards de valeur en une seule journée après l'annonce de leurs résultats du Q4 2023.

Et voici pour aujourd'hui !

On se retrouve jeudi!

En attendant, dis moi-ce que tu as pensé de la newsletter d'aujourd'hui !

PS : Cette newsletter a été écrite à 100% par un humain. Ok, peut-être 80%.

Envie de plus de contenu sur l'IA ? Suivez-moi sur Linkedin

Envie de faire connaître votre entreprise, produit, offre d'emploi ou évènement auprès de +7000 passionnés d'IA ? Envoyez moi un mail ici