Les IA auront désormais une mémoire infinie.

Sponsored by

Hello,

Bienvenue aux nouveaux membres de FreeA, la newsletter pour découvrir les dernières avancées dans l'IA et les comprendre au-delà des titres aguicheurs.

On est maintenant 7556.

Que tu sois passionné, effrayé ou curieux de l'IA, tu vas pouvoir mieux comprendre et maîtriser cet outil aussi puissant que dangereux.

Et c'est parti pour la plongée !

Théo

Cette newsletter t'as été transférée ? Reçois les prochaines en t'inscrivant ici

Dans l'email d'aujourd'hui :

• Les IA auront désormais une mémoire infinie

• OpenAI reprend sa place de leader avec GPT-4 Turbo

Les IA auront désormais une mémoire infinie

Les LLM peuvent-ils gérer un contexte illimité ? Les chercheurs de Google ont introduit un nouveau concept appelé Infini-attention dans leur dernier article, permettant aux LLM de traiter des entrées de n'importe quelle longueur.

Jusque là, on utilisait la méthode des transformers traditionnels (aussi issue de Google) : Ils réinitialisent leur mémoire d'attention après chaque fenêtre de contexte pour gérer les nouvelles données, perdant ainsi le contexte précédent.
Par exemple, dans un document de 500 000 tokens divisé en fenêtres de 100 000 tokens, chaque segment commence à zéro sans mémoire des autres. C’est aujourd’hui la grosse problématique dans l’utilisation des IA avec un grand nombre de données.

Cette nouvelle méthode conserve et compresse la mémoire d'attention de tous les segments précédents. Cela signifie que dans le même document de 500 000 jetons, chaque fenêtre de 100 000 jetons maintient l'accès au contexte complet du document.

Le modèle compresse et réutilise les états clés-valeurs à travers tous les segments, lui permettant de tirer des informations pertinentes de n'importe quelle partie du document. Si vous êtes perdus, j’ai expliqué le fonctionnement de ces différentes parties techniques dans cette newsletter :

Pour se rendre compte de quel nombre de tokens cette méthode permet de traiter :

• Modèle 1B : Jusqu'à 1 million de jetons.

• Modèle 8B : Jusqu'à 500 000 jetons de longueur.

  Points forts : Efficacité de la mémoire : Empreinte mémoire constante quelle que soit la longueur de la séquence.

Points forts :

• Efficacité de la mémoire : Empreinte mémoire constante quelle que soit la longueur de la séquence.

• Efficacité computationnelle : Réduit la surcharge computationnelle par rapport aux mécanismes standards.

• Évolutivité : S'adapte à des séquences très longues sans nécessité de réentrainement depuis le début.

C’est important au vu de la taille croissante du nombre de tokens pris en compte par les modèles, et du nombre de données fournies pour obtenir de meilleurs résultats. C’est donc une super nouvelle.
Par contre, la course à toujours plus de tokens n’est pas forcément la meilleure chose : plus de tokens veut dire plus de ressources nécessaire, que ce soit en énergie ou en hardware. C’est Nvidia qui se frotte les mains..

Mon premier sponsor grâce à Beehiiv ! Et en plus, c’est l’une de mes newsletters favorites sur l’IA. Alors si ça vous intéresse, ou juste pour me soutenir (je suis rémunéré au nombre de clicks), allez voir The Rundown AI !

Get smarter on AI.

What’s the secret to staying ahead of the curve in the world of AI? Information. Luckily, you can join early adopters reading The Rundown– the free newsletter that makes you smarter on AI with just a 5-minute read per day.

Sign up with one click

OpenAI reprend sa place de leader avec GPT-4 Turbo

OpenAI a lancé GPT-4 Turbo, une version mise à jour de son IA. Cette version est disponible pour les utilisateurs payants de ChatGPT, que ce soit un abonnement Plus, Team, Enterprise ou API.

GPT-4 Turbo prend en charge jusqu'à 64k tokens pour les requêtes, une augmentation significative par rapport aux 26k tokens pris en charge par les modèles précédents.

Les mises à jour clés dans GPT-4 Turbo incluent capacités améliorées en codage, raisonnement logique, écriture et calculs mathématiques.

Les réponses sont plus directes, moins verbeuses et utilisent un langage plus conversationnel. Le modèle a une mise à jour de la limite de connaissances en décembre 2023, fournissant des informations plus actuelles que la précédente limite de GPT-4 en septembre 2021.
Les mesures de performance montrent que GPT-4 Turbo surpasse les versions précédentes : Il a atteint 87,6% sur le benchmark HumanEval, indiquant une amélioration dans la synthèse de code et les capacités de résolution de problèmes.

Sur le classement Arena, GPT-4 a repris la première place, démontrant ses capacités supérieures de codage et de raisonnement à travers diverses évaluations.

Le lancement de GPT-4 Turbo marque un effort crucial pour garder son avance sur ses concurrents comme Anthropic, Cohere et Google qui réduisent l'écart. Même si tous attendent GPT-5, annoncé comme une révolution, OpenAI continue de montrer des améliorations sur les modèles déjà disponibles.

Et voici pour aujourd'hui !
Comme vous avez pu le voir, pas de newsletter lundi, j’ai déconnecté quelques jours en famille.

Et pas non plus d’album de musique IA pour aujourd’hui : Spotify met 5 jours avant de publier les musiques, donc ce sera pour la semaine prochaine.
(Spoiler : l’album est incroyable)

On se retrouve lundi !

En attendant, dis moi-ce que tu as pensé de la newsletter d'aujourd'hui !

La remarque de la semaine dernière :

Merci Hicham pour la remarque, même si les schémas ne sont pas mon fort, j’essaierai de mieux illustrer mes analyses les prochaines fois !

PS : Cette newsletter a été écrite à 100% par un humain. Ok, peut-être 80%. 

Envie de faire connaître votre entreprise, produit, offre d'emploi ou évènement auprès de +7000 passionnés d'IA ? Envoyez moi un mail ici