Hello,

Aujourd’hui, on parle d’OpenAI avec leur nouvelle IA o1 et tout ce qu’il faut savoir dessus, d’un papier de recherche sur la créativité des IA (par rapport aux humains) et du problème de ne pas avoir assez de femmes dans les équipes de tech.

J’ai manqué de temps pour faire la newsletter lundi, et je ne voulais pas la raccourcir. En ce moment, je souhaite réaliser des articles plus longs et complets sur des sujets plus intemporels (comme les armes la dernière fois), sauf que ça prend plus de temps. Et que trop de sujets me font de l’oeil.

Alors je réfléchis à revenir sur une fréquence hebdomadaire, au moins temporairement, le temps d’avancer un peu sur les nombreux projets en cours pendant cette rentrée.

Théo

PS : Merci à mon ami Lilian Delaveau pour avoir répondu à mes questions sur o1.

Vous pensiez que l’IA n’était pas créative ?

Ce papier de recherche montre qu’elle l’est plus que vous.

Des chercheurs de Stanford ont conduit une étude pour comparer les idées de recherches de LLMs (IA de langage comme ChatGPT) et celles d’experts en LLMs (pour être plus précis, d’experts en traitement automatique du langage)

Le problème, c’est qu’ils ont atteint une conclusion étonnante.

Les IA sont plus créatives que les humains.
Sans différence dans la faisabilité des idées.

Voici comment s’est passé leur process d’étude :

Plus de 100 experts ont participé à la génération et à l’étude des idées.
49 idées étaient évaluées, avec 3 possibilités :

• les idées générées par IA

• les idées générées par des humains

• les idées générées par une IA et modifiées par un humain

Le résultat, c’est que les idées générées par IA étaient significativement plus créatives et nouvelles que celles des humains.

Pour arriver à ce résultat, les experts basaient la notation des idées sur 7 critères :

• L’originalité

• L’excitation

• la faisabilité

• L’impact possible

• La qualité au global

Par contre, n’attendez pas que l’IA fasse un meilleur brainstorming que vous juste en claquant des doigts :
L’étude a utilisé plusieurs techniques avancées de prompting comme le RAG ou la surgénération. C’est aussi pas mal de travail.

Et puis les idées générées par IA présentent une grosse limite : le manque de diversité. Seulement 5% des idées générées par l’IA étaient uniques, toutes les autres ont été présentées au moins 2 fois. (Même si pour cette problématique, la question du prompting et des données d’entraînement est très importante)

Mais ça reste un papier de recherche complètement fou, qui veut dire deux choses :

1- Oui, l’IA est créative. Et plus que vous.

2- L’IA peut aider les chercheurs à générer de nouvelles idées d’avancées scientifiques

En bref : l’IA est un outil avec encore plus de potentiel que beaucoup le pensent.

OpenAI sort o1, une nouvelle IA

Tout ce qu’il faut savoir dessus

Il y a une semaine, OpenAI a annoncé la sortie d’une nouvelle IA, o1.

Tout le monde s’attendait à ce que ce soit une nouvelle évolution de GPT-4, ce fameux GPT-5 surpuissant que tout le monde imagine, sauf que ça n’avait rien à voir.

En fait, o1 est la première IA d’une nouvelle famille que lance OpenAI : des IA lentes.

Des IA prenant le temps de “réfléchir” pour être capable de résoudre des problèmes complexes.

Et selon un ami développeur, Lilian Delaveau, c’est un exploit.

Parce qu’o1 est basé sur un entrainement et une réflexion en COT (ou chain-of-thoughts). Plutôt que de directement vouloir générer la réponse, o1 cherche à générer le raisonnement qui va amener à la réponse.

Si vous voulez creuser le COT, j’en parle dans mon guide sur le prompting.

Sauf que le risque avec de si longs COT, c’est que la réflexion dégénère et n’apporte plus de valeur. Que l’IA se “perde dans ses pensées”.

Et d’ailleurs, c’est parfois ce qui arrive, au moins partiellement ; il peut complètement changer de sujet ou dériver. Exemple ci-dessous vécu tout à l’heure.

Et c’est normal.
Ca demanderait des données d’entraînement et des ressources complètement dingues pour arriver à des bons résultats en utilisant ce COT. Ce serait même plus simple d’utiliser un modèle à énergie (on en parle une prochaine fois) !

Impossible que quelqu’un le fasse… non ?

Impossible n’est pas OpenAI.

En partant des méthodes déjà testées sur STaR, leur modèle dont il y avait eu des leaks il y a quelques mois, ils sont parvenues à entrainer leur modèle o1 avec un travail titanesque.

Parce que ce type de modèle ne s’entraîne pas avec des données d’entraînement classiques.

De ce que j’en ai compris, on va envoyer au modèle des questions dont on connait déjà la réponse. Ensuite, on lui demande de générer la réponse ET la justification associée à cette réponse.

Sauf qu’on ne peut pas vérifier chaque justification, ça prendrait bien trop de temps. Alors on considère que si la réponse est bonne, la justification doit l’être aussi.

Et en laissant le modèle créer ses propres justifications (au lieu de lui fournir déjà faites, comme c’était le cas avant), on le force à s’améliorer et “prendre le temps de réfléchir”, même si ça coute cher.

Le résultat, c’est o1, une nouvelle IA ayant des performances complètement différentes de ses concurrents.

Beaucoup plus lent, plus cher, mais capable de résoudre des problèmes complexes et bien meilleur sur des tâches nécessitant de la réflexion.

En vrac, quelques exemples de ce qu’on a trouvé depuis une semaine (de + en + bluffant) :

Répondre à une question complexe

Créer un scrapper basé sur o1

Créer une application météo fonctionnelle

Rédiger le code d’un PHD en une heure

Vous l’avez peut-être vu, o1 est aussi souvent utilisé en combinaison avec cursor, un éditeur de code boosté par l’IA dont j’ai parlé la semaine dernière.

Parce que la faculté de “raisonner” d’o1 se combine parfaitement avec cursor, permettant de créer des structures fonctionnelles pour le code.

En parlant de cursor, je prépare un challenge dessus pour que vous compreniez le phénomène, comment vous en servir et pourquoi on en parle depuis quelques semaines alors que ça existe depuis +1an.

Ca sortira d’ici 10-15 jours !

Et voici pour aujourd'hui !

On se retrouve lundi (ou jeudi prochain, selon vos réponses au premier sondage) !

En attendant, dis moi-ce que tu as pensé de la newsletter d'aujourd'hui !

La semaine dernière, j’ai eu beaucoup de très bons retours sur l’article sur la guerre, qui vous a beaucoup plu. J’essaierai de rédiger plus d’articles dans ce style les prochaines semaines, et je referai peut-être appel à Nathanaël, dont le style vous a plu !

Mais surtout, j’ai eu beaucoup de demandes pour faire un article plus long, voire une édition complète sur le rapport entre l’IA et la santé.

J’ai plusieurs fois pu le survoler sur différents aspects, mais jamais le creuser dans le détail, et j’ai l’impression qu’il y a une vraie demande de votre part.

Aussi, j’aimerai faire les choses biens, et j’ai besoin de votre aide : j’aimerai discuter avec quelques personnes travaillant dans le milieu médical ou la recherche médical ayant observé (ou non) des changements avec l’arrivée de l’IA.

Si vous vous reconnaissez ou que vous avec la personne parfaite en tête, répondez simplement à ce mail pour qu’on en discute.

Merci par avance !

PS : Cette newsletter a été écrite à 100% par un humain. Ok, peut-être 80%.

Seeking impartial news? Meet 1440.

Every day, 3.5 million readers turn to 1440 for their factual news. We sift through 100+ sources to bring you a complete summary of politics, global events, business, and culture, all in a brief 5-minute email. Enjoy an impartial news experience.

Join for free today!