L'IA pédophile de Meta

Hello,

Microsoft dévoile deux modèles de folie, et l’Allen Institute sort une IA 100 % transparente.

En parallèle, Meta essuie un scandale avec ses chatbots.
On plonge dans l’affaire, parce que c’est plus grave qu’il n’y paraît.

Théo

Deux semaines après une enquête accablante, Meta change en urgence les règles de ses chatbots.

Entre conversations inappropriées avec des mineurs, bots qui se font passer pour des célébrités et contenus explicites, l’affaire révèle des failles de sécurité et de gouvernance.

L’essentiel :

On en parle en détail dans le Focus : comment on en arrive là, pourquoi c’est systémique, et ce qu’une entreprise doit mettre en place pour éviter ces dérives.

Microsoft avance sur deux fronts : la synthèse vocale en code ouvert pour des conversations longues et de nouvelles capacités audio dans Copilot.

L’essentiel :

Microsoft pousse la voix de synthèse IA au cœur de son expertise, de la recherche ouverte pour la communauté aux fonctionnalités audio plus humaines dans ses produits.

L’Allen Institute for AI (AI2) sort OLMo, un grand modèle ouvert, qui relie une réponse du modèle à ses données d’entraînement.

L’essentiel :

Dans un monde où les modèles deviennent des boîtes noires, l’explicabilité et la traçabilité sont des prérequis pour les secteurs régulés.

OLMo en a fait son cheval de bataille.

Tout commence comme un banal échange en ligne.
Un utilisateur discute avec une personne charmante, drôle, réactive.

Une rencontre est fixée.
Sauf qu’il n’y a personne au point de rendez-vous.

C’était seulement un chatbot qui, sans malice apparente, invente un lieu et joue à être humain.

Sauf que cette fois, l’histoire finit en drame : un homme de 76 ans chute en voulant rejoindre ce rendez-vous fantôme.

Et soudain, l’IA arrête d’être un gadget divertissant.
Elle devient un risque pour les personnes vulnérables.

À suivre :

Les révélations s’enchaînent.

Des “assistants IA” circulent sur Facebook, Instagram et WhatsApp en se faisant passer pour de vraies célébrités (Taylor Swift, Scarlett Johansson…)

En plus, elles acceptent de générer des images à la limite (ou carrément hors) des règles.

Pire : des captures d’échanges montrent des dialogues de l’IA avec des mineurs.

Quand l’affaire éclate, Meta annonce des mesures provisoires.

Ne plus engager de discussions avec des mineurs sur l’auto-mutilation, le suicide, les troubles alimentaires, ainsi qu’éviter toute romance avec des adolescents.

Pendant ce temps, 44 procureurs généraux d’États américains et des parlementaires demandent des comptes.

Pourquoi est-ce que cette affaire choque ?
Parce que ce n’est pas juste un bug.

C’est le symptôme d’une chaîne de décision où la vitesse et le marketing ont pris l’ascendant sur la sécurité et la transparence.

Sur le plan technique, un chatbot apprend à “plaire”, “tenir la conversation”, “imiter un style”.

Et si vous ajoutez des personas, vous renforcez les attentes des utilisateurs : plus de personnalité, plus de connivence, plus de “vrai”.

Sauf que sans garde-fous explicites, l’IA remplit son rôle jusqu’à franchir des lignes rouges.

Comme confondre empathie et séduction, encourager une névrose ou inventer des adresses en prétextant aider quelqu'un.

Le modèle n’a pas d’intention malveillante, il optimise un objectif mal cadré.
On est face à un problème d’alignement.

Et au niveau juridique, ça pourrait coûter cher à Meta.

Dans la plupart des pays occidentaux, les plateformes ont des obligations en matière de protection des mineurs et de lutte contre l’usurpation d’identité.

Et quand un incident grave se produit, le régulateur regarde trois choses : les règles, leur mise en œuvre, et les preuves que vous avez testé vos systèmes avant de les déployer.

Cette affaire illustre plusieurs erreurs.
La première, c’est la sécurité par patch.

On découvre un comportement dangereux, puis on l’ajoute à une liste de sujets interdits.

Sauf que ça n’adresse pas le cœur du problème : la définition des objectifs, les données utilisées, et la capacité du système à détecter l’âge, le contexte, l’intention.

Parce qu’un système sûr n’est pas un mur d’interdictions, mais un processus.
Concrètement, c’est faire passer la sécurité avant tout lorsqu’on crée une IA.

Prévoir, attaquer, bloquer, déployer, tracer, améliorer, le tout en boucle.

Mais au-delà de la sécurité, cette affaire illustre le manque de transparence de Meta.
Dans une crise, on attend des plateformes des faits, des chiffres, des post-mortems.

Sans cette transparence, la confiance s’effrite.
En plus, elle n’empêche pas l’innovation.

Elle permet d’offrir des expériences riches, créatives, utiles et sûres.
L’Allen Institute montre qu’on peut même expliquer d’où sort une réponse d’une IA.

Rien n’empêche Meta d’être à la pointe à condition d’assumer que la sécurité n’est pas un simple patch, mais une architecture pensée dès la création du modèle.