Hello !

Au programme du jour :

Comment prompter comme un expert (partie 2)

On voit des méthodes plus avancées et complexes à utiliser, mais avec des résultats complètement fous !

Théo

Prompter comme un expert : 1 an après, toutes les méthodes de prompting

Promis, ça va bien se passer.

La semaine dernière, on a vu les méthodes basiques et moyennes.

Si tu as raté l'édition, tu peux la retrouver juste ici :

Un grand merci à Lilian Delaveau pour ses réponses à mes questions, qui m'ont grandement aidé dans la rédaction de cette newsletter

Les méthodes avancées

Là, on va rentrer dans une partie plus complexe.

Mais c'est le plus intéressant, car vous n'avez probablement jamais vu ces concepts.

Retrieval Augmented Generation

Jusqu'ici, on a pu résoudre des problèmes, détecter des sentiments, rédiger des textes... mais pour des tâches plus complexes, comme déterminer s'il reste un t-shirt bleu en stock dans telle compagnie par exemple, ChatGPT sera incapable de réponse.

On va parler un peu du fonctionnement de ChatGPT, dans la partie plus technique.

On en a déjà parlé, mais ChatGPT combine deux choses :

1- Un LLM. (GPT-4). C'est ce qui va lui permettre de former des phrases cohérentes et d'avoir une discussion (de prédire le mot suivant, mais c'est pareil).

2- Une base de données (BDD) vectorielle. L'intégralité des informations que possède ChatGPT, où chaque information est vectorisée dans une univers à plusieurs milliers de dimensions. (n'essayez pas de le visualiser, c'est inconcevable pour nous)

Ces informations, c'est les fameux "paramètres".

Lorsqu'on envoie un prompt à ChatGPT, ce prompt passe d'abord par la BDD vectorielle pour récupérer les informations requises à l'aide d'une recherche sémantique (on cherche les similarités dans les sujets).

Ensuite, le prompt et les informations provenant de la base de données sont envoyés au LLM pour qu'il prédise la suite du prompt.

Ce qui fait la différence entre Bard, Claude, ChatGPT, Llama, Falcon, etc, c'est pas seulement le LLM, mais également (et surtout) la base de données, à la fois par sa quantité mais surtout par sa qualité.

Sauf que la base de données ne peut pas être mise à jour en continu, et encore moins avec les données qui vous intéresse, qui sont potentiellement privées.

Par exemple, pour faire des projections sur un secteur en particulier, répondre à un mail de SAV, etc.

(Avant, cette technique ne pouvait vraiment s'appliquer efficacement que sur l'API, mais désormais avec les agents c'est différent :))

On va donc chercher à caler sa propre base de données entre son prompt et le LLM pour qu'il augmente la génération.

A partir des informations qu'il va chercher, le résultat sera meilleur.

D'où le nom "Retrieval Augmented Generation"

En vrai, on peut faire des trucs de ouf avec cette méthode, mais il faut pour ça sortir des interfaces classiques, et commencer à utiliser les API, les agents autonomes, etc.

On en parlera peut-être un jour, mais un peu trop de choses à expliquer pour ça. Donc pas aujourd'hui.

Par contre, ce qu'on peut déjà faire avec ChatGPT, c'est se créer un agent entraîné avec nos données spécifiques pour chaque cas de figure.

Le résultat ne sera pas au même niveau, mais ça augmente déjà grandement la qualité des générations.

Prompt engineer automatique

Abonnez-vous à FreeA Premium pour lire la suite !