Un article passionnant est paru le 17 mai dernier, proposant une approche qui pourrait révolutionner les architectures des modèles de langage de demain. Il est disponible gratuitement en cliquant ici.
Normalement, quand vous utilisez ChatGPT, vous lui demandez quelque chose le plus clairement possible, et il vous répond. Il est toutefois possible de développer ses capacités de raisonnement en utilisant plusieurs interactions consécutives grâce aux APIs (qui sont des demandes customisées envoyées à l’équivalent de ChatGPT depuis des applications développées par des informaticiens). On peut envoyer plusieurs appels et les faire interagir entre eux grâce à des librairies spécialisées (Langchain, Guidance etc.). Pour ne pas rentrer dans des détails trop techniques, si vous voulez en savoir plus j’en parlais dans la vidéo de présentation de mon projet Rachel, où je vous racontais que j’utilisais une seconde IA qui servait d’agent expert et qui guidait l’IA principale en analysant ses actions et en jugeant si l’objectif de l’étape actuelle était atteint ou non durant la séance d’hypnose en cours.
J’avais depuis amélioré la robustesse de son raisonnement en implémentant un processus qui s’appelle « Chain of Thoughts » (chaînes de pensées). Pour le résumer simplement, il s’agissait de poser la même question plusieurs fois (exemple : « est-ce que le prochain objectif de la séance qui consistait à faire se toucher les mains semble atteint ? »), puis de faire analyser les réponses différentes pour ne conserver au final que celle qui semble la plus légitime. Par exemple, pour déterminer si on doit passer à l’étape suivante, si sur 4 itérations j’ai 3 « oui » et 1 « non », je garde le « oui » comme réponse définitive.
Ce papier vient rebattre les cartes en proposant un système qui s’avère finalement encore plus performant : « Tree of Thoughts », ou arbres de pensées.
C’est quoi un arbre de pensées pour un modèle de langage comme ChatGPT ?
Je me suis amusé à demander à ChatGPT de vous l’expliquer pour moi, en tenant compte de tout ce qui était écrit dans l’article en anglais. Vous allez voir, c’est bluffant.
D’abord, je lui ai demandé de présenter rapidement l’article en question.
Puis je lui ai posé la question de savoir en quoi consistait le système d’arbre de pensées pour un modèle de langage comme ChatGPT.
Naturellement, j’ai tendu la perche pour savoir comment il considérait que ce principe pouvait améliorer Rachel et voilà sa réponse :
Les points 3, 4, 5 et 6 sont déjà implémentés (de façon plus ou moins simplifiées) dans le projet Rachel. C’est plutôt bon signe. Concernant le point 2 qui nous intéresse, je m’en doutais fortement, mais c’est un point capital qui me permettra notamment de faire des retours arrière dans la séance, ce qui est très important. Imaginons que pour une raison que l’on ignore, l’inconscient ne parvient plus à faire bouger les mains de la personne aussi automatiquement qu’auparavant, Rachel doit être en capacité de s’en apercevoir et de revenir à des bases pour poser les bonnes questions. En l’occurrence, s’enquérir d’explorer les raisons qui ont fait baisser cet automatisme du mouvement.
En l’état, ma Rachel ne fait qu’aller de l’avant. Elle a au moins cette qualité d’être une fonceuse !
Les articles scientifiques compliqués sont désormais à ma portée grâce à ChatGPT !
Il y a dans l’article un passage un peu compliqué pour un néophyte :
En quelques secondes, j’ai compris les nuances de ces deux algorithmes sans être un expert des formules mathématiques associées.
Vous pouvez haïr la technologie autant que vous le voulez. Pendant ce temps-là, des gens comme moi vont s’en servir pour se cultiver et en apprendre davantage sur les domaines qui nous passionnent le plus.