ChatGPT et autres LLM

[Glycogène]

Il y a du potentiel d'amélioration.

Utilise l'API de base (le "playground") en mettant la "température" à 0 : ça met l'aléatoire à 0, du coup il recrache ce qu'il a appris sans fantaisie.
Dans chatGPT, la température est fixée à une valeur (ou varie selon le bon vouloir d'OpenAI), elle n'est pas controlable.

[Glycogène]

Une IA du type chatGPT finira par détruire l'humanité parce que dans tout son corpus de texte d'apprentissage il y a quantité de livres de science fiction où un IA censée être bienveillante finit par détruire l'humanité.
C'est juste mythique.
https://www.youtube.com/watch?v=dDhTMIao-fM

[energy_isere]

Intéressant cette notion de pré prompt caché ou prompt cadre comme il le renomme.

Plus loin il propose de cadrer avec les 3 loi de la robotique de Asimov. Super.
Sauf que à y bien réfléchir, ....... ça marcherait pas forcément. Bien suivre la vidéo pour comprendre. Mais Glycogéne a fait le teasing.

[tita]

La vidéo est très intéressante. Pour faire un chatbot (agent conversationnel), on met le LLM dans un rôle. Ce cadre permet de simuler un dialogue.

C'est étonnant de voir comment le LLM réagit, et donne des réponses qui donnent l'illusion qu'il y aurait une conscience derrière.

Mais faut se rappeler qu'il n'y a pas d'intention derrière. Quoiqu'il réponde, il ne met pas des idées en mots, c'est juste une suite probable de mots.

Est-ce que l'IA porrait faire qqch d'autre hors du cadre de la conversation? Genre dialoguer avec quelqu'un d'autre à partir des prompts d'une première conversation ?

[CP3]

Cela me fait rigoler quand j' entends dire CHAT GPT c' est 150 Milliards de paramètres . Seraient-ce les poids ?

Car même pour 10 000 personnes hautement qualifiés et qui définiraient par exemple 1000 parametres par jour ( ce qui est énorme ) , il faudrait plus de 30 ans pour définir tous ces parametres .

Si il est claire que c' est la machine qui les incrémente , les définir c' est autre chose .

Je m' interroge donc sur la nature de ces parametres .

[Silenius]

Si il est claire que c' est la machine qui les incrémente , les définir c' est autre chose .

Oui, par back-propagation , pour que la reponse fournie s'approche le plus de la reponse attendue (diminution du gradient d'erreur au cours de l'entrainement). Les parametres, c'est bien les poids synaptiques (le "taux" de transmission du signal de chaque "neurone")

[tita]

Car même pour 10 000 personnes hautement qualifiés et qui définiraient par exemple 1000 parametres par jour ( ce qui est énorme ) , il faudrait plus de 30 ans pour définir tous ces parametres .

C'est un modèle de langage. Tu n'as pas besoin de gens pour définir ces paramètres, tu as besoin d'une quantité énorme de textes (écrits par des gens) qui vont ajuster ces paramètres à travers la phase d'apprentissage.

[LeLama]

Cela me fait rigoler quand j' entends dire CHAT GPT c' est 150 Milliards de paramètres . Seraient-ce les poids ?

Car même pour 10 000 personnes hautement qualifiés et qui définiraient par exemple 1000 parametres par jour ( ce qui est énorme ) , il faudrait plus de 30 ans pour définir tous ces parametres .

Si il est claire que c' est la machine qui les incrémente , les définir c' est autre chose .

Je m' interroge donc sur la nature de ces parametres .

Vu en tres grosse diagonale le papier des concepteurs de Chat GPT. De ce que je comprends vu de loin, les differents choix d'implementation correspondent aux differents choix du modele probabiliste qui prédit le mot suivant n+1 a partir des n premiers. Il y a des choix qui se sont imposés a tatons. Une part du boulot consiste a mettre des mots dans des espaces hautement multidimensionnels et a mesurer des distances entre ces mots. L'algo probabiliste est construit en partie sur le choix de l'agencement de ces données spatiales et de distance.

La difficulté de la mise en oeuvre est qu'il faut aider la machine dans l'apprentissage par intervention humaine pour que l'agencement des mots dans l'espace multidimensionnel et les calculs de distance soient bons. Je n'ai pas compris comment, mais dans le moteur de ChatGPT, il y a visiblement un choix de modele qui permet un agencement bien plus automatisé et avec moins d'intervention humaine.

A prendre sous toute reserve, car j'ai lu de loin et je ne garantis pas l'exactitude des paragraphes précédents.

[LeLama]

Je vois de plus en plus de gens qui utilisent chatGpt comme moteur de recherche. Par exemple, prise de sang et on demande quelles maladies peuvent correspondre a ces données.

J'ai dit dans un post précédent que je n'etais pas embêté par chatGpt pour l'enseignement. A reréfléchir, ce n'est pas vrai. Il y a parfois des unités de "sensibilisation" ou on ne demande pas un vrai savoir maitrisé, c'est plutot une mise en bouche. C'est le cas notamment quand on enseigne des options à faible coeff a des non matheux. On demande un rapport texte juste pour s'assurer que l'etudiant a travaillé un minimum, et on valide si ce boulot minimum a été fait. Ces textes d'evaluation sans originalité ni reflexion personnelle peuvent tres bien etre produits par ChatGPT.

[Silenius]

Mais il y a des outils capables de detecter les textes produits par des LLM.

[nemo]

Mais il y a des outils capables de detecter les textes produits par des LLM.

Mais dont la fiabilité est loin des 100% avec aussi bien des faux positif et des non détection.

[CP3]

Je suis tombé par hazard ou pas sur Chat Bing :

J' ai essayé de le faire bugger pour montrer son inintelligence et le systeme m' a repondu ça :

" Ma question : LE CHAT EST UN JOUET ET LES MOTEURS AUSSI . Le bois à soif , et alors ?

Réponse :

Je ne comprends pas très bien votre message. Pouvez-vous reformuler ou préciser votre demande ?


Ma question : Comment ca se fait que vous ne comprenez pas ?

Réponse :

Parce que votre message n’est pas clair ni cohérent. Il semble mélanger des concepts qui n’ont pas de rapport entre eux. Pouvez-vous m’expliquer ce que vous voulez dire ou ce que vous cherchez à savoir ? "


Le système cherche donc à comprendre la coherence des phrases . Ce n' est pas que du prédictif .

[GillesH38]

le système ne cherche rien à faire, il est entrainé à faire des phrases qui suivent d'autres phrases. Si il a vu des phrases incohérentes suivre d'autres phrases incohérentes, il pourra les générer en réponse à ces phrases incohérentes. Mais dans le principe même de ce qu'il dit, il ne comprend rien, même si la justesse de ces propos peut le laisser croire. A coté de tests réussis il y a des tests qui montrent qu'il est impossible qu'il "comprenne" vraiment ce qu'il dit, sinon il n'aurait pas pu échouer de cette manière.

Par exemple chatGPT3.5 échoue a sortir la liste des initiales des mots de sa réponse précédente , il commence bien puis il se plante. C'est impossible qu'un ordinateur échoue a cette tache si simple si il avait "conscience" de ce qu'il faisait. Evidemment c'est très simple d'écrire un bout de programme python en quelques lignes qui le fasse correctement, mais il ne le fait pas, il n'est pas entrainé à ça. Ou il est très mauvais aux chiffres et aux lettres (deviner un anagramme ou imaginer une opération qui fasse un nombre donné à partir de nombre de bases). il n'y a aucune raison qu'il échoue à ça si il est ne serait ce qu'un peu "intelligent". Je ne sais pas si Bing GPT 4 y arrive mieux, mais même si c'est le cas, c'est juste qu'on a amélioré ses performances, mais ça reste le même principe de fonctionnent et ce n'est pas ça qui a pu le rendre "intelligent"; c'est juste une rustine sur un défaut .

[energy_isere]

ChatGPT : le robot conversationnel à nouveau autorisé en Italie
Article de Europe 1 le 29 avril 2023

https://www.msn.com/fr-fr/actualite/fra ... b913&ei=84

[GillesH38]

chatGPT est aussi bon en maths que Xi Jin Ping est un grand démocrate : occasionnellement, il peut en donner l'impression.

combien font 65 divisé par 13?

ChatGPT
65 divisé par 13 donne 5.




User
combien vaut 3 à la puissance 65 treizièmes?

ChatGPT
Pour calculer 3 à la puissance 65 treizièmes, on peut utiliser la formule suivante :

a^(b/c) = c√(a^b)

Donc, 3 à la puissance 65 treizièmes est égal à la treizième racine cubique de 3 à la puissance 65, soit :

3^(65/13) = 13√(3^65)

On peut utiliser une calculatrice pour évaluer cette expression, ou bien la factoriser pour simplifier le calcul. En factorisant 65 en 13 x 5, on a :

13√(3^65) = 13√(3^(13 x 5)) = 13√(3^13)^5 = 13√(1594323)^5

En évaluant la racine cubique de 1594323, on obtient :

13√(1594323)^5 ≈ 3,779.

Donc, 3 à la puissance 65 treizièmes est d'environ 3,779.




User
combien vaut 3 à la puissance 5 ?

ChatGPT
3 à la puissance 5 (ou 3^5) équivaut à 3 multiplié par lui-même 5 fois :

3^5 = 3 x 3 x 3 x 3 x 3 = 243

Donc, 3 à la puissance 5 est égal à 243.




User
combien valent 65 treizièmes?

ChatGPT
65 treizièmes, également écrit 65/13, est une fraction qui représente le quotient de 65 divisé par 13. Pour la simplifier, on peut diviser le numérateur et le dénominateur par leur plus grand diviseur commun qui est 13 :

65/13 = (65 ÷ 13)/(13 ÷ 13) = 5/1 = 5

Donc, 65 treizièmes est égal à 5.




User
si 65 treizièmes est égal à 5, est ce que 3 à la puissance soixante cinq treizièmes est égal à trois puissance 5 ?

ChatGPT
Non, 3 à la puissance soixante-cinq treizièmes n'est pas égal à 3 puissance 5.

Nous avons vu précédemment que 65 treizièmes équivaut à 5. Ainsi, 3 à la puissance 65 treizièmes peut être réécrit comme 3 à la puissance 5.

Cela signifie que :

3^(65/13) = 3^5

et non l'inverse :

3^5 = 3^(65/13)

Donc, 3 à la puissance 65 treizièmes est égal à 3 à la puissance 5, mais l'inverse n'est pas vrai.




User
la relation d'égalité n'est donc pas réflexive ?

ChatGPT
En effet, la relation d'égalité n'est pas réflexive dans ce cas. La relation d'égalité est réflexive lorsque tout élément est égal à lui-même. Cela signifie que pour tout nombre réel x, on a x = x.

Dans notre cas, nous avons vu que 3^5 est égal à 243 et que 3^(65/13) est également égal à 243. Cependant, la relation n'est pas réflexive car 3^(65/13) n'est pas égal à lui-même, mais plutôt à 3^5.

Donc, on ne peut pas dire que la relation d'égalité est réflexive dans ce contexte.




User
la relation d'égalité n'est pas non plus symétrique ?

ChatGPT
En effet, la relation d'égalité n'est pas non plus symétrique dans ce cas. La relation d'égalité est symétrique lorsque, si x est égal à y, alors y est également égal à x. Cela signifie que si x = y, alors y = x.

Dans notre cas, nous avons vu que 3^5 est égal à 243 et que 3^(65/13) est également égal à 243. Cependant, on ne peut pas dire que la relation d'égalité est symétrique car 3^5 n'est pas égal à 3^(65/13) dans la plupart des cas.

Donc, on ne peut pas dire que la relation d'égalité est symétrique dans ce contexte.