ChatGPT et autres LLM

[GillesH38]

+1 aussi.
Ca fait penser aux etudiants qui ne comprennent rien. Tu leur poses une question precise, et ils repondent une géneralité vaguement liée à la question. Ils ne comprennent pas que cette reponse floue est non seulement une signature de leur ignorance, mais même une signature de l'absence de comprehension de la question.

+1 aussi, ChatGPT m'a irrésistiblement fait penser à un étudiant doué d'une grande mémoire et maîtrisant bien son langage, mais qui ne comprend rien sur le fond. Il est à la fois capable de répondre sur tout et de sortir des erreurs énormes. Parfois très surprenantes et qui interrogent sur la façon dont son algorithme fonctionne. Par exemple je lui ai demandé "quelle est la capitale de la France?" , il me répond très correctement "la capitale de la France est Paris". Après je lui demande de me sortir les initiales de chaque mot de sa réponse précédente. Et il me sort un truc du genre (je ne me rappelle plus exactement) Q E L E L A C A P I T.... c'est à dire qu'il commence bien (donc il semble avoir "compris" ce qu'on lui demande et tout à coup commence à bugger et sort la liste des lettres au lieu des initiales. C'est très surprenant, on ne voit pas un humain "commencer à comprendre" et ensuite ne plus comprendre. Ca montre qu'il est très loin de fonctionner comme un humain.

ChatGPT c'est la compilation de tous les "savoirs" du net (forum y compris) tenus en anglais.
Donc pas étonnant qu'il y a des erreurs.

j'ai fait une erreur j'ai pris les initiales de la question pas de la réponse (c'était plutôt genre L C D L C D L A F R A N ....)
ce qui est étonnant c'est que je pense que cette question et la réponse n'ont jamais été visible sur internet, donc il a quand meme "processé" la question et essayé d'appliquer un algorithme, mais il s'est planté après 3 lettres. Evidemment programmer ça par un ordinateur ça se fait en 3 lignes et il donne les premières lettres sans erreurs. Il n'est ni purement mémoire, ni purement algorithme, il fait un peu des deux mais il se plante du coup.

[marocain]

pourtant trouver les initiales de tous les mots d'une phrase, ca se fait en 3 lignes en VBA !

[GillesH38]

je ne sais pas ce qu'est VBA mais n'importe quel langage traitant de chaines de caractères le fait facilement.
Mais ChatGPT ne marche pas par "j'ai un truc à faire en langage humain, je le traduis en programme informatique, et je l'exécute". Il n'exécute aucun programme déterministe, il fonctionne (si j'ai bien compris) par association de textes auxquels il attribue des scores de proximité pour choisir ceux qui lui paraissent les meilleurs. Du coup ça reste pour lui une sorte de logique floue.

Un cerveau humain peut à la fois traiter de l'information floue et activer à la demande sa capacité algorithmique. Apparemment on ne sait pas faire ça de façon versatile par une IA.

[marocain]

en tout cas, je vais prendre l'abonnement ChatGPT au moins quelques mois.

[Silenius]

Avec du "compute in memory" ou les unites de calcul (multiplication matricielle) seraient accolées au stockage, cela serait 1000 fois plus rapide et moins energivore.

Heu, c'est le principe des GPU de Nvidia intégrés dans des serveurs. Évidemment que c'est inefficace de faire tourner ces trucs sur des ordis persos. Tout comme c'était inefficace en 1995 de faire du rendu 3D sur les bécanes persos de l'époque.

Là, on externalise la puissance de calcul et la Big Tech cherche à vendre du temps de calcul désormais.

Non, sur les GPU la VRAM est separee des unites de calcul, c'est pourquoi ca consomme de 400 a 800 watts.
Je pensais plutot a des architectures de ce genre : https://arxiv.org/abs/2112.10547

A Memristor-Based Bayesian Machine
Kamel-Eddine Harabi, Tifenn Hirtzlin, Clément Turck, Elisa Vianello, Raphaël Laurent, Jacques Droulez, Pierre Bessière, Jean-Michel Portal, Marc Bocquet, Damien Querlioz
In recent years, a considerable research effort has shown the energy benefits of implementing neural networks with memristors or other emerging memory technologies. However, for extreme-edge applications with high uncertainty, access to reduced amounts of data, and where explainable decisions are required, neural networks may not provide an acceptable form of intelligence. Bayesian reasoning can solve these concerns, but it is computationally expensive and, unlike neural networks, does not translate naturally to memristor-based architectures. In this work, we introduce, demonstrate experimentally on a fully fabricated hybrid CMOS-memristor system, and analyze a Bayesian machine designed for highly-energy efficient Bayesian reasoning. The architecture of the machine is obtained by writing Bayes' law in a way making its implementation natural by the principles of distributed memory and stochastic computing, allowing the circuit to function using solely local memory and minimal data movement. Measurements on a fabricated small-scale Bayesian machine featuring 2,048 memristors and 30,080 transistors show the viability of this approach and the possibility of overcoming the challenges associated with its design: the inherent imperfections of memristors, as well as the need to distribute very locally higher-than-nominal supply voltages. The design of a scaled-up version of the machine shows its outstanding energy efficiency on a real-life gesture recognition task: a gesture can be recognized using 5,000 times less energy than using a microcontroller unit. The Bayesian machine also features several desirable features, e.g., instant on/off operation, compatibility with low supply voltages, and resilience to single-event upsets. These results open the road for Bayesian reasoning as an attractive way for energy-efficient, robust, and explainable intelligence at the edge.

[energy_isere]

je ne sais pas ce qu'est VBA mais ..........

VBA : Visual Basic for Applications

[energy_isere]

« Il n’a rien de révolutionnaire » : Yann LeCun, pionnier français de l’IA, n’est pas impressionné par ChatGPT

24 janvier 2023 01net

lire https://www.01net.com/actualites/il-na- ... atgpt.html

[LeLama]

Un cerveau humain peut à la fois traiter de l'information floue et activer à la demande sa capacité algorithmique. Apparemment on ne sait pas faire ça de façon versatile par une IA.

L'humain ne fonctionne quasiment pas de facon algorithmique ama. Le cerveau est massivement parallele et fournit "des visions" ( approche "Top-down" disent les chercheurs en psycho cognitive). Les qq moments ou on fonctionne de facon algorithmique, c'est hyper couteux en termes d'efforts, de concentration et de fatigue.

J'ai deja parle' je crois du paradoxe de la superiorité du mot. Des experiences de psycho cognitive montrent que le temps d'acces a la derniere lettre d'un mot de 5 lettres connu est plus petit que le temps d'accès a une lettre isolée. Si on croit que le cerveau fonctionne de facon algorithmique, c'est bizarre, car il y a plus de données a traiter dans un ensemble de 5 lettres que dans une lettre unique. Mais en fait le cerveau prend des bouts d'information partielles on ne sait pas ou, disséminées dans l'espace, de facon tres parallele, et reconstruit on ne sait pas bien comment non plus le mot le plus probable a partir de ces bouts d'info glanées de ci de la.

Ca veut dire que meme la lecture, qui est pourtant fortement codifiée par l'alphabet et ordonnée par sa présentation de gauche a droite, ne s'interprete pas facilement comme un procédé algorithmique sans créer de paradoxe.

Ca a des repercussions pédagogiques importantes ama. C'est pas la peine de s'acharner a tout bien présenter de facon logique ou dans l'ordre par rapport a un algo logique. De toutes facons, le cerveau fonctionne vraiment dans le desordre en interne. Pourvu que ce soit accessible, et que l'etudiant ait assez d'intuition pour donner du sens et travailler par lui même, ca me semble suffisant.

[Silenius]

J'ai essayé d'aller pour la première fois sur le site de chatGPT et ça à l' air complétement embouteillé :

Il faut aller sur le playground de gpt-3, un peu moins user-friendly.

[Silenius]

Vous voulez écrire une lettre de motivation pour une place de travail? Ben faites-là écrire par une IA contre 1 euro, en précisant quelques infos.

Le cout actuel est de 0.06 usd pour 1000 tokens.

[marocain]

Vous voulez écrire une lettre de motivation pour une place de travail? Ben faites-là écrire par une IA contre 1 euro, en précisant quelques infos.

Le cout actuel est de 0.06 usd pour 1000 tokens.

Concrêtement, a quoi correspond un token ?
Est ce que chaque requête sera considéré comme un token quelque soit sa longueur ?

[Silenius]

Ca depend de la methode de tokenisation : on fragmente le mot en plusieurs unites significatives suviant les radicaux. Par exemple vo qui peut donner voie , voix voirie ensuite voitur qui peut donner voiture ou voiturier. On peut aussi tokeniser par caractère et theoriquement on peut tokeniser par bit mais le systeme deviendrait enorme. Avec les methodes actuellement utilisees il y a 3,6 tokens par mot anglais.
Pour la facturation, je crois que c'est au token genere pas au nombre de tokens que comporte la requete.

[Silenius]

pourtant trouver les initiales de tous les mots d'une phrase, ca se fait en 3 lignes en VBA !

Justement, l'erreur se situait entre la chaise et le clavier : il fallait simplement prompter "tu est un developpeur confirme, écris moi un script pour trouver les initiales de tous les mots d'une phrase" . Ca s’appelle le "prompt engeneering" l'art de bien poser les questions a une IA.
Tu peux aussi ajouter "explique moi le code, ligne par ligne".

[energy_isere]

Derrière le succès de ChatGPT, les petites mains cachées de la tech

Les vidéos, images et descriptions de meurtre, agression sexuelle et autre actes violents sont légions sur Internet. Et les données utilisées pour entrainer le modèle d'intelligence artificielle ChatGPT, tirées du web, n'en étaient pas exemptes. Pour les purger des contenus toxiques, OpenAI a chargé une société d’étiqueter les données. Dans une longue enquête, le journal Time rapporte les faibles rémunérations et les conditions de travail difficiles des salariés kenyans qui y ont oeuvré.

Léna Corot 26 Janvier 2023

https://www.usinenouvelle.com/editorial ... h.N2092446

[GillesH38]

pourtant trouver les initiales de tous les mots d'une phrase, ca se fait en 3 lignes en VBA !

Justement, l'erreur se situait entre la chaise et le clavier : il fallait simplement prompter "tu est un developpeur confirme, écris moi un script pour trouver les initiales de tous les mots d'une phrase" . Ca s’appelle le "prompt engeneering" l'art de bien poser les questions a une IA.
Tu peux aussi ajouter "explique moi le code, ligne par ligne".

c'était pas le but de l'opération, c'était de tester ses capacités comparées à celles d'un humain. Il y a beaucoup plus d'humains qui savent prendre l'initiale des mots d'une phrase que d'humains capables d'écrire un script pour le faire.