IA Intelligence Artificielle

[Glycogène]

les rdn sont généralement assez économes pour tourner sur CPU, de PC ou de téléphone.

Ça dépend ce qu'on appelle économe.
Pour moi, 100 mW c'est déjà 20 à 100 fois trop, pour les applications courantes (reconnaissance vocale, faciale, ...).

[Jeudii]

Effectivement ta définition d'économe est plus stricte que la mienne. Ceci devrait t'intéresser:

https://hackaday.com/2019/07/16/neural- ... s-numbers/
https://www.osapublishing.org/prj/abstr ... rj-7-8-823

[GillesH38]

@Gilles: merci pour ce hint. Dommage que tu te sentes obligé de déformer mes propos.

je ne sais même pas à quel post tu fais allusion .. c'est une illustration de comment ta manière de débattre , toujours allusive et par sous-entendus, rend un vrai échange difficile. Par ailleurs tu affirmes en permanence des choses qui sont en fait très contestables, simplement en adoptant un ton d'assurance qui vise à prévenir toute contestation. Par exemple quand tu dis:

Quand je parle d'une motivation, je parle du mécanisme par lequel les vertébrés depuis la lamproie contrôlent leur prise de décision, c'est-à-dire par un système de punition/récompense impliquant les ganglions de la base chez l'humain, dont le modèle théorique est l'entrainement par renforcement, utilisé par exemple chez alphazero (voir aussi Agent57 dans les liens de silenus)

assimiler "motivation" et "apprentissage par punition/récompense" me parait tout à fait contestable : pour rester dans l'humain, le nourrisson à sa naissance est tres motivé pour chercher le sein de sa mère sans y avoir été vraiment entrainé, mais si plus tard on l'oblige à prendre des cours de piano alors qu'il aimerait jouer au foot, il pourra avoir fait des progrès techniques réels par la punition/récompense sans jamais avoir été motivé ! la motivation c'est plutot ce qui te pousse à t'intéresser à un truc sans jamais y avoir été entrainé précisément, c'est donc ce qu'un ordinateur ne fait jamais, puisqu'aucun ordinateur n'a jamais demandé qu'on lui apprenne à faire quoi que ce soit !!

[nemo]

La notion de motivation est une des plus complexes qui soient en psychologie humaine. On est très loin de comprendre l'ensemble des phénomènes qu'on peut recouvrir par ce mot depuis ce qui fait qu'une personne sera dévorer par l'ambition jusque l'arc réflexe qui est une manifestation de notre "motivation" à éviter la souffrance. Les IA peuvent peut être simulé la motivation mais quant à être motivé?

[Jeudii]

je ne sais même pas à quel post tu fais allusion ..

Merci pour le hint: je tire de nos échanges l'idée, ou plutôt l'importance de l'idée, selon laquelle la première chose à expliquer à un débutant est l'écart du vocabulaire spécialisé au vocabulaire de tout les jours. Je crois que c'est une idée importante, d'ou le merci.

Dommage que tu déformes mes propos: je dis que l'identité de mécanisme rend naturelle d'utiliser des termes courants pour les IA, tu déformes en 'confusion du vocabulaire qui est employée et qui fait croire que l'IA "pense" comme l'humain si elle fait des choses similaires, et que du coup si elle fait des choses similaires, elle pense pareil'. .

Je pense pour ma part que la prise de decision est gérée principalement par des representations esthetiques, des sensations. Les recompenses ne sont que secondaires.

https://www.sciencedirect.com/science/a ... 8811000468
http://www.ccnss.org/ccn_2014/materials ... o_doya.pdf

[correction nemo=>LeLama]

[nemo]

Je pense pour ma part que la prise de decision est gérée principalement par des representations esthetiques, des sensations. Les recompenses ne sont que secondaires.

https://www.sciencedirect.com/science/a ... 8811000468
http://www.ccnss.org/ccn_2014/materials ... o_doya.pdf

PAs moi qui est écrit ça. Comme je l'ai dit c'est complexe. La notion même de "prise de décision" recouvre des choses si différentes que c'est clairement une généralisation abusive de toute façon.

[Jeudii]

Je pense pour ma part que la prise de decision est gérée principalement par des representations esthetiques, des sensations. Les recompenses ne sont que secondaires.

https://www.sciencedirect.com/science/a ... 8811000468
http://www.ccnss.org/ccn_2014/materials ... o_doya.pdf

PAs moi qui est écrit ça.

C'est corrigé, dsl.

[tita]

Mais beaucoup qui sont dans le domaine disent que les bases théoriques datent de dizaines d'années et qu'il n'y a pas de nouveaux algorithmes fondamentalement différents.

J'ai déjà abordé ce point sur le plan technique en réponse à LeLama. Par curiosité, peux-tu donner quelques noms histoire que je regarde qui répand ce genre de bêtises? Quand même tu n'aurais pas l'expertise toi-même, tu penses que les trois fondateurs du deep learning ont eu le prix Turing pour des algorithmes 'pas fondamentalement différent' de ce qui se faisait avant? Cela ne te semble pas légèrement non crédible, comme histoire?

J'ai exagéré les choses. Oui, les avancées sont réelles, c'est difficile de le nier, et ça a ouvert beaucoup de portes. Néanmoins, il y a des critiques sérieuses sur l'idée que le deep learning à lui seul pourrait franchir cette étape d'une intelligence artificielle générale, par opposition aux IA qui fonctionnent dans des contextes précis. Je ne t'avais pas répondu, du coup je te donne deux noms:

Gary Marcus, qui pense en fiat qu'il faut repenser toute l'approche et que juste des tas de données ne vont simplement pas résoudre les problèmes auxquels on est confronté.

Il essuie des critiques par rapport aux critiques qu'il émet sur le DL.
https://medium.com/@GaryMarcus/in-defen ... 8bfd5ae0f1

Melanie Mitchell, qui explique de façon très intéressante les limitations de ce qu'on fait aujourd'hui:
https://www.youtube.com/watch?v=4QBvSVYotVc

[Jeudii]

Mais beaucoup qui sont dans le domaine disent que les bases théoriques datent de dizaines d'années et qu'il n'y a pas de nouveaux algorithmes fondamentalement différents.

J'ai déjà abordé ce point sur le plan technique en réponse à LeLama. Par curiosité, peux-tu donner quelques noms histoire que je regarde qui répand ce genre de bêtises? Quand même tu n'aurais pas l'expertise toi-même, tu penses que les trois fondateurs du deep learning ont eu le prix Turing pour des algorithmes 'pas fondamentalement différent' de ce qui se faisait avant? Cela ne te semble pas légèrement non crédible, comme histoire?

J'ai exagéré les choses. Oui, les avancées sont réelles, c'est difficile de le nier, et ça a ouvert beaucoup de portes.

Merci pour le retour. Effectivement la critique de Marcus n'a rien à voir avec une charge anti deep learning, comme il dit lui-même dans un de tes liens:

I’ve compiled a list of fourteen commonly-asked queries. (...)

Marcus wasn’t very nice to deep learning. He should have said more nice things about all of its vast accomplishments. And he minimizes others.

Dietterich, mentioned above, made both of these points, writing:

Disappointing article by @GaryMarcus. He barely addresses the accomplishments of deep learning (eg NL translation) and minimizes others (eg ImageNet with 1000 categories is small (“very finite”)

On the first part of that, true, I could have said more positive things. But it’s not like I didn’t say any. Or even like I forgot to mention Dietterich’s best example; I mentioned it on the first page:

Deep learning has since yielded numerous state of the art results, in domains such as speech recognition, image recognition, and language translation and plays a role in a wide swath of current AI applications.

3. Marcus says deep learning is useless, but it’s great for many things

Of course it is useful; I never said otherwise, only that (a) in its current supervised form, deep learning might be approaching its limits and (b) that those limits would stop short from full artificial general intelligence — unless, maybe, we started incorporating a bunch of other stuff like symbol-manipulation and innateness.

On peut pas dire que ce soit spécialement critique ni spécialement original -et il cite lui-même plein de travaux qui vont dans ce sens.

11. Marcus failed to cite X.

Definitely true; the literature review was incomplete. One favorite among the papers I failed to cite is Shanahan’s Deep Symbolic Reinforcement (Garnelo, Arulkumaran, & Shanahan, 2016); I also can’t believe I forgot Richardson and Domingos’ (2006) Markov Logic Networks. I also wish I had cited Evans and Edward Grefenstette (2017), a great paper from DeepMind. And Smolensky’s tensor calculus work (Smolensky et al., 2016). And work on inductive programming in various forms (Gulwani et al., 2015) and probabilistic programming, too, by Noah Goodman (Goodman, Mansinghka, Roy, Bonawitz, & Tenenbaum, 2012) All seek to bring rules and networks close to together.
And older stuff by pioneers like Jordan Pollack (Smolensky et al., 2016). And Forbus and Gentner’s (Falkenhainer, Forbus, & Gentner, 1989) and Hofstadter and Mitchell’s (1994) work on analogy; and many others. I am sure there is a lot more I could and should have cited.
Overall, I tried to be representative rather than fully comprehensive, but I still could have done better. #chagrin.

Par contre il devrait aussi mentionner qu'il y a des avancées sérieuses en cognition 100% rdn, comme les autoencoders ou le raisonnement visuel en mode Film (à sa décharge le dernier est probablement en partie postérieur à ses écrits).

Néanmoins, il y a des critiques sérieuses sur l'idée que le deep learning à lui seul pourrait franchir cette étape d'une intelligence artificielle générale, par opposition aux IA qui fonctionnent dans des contextes précis.

Je n'ai aucun problème avec l'idée que la meilleure approche pour une AGI serait un modèle hybride plutôt qu'une approche 100% deep learning, c'est une possibilité, et on peut même considérer alphazero comme une démonstration de l'utilité des modèles hybrides (Silver y voit plutôt une victoire pour la rétropropagation, mais le fait est qu'il y a au moins deux éléments non deep learning: le minimax et l'implémentation des règles). Sauf qu'alphazero n'est pas construit avec les briques que Marcus recommande. C'est le coeur du problème en fait: si ses idées étaient si bonnes, comment se fait-il qu'il n'arrive pas à les utiliser pour surpasser ce qui se fait en mode pur rdn? Dans le même temps les approches purement rdn continuent de produire des merveilles, comme celle là: https://arxiv.org/pdf/1709.07871.pdf

Melanie Mitchell, qui explique de façon très intéressante les limitations de ce qu'on fait aujourd'hui:
https://www.youtube.com/watch?v=4QBvSVYotVc

Je regarderais plus tard.

[Jeudii]

Melanie Mitchell, qui explique de façon très intéressante les limitations de ce qu'on fait aujourd'hui:
https://www.youtube.com/watch?v=4QBvSVYotVc

Presque tout ce qu'elle raconte est plutôt concensuel, quoique présenté d'une façon originale et sympathique. Elle même s'amuse visiblement quand elle présente ses graphiques (fait à la main en unités arbitraires), des citations choisies de grand titre de magazines, ou qu'elle présente une citation avertissant contre l'enthousiasme actuel avant de révéler la date de la citation (1983). Au départ je tiquais un peu sur le choix d'illustrer ses propos avec des unités arbitraires plutôt que des marqueurs objectifs (nombre de chercheur, $ investis en recherche en IA, nombre de citation par mot-clef dans quelques banques de référence), mais c'est bon enfant et pas vraiment le coeur du sujet, qui vient dans les dernières minutes de la présentation: une liste de 4 fallacies qu'elle voit comme des causes de sous-estimation de la difficulté d'arriver à une AGI. C'est intéressant, mais le fait que la communauté n'est pas spécialement optimiste qu'on aura une AGI bientôt.

Sur la question d'un futur hiver, franchement je ne vois pas comment. Même en imaginant que les voitures autonomes se cassent la gueule (en particulier à cause des attaques adversaires, s'il s'avérait que ce soit vraiment un problème est que vraiment on n'y trouve pas de solution), même en supposant qu'on stoppe la reconnaissance visuelle (que ce soit pour des raisons éthiques ou qu'il n'y ai plus de bénéfice à faire parce que les algorithmes pertinents ont déjà été inventé et sont disponibles à tous), même en supposant qu'aucune application n'émerge ni pour la chimie ni pour les applications industrielles ni pour la biologie ni rien d'autre, il resterait encore les applications en jeux vidéos et les films d'animation. Juste cette industrie, c'est plus de cash pour former des gens en IA (et donc recruter des chercheurs qui vont donner ces cours) que ce qui caractérisait les périodes qu'on a qualifié d'hivers.

[GillesH38]

Donc, tu n'appliques pas ton raisonnement sur la prédiction de la date d'arrivée du pic pétrolier, aux prédictions sur la date d'arrivée de la voiture autonome dans le grand public, si je comprends bien ?

[GillesH38]

Presque tout ce qu'elle raconte est plutôt concensuel, quoique présenté d'une façon originale et sympathique... le coeur du sujet, qui vient dans les dernières minutes de la présentation: une liste de 4 fallacies qu'elle voit comme des causes de sous-estimation de la difficulté d'arriver à une AGI. C'est intéressant, mais le fait que la communauté n'est pas spécialement optimiste qu'on aura une AGI bientôt.

ravi d'apprendre que c'est consensuel, vois tu une différence fondamentale entre ses "fallacies" et les points que j'ai soulevés juste au-dessus, qui n'avaient pas l'air de te paraitre si "consensuels" quand c'est moi qui les ai fait remarquer ?

[LeLama]

Donc, tu n'appliques pas ton raisonnement sur la prédiction de la date d'arrivée du pic pétrolier, aux prédictions sur la date d'arrivée de la voiture autonome dans le grand public, si je comprends bien ?

+1
Je vois 2 poids, 2 mesures dans l'approche de Jeudi.

D'un cốté, il y a des faits qui ont des impacts mesurables a l'echelle industrielle/economique qu'il minimise ( le cout marginal d'extraction, la production a grand volume de petrole cher, la baisse continue de croissance depuis qq dizaines d'annees).

Et d'un autre, une confiance absolue en des systemes qui ont peu a voir avec l'economie reelle, et qui sont du domaine de la recherche. Quand on voit que les compagnies se financent en milliards de dollars pour parcourir quelques millions de kilometres, on comprend qu'on est a des annees lumieres de la vraie vie et d'une economie rentable. Comme ca a été dit, le parcours de ces vehicules représentent 0,00....001% de la circulation réelle.

Il me semble que ces experiences sont surtout des machines a faire du cash en ce moment. On comprend du coup pourquoi la comm de waymo est travaillée a la virgule pres, avec non disclaimer pour les usagers du service. Ce sont des sommes colossales qui sont englouties, avec les financements de Waymo et zoox en milliards de dollars, pour des activités dont la probabilité de passer a l'echelon industriel et rentable est microscopique.

Toute la comm consiste a rendre floue la frontiere entre faisable et pas faisable. Waymo dit qu'il existe qq voitures sans chauffeur dans la voiture, mais elle cache soigneusement qu'il existe un humain qui supervise un peu plus loin en temps continu chaque metre parcouru par la voiture. En fait, c'est une redaction vraie, mais manipulatoire. N'importe quelle personne lisant la doc de waymo pense qu'il existe des voitures roulant sans supervisation humaine, alors que ce n'est pas dit explicitement. C'est pareil depuis le tout debut des google car, une comm manipulatoire, toujours exacte au sens propre, mais induisant chez le lecteur une representation fausse. C'est comme cela que Jeudi a cru qu'on pouvait aller n'importe ou dans la ville. C'est pas écrit explicitement, mais la rédaction manipulatoire suggère ce fait qui n'est pas vrai. Le but est bien sûr de rentrer du cash. Quand il s'agit de faire rentrer des milliards de dollars, faut comprendre que chaque detail de comm est soigneusement pesé.

[LeLama]

Apres, ca ne veut pas dire que rien n'est faisable. Y'a quand meme des activités avec des inputs enormes et des outputs tout petit, ou les algos peuvent donner qq chose d'interessant. Et il me semble que c'est ca qui est le plus intéressant.

Voici un vrai probleme qui semble infaisable aujourd'hui, mais qui le sera peut etre un jour. Tu enregistres quelqu'un qui joue du piano, et tu veux une partition pour la transcription. Ca interesse beaucoup de gens car c'est un boulot fastidieux.

Ca parait tres tres simple car un ordi connait facilement la hauteur d'une note, et ensuite, il suffit de les regrouper, hein Mais:
- y'a des notes simultanées, les accords, qui ne sont pas jouees exactement simultanément
- y'a du "rubato", on ne joue jamais les notes avec la duree inscrite sur la partition, sinon c'est moche, on etire le tempo a certains moments, on le contracte a d'autres.
- certains rythmes n'ont pas de notation écrite : une double croche veut parfois juste dire "tres court" et c'est le contexte musical qui dit comment on choisit la longueur de la note jouée.
- les notes se chevauchent ou sont disjointes suivant les instants en fonction de la texture sonore qu'on veut communiquer ( on parle de style legato ou staccato).

Meme le cas le plus simple, c'est a dire prendre les notes exactes données par un clavier electronique midi, et les organiser temporellement semble tres difficile.

Pour le coup, on est sur des petits problemes, tres loin de la complexité de la conduite humaine ou de la traduction, et c'est deja tres difficile. Si ce genre de problemes etait faisable, ce serait deja chouette. Ca me semble de l'ordre du possible.

[kercoz]

Le premier transport en france est entièrement automatisé. C'est l' ascenseur.
https://immobilier.lefigaro.fr/article/ ... 2e77b1716/
"""Selon une estimation de la Fédération française des ascenseurs, il assure 100 millions de trajets par jour en France et parcourt un million de kilomètres, soit 25 fois le tour de la Terre. """

C'est curieux. Il n'est pas question que je monte ds un train, voiture ou métro sans conducteur...mais j' utilise qqs fois l' ascenseur sans rechigner....c'est vrais qu'ils sont équipés de parachutes !