IA Intelligence Artificielle

[GillesH38]

je ne sais pas si il faut placer ça dans un sujet IA ou dans un sujet humour ... voilà ce qu'une IA engendre quand on lui demande de créer l'image d'une scène de plus en plus "normale"

https://threadreaderapp.com/thread/1734 ... 39784.html

je ne ferai que deux commentaires :

a) les images censées être "tout à fait normales" du début ne le sont pas tant que ça si on regarde bien tous les détails

b) l'IA a une supériorité évidente sur l'être humain, c'est sa patience !

[Jeuf]

je ne sais pas si il faut placer ça dans un sujet IA ou dans un sujet humour ... voilà ce qu'une IA engendre quand on lui demande de créer l'image d'une scène de plus en plus "normale"

https://threadreaderapp.com/thread/1734 ... 39784.html

je ne ferai que deux commentaires :

a) les images censées être "tout à fait normales" du début ne le sont pas tant que ça si on regarde bien tous les détails

b) l'IA a une supériorité évidente sur l'être humain, c'est sa patience !

Je survole
je vois pas ce qu'on veut prouver avec cet échange. Le narrateur a l'air de s'énerver à réclamer quelque chose de normal.
ça ne veut rien dire

Je trouve que les dessins générés sont très créatifs. ça a du consommer de l'électricité à réfléchir à tout ça.
Et l'IA est très patiente en effet.

[tita]

Mon avis est aussi que plus de technologie équivaut à plus de conso énergétique. Pour différentes raisons.

Ne serait-ce que parce que la libération d'activités engendre la création de nouvelles activités.

C’est une raison intéressante mais insuffisante. Par exemple si on remplace un chroniqueur de sport pour créer 1000 textes, le coût environnemental sera d’un sixième de chargeur (selon les données de cet article), moins le coût environnemental de former un chroniqueur de sport, moins le coût environnemental associé à son travail (déplacement, locaux, etc). Je ne vois pas comment la consommation de chronique de sport pourrait monter assez pour compenser plus qu’une microscopique fraction de l’économie environnementale.

C’est quoi les autres raisons?

Et tu ne penses pas que le chroniqueur de sport va faire une autre activité ou travail qui va autant consommer que ce qu'il faisait avant?

Sinon, je ne sais pas quelle sera l'utilisation des IA, mais si ça se développe, je doute que ça se limite à remplacer des activités qu'on fait déjà par des machines qui consomment moins. On va plutôt empiler de nouveaux services, de nouveaux trucs, à ce qu'on fait déjà. Très probablement des images animées si la puissance de calcul est là.

[Jeudi]

Mon avis est aussi que plus de technologie équivaut à plus de conso énergétique. Pour différentes raisons.

Ne serait-ce que parce que la libération d'activités engendre la création de nouvelles activités.

C’est une raison intéressante mais insuffisante. Par exemple si on remplace un chroniqueur de sport pour créer 1000 textes, le coût environnemental sera d’un sixième de chargeur (selon les données de cet article), moins le coût environnemental de former un chroniqueur de sport, moins le coût environnemental associé à son travail (déplacement, locaux, etc). Je ne vois pas comment la consommation de chronique de sport pourrait monter assez pour compenser plus qu’une microscopique fraction de l’économie environnementale.

C’est quoi les autres raisons?

Et tu ne penses pas que le chroniqueur de sport va faire une autre activité ou travail qui va autant consommer que ce qu'il faisait avant?

Je pense que ça doit dépendre des empreintes relatives des activités en question. Si le chroniqueur sportif se met à l’acrobatie aérienne, le bilan sera négatif (en l’état actuel de la technologie). S’il devient écrivain en télétravail, probablement pas.

Sinon, je ne sais pas quelle sera l'utilisation des IA, mais si ça se développe, je doute que ça se limite à remplacer des activités qu'on fait déjà par des machines qui consomment moins. On va plutôt empiler de nouveaux services, de nouveaux trucs, à ce qu'on fait déjà. Très probablement des images animées si la puissance de calcul est là.

Des nouveaux services, certainement. Mais on dirait que le coeur de notre désaccord est sur l’empreinte de l’IA. Perso je ne vois pas beaucoup d’activités actuelles avec une empreinte meilleure, alors que tu sembles penser le contraire. Est-ce que tu penses qu’on pourrait se mettre d’accord sur des observables pour trancher cette question?

[Silenius]

L'architecture Mamba necessite 5 fois moins de puissance de calcul que les transformers (architecture classique des LLMs) lors de l'inference. https://arxiv.org/abs/2312.00752

La startup Etched travaille sur un CPU qui implémente les transformers directement sur le silicium et serait 140 fois plus rapide que les GPUs classiques : https://www.etched.ai/

Donc si on executait Mamba directement sur silicium la conso d'energie serait 700 fois plus faible.

[Silenius]

Très probablement des images animées si la puissance de calcul est là.

On peut deja faire des videos de quelques secondes a 1 minute, en 2024 surement beaucoup plus.

[energy_isere]

Une nouvelle problématique de l'IA émerge :

Une IA ne peut pas être à l'origine d'une invention, dit la justice britannique
LONDRES (Reuters) - Un informaticien américain a perdu mercredi sa tentative d'enregistrer des brevets sur des inventions créées par son système d'intelligence artificielle (IA), dans le cadre d'une décision historique en Grande-Bretagne sur la possibilité de l'IA à détenir des droits de brevet.

REUTERS 20 décembre 2023

Stephen Thaler cherchait à obtenir deux brevets au Royaume-Uni pour des inventions qu'il dit avoir été conçues par sa "machine créative" appelée DABUS.

Sa tentative d'enregistrement des brevets a été refusée par l'Office britannique de la propriété intellectuelle au motif que l'inventeur doit être un être humain ou une entreprise, et non une machine.

L'informaticien a fait appel devant la Cour suprême du Royaume-Uni, qui a rejeté sa demande à l'unanimité mercredi, estimant qu'en vertu de la législation britannique sur les brevets, "l'inventeur doit être une personne physique".

"Ce recours ne porte pas sur la question plus large de savoir si les avancées techniques générées par des machines agissant de manière autonome et alimentées par l'IA devraient être brevetables", a déclaré le juge David Kitchin dans l'arrêt écrit de la Cour.


"Il ne porte pas non plus sur la question de savoir si la signification du terme "inventeur" doit être élargie ... pour inclure les machines dotées d'une intelligence artificielle qui génèrent des produits et des processus nouveaux et non évidents dont on peut penser qu'ils offrent des avantages par rapport à des produits et des processus déjà connus".

Les avocats de Stephen Thaler ont déclaré dans un communiqué que "la décision établit que le droit britannique des brevets est actuellement tout à fait inadapté à la protection des inventions générées de manière autonome par des machines d'intelligence artificielle".

Au début de l'année, Stephen Thaler a perdu une requête similaire aux États-Unis, où la Cour suprême a refusé d'entendre un recours contre le refus du Bureau américain des brevets et des marques de délivrer des brevets pour des inventions créées par son système d'intelligence artificielle.

https://www.usinenouvelle.com/article/u ... e.N2205364

[tita]

Mais on dirait que le coeur de notre désaccord est sur l’empreinte de l’IA. Perso je ne vois pas beaucoup d’activités actuelles avec une empreinte meilleure, alors que tu sembles penser le contraire. Est-ce que tu penses qu’on pourrait se mettre d’accord sur des observables pour trancher cette question?

Ben y'a pas grand chose à observer sur l'IA actuellement. On est encore dans la spéculation. Et j'essaie d'observer globalement.

L'informatique a considérablement réduit la consommation de la puissance de calcul. Mais la consommation de l'informatique dans le monde a dans le même temps explosé avec sa démocratisation.

Je pars du principe qu'il en sera de même avec l'IA. Et tu ne vas pas me faire changer d'avis.

[Jeudi]

Mais on dirait que le coeur de notre désaccord est sur l’empreinte de l’IA. Perso je ne vois pas beaucoup d’activités actuelles avec une empreinte meilleure, alors que tu sembles penser le contraire. Est-ce que tu penses qu’on pourrait se mettre d’accord sur des observables pour trancher cette question?

Ben y'a pas grand chose à observer sur l'IA actuellement. On est encore dans la spéculation. Et j'essaie d'observer globalement.

L'informatique a considérablement réduit la consommation de la puissance de calcul. Mais la consommation de l'informatique dans le monde a dans le même temps explosé avec sa démocratisation.

Je pars du principe qu'il en sera de même avec l'IA. Et tu ne vas pas me faire changer d'avis.

Je suis d’accord avec ce point, déçu que tu passes à côté du point intéressant, vexé que tu me prennes pour un prosélyte.

L'architecture Mamba necessite 5 fois moins de puissance de calcul que les transformers (architecture classique des LLMs) lors de l'inference. https://arxiv.org/abs/2312.00752

La startup Etched travaille sur un CPU qui implémente les transformers directement sur le silicium et serait 140 fois plus rapide que les GPUs classiques : https://www.etched.ai/

Donc si on executait Mamba directement sur silicium la conso d'energie serait 700 fois plus faible.

C’est vrai mais un peu trompeur. En mode inference on pourrait assez facilement gagner un facteur 100 sur le voltage (donc un facteur 10000 sur la consommation) en sacrifiant la densité et/ou la fréquence (donc les performances à l’apprentissage). Mais (tant qu’il n’y a pas de robotique de masse) ce serait un peu comme gagner un facteur 10000 sur la consommation d’énergie des essuie-glaces (le gros de la consommation est dans l’entraînement, pas dans les inférences).

[Glycogène]

En mode inference on pourrait assez facilement gagner un facteur 100 sur le voltage (donc un facteur 10000 sur la consommation) en sacrifiant la densité et/ou la fréquence (donc les performances à l’apprentissage).

D'où sors-tu qu'on pourrait gagner un facteur 100 dans la tension des coeurs des processeurs d'IA (ou de n'importe quel processeur) ?
On peut baisser la tension bien sûr, mais pas d'un facteur 100. En sachant que la perte de performance est exponentielle quand on atteint la tension de seuil des transistors.
Par contre on peut peut être gagner un facteur 100 ou 10000 en conso sur une architecture sur laquelle aucune ou très peu d'optimisation de power a été mise en place, mais une fois que c'est fait les gains suivants sont plus limités (mais intéressants quand même). Attention, ces gains énormes sont obtenues dans le cas d'une utilisation intermittente d'un coeur (du genre utilisé 1% du temps => on peut diviser la conso par 100). Mais si on a une architecture et un algo qui optimise à fond l'utilisation du hardware pour gagner du temps de calcul, on ne pourra pas obtenir un gain si important à techno égale (et en changeant de techno on n'a pas des gains si énormes, même si ça reste intéressant quand on divise la conso par 2 ou 5). Malgré tout, c'est toujours utile de mettre en place des systèmes d'optimisation de conso dans les chip.

[Silenius]

(le gros de la consommation est dans l’entraînement, pas dans les inférences).

Alors non. Il est vrai que l’entraînement est extrêmement energivore mais il n'a lieu qu'une fois. Le modele va ensuite tourner pendant environ un an et servir des millions de clients 24h/24, la conso initiale se trouve donc tres diluee au point de devenir negligeable (c'est un truc que j'ai lu, mais flemme de rechercher la source, enfin pas plus que toi )

La puce de Etched est destinee uniquement a l'inference, pas a l’entraînement. Le gain ne se fait pas sur la tension, c'est du Cmos classique, mais parce que les algo sont implementes en dur sur le silicium. Les gpus sont specialises dans les calculs graphiques, a part les Compute Shaders qui sont plus generalistes, et ils sont plus performants que les CPUs pour les calculs matriciels uniquement grace a leur nature massivement parallele.

[energy_isere]

C’est vrai mais un peu trompeur. En mode inference on pourrait assez facilement gagner un facteur 100 sur le voltage (donc un facteur 10000 sur la consommation) en bla bla ......

Ben non les portes logiques en CMOS dans le Silicium sont déjà à des voltage très faible, typiquement 0.9 Volt.
En dessous ca ne marche plus. Dans quelques noeuds technologiques ca sera peut étre 0.7 Volt, mais pas 100 fois moins.

Quand on dit que la puissance baisse, c'est essentiellement parce que le courant baisse pour les millions de transistors. Et un transistor c'est pas une résistance donc le courant qui baisse ne fait pas baisser la tension.

[energy_isere]

En mode inference on pourrait assez facilement gagner un facteur 100 sur le voltage (donc un facteur 10000 sur la consommation) en sacrifiant la densité et/ou la fréquence (donc les performances à l’apprentissage).

D'où sors-tu qu'on pourrait gagner un facteur 100 dans la tension des coeurs des processeurs d'IA (ou de n'importe quel processeur) ?
On peut baisser la tension bien sûr, mais pas d'un facteur 100. En sachant que la perte de performance est exponentielle quand on atteint la tension de seuil des transistors.
Par contre on peut peut être gagner un facteur 100 ou 10000 en conso sur une architecture sur laquelle aucune ou très peu d'optimisation de power a été mise en place, mais une fois que c'est fait les gains suivants sont plus limités (mais intéressants quand même). Attention, ces gains énormes sont obtenues dans le cas d'une utilisation intermittente d'un coeur (du genre utilisé 1% du temps => on peut diviser la conso par 100). Mais si on a une architecture et un algo qui optimise à fond l'utilisation du hardware pour gagner du temps de calcul, on ne pourra pas obtenir un gain si important à techno égale (et en changeant de techno on n'a pas des gains si énormes, même si ça reste intéressant quand on divise la conso par 2 ou 5). Malgré tout, c'est toujours utile de mettre en place des systèmes d'optimisation de conso dans les chip.

Oui, absolument. +1

[Silenius]

Et un transistor c'est pas une résistance donc le courant qui baisse ne fait pas baisser la tension.

Quel est l'effet d'une baisse de la capacitance du gate ?

[Jeudi]

(le gros de la consommation est dans l’entraînement, pas dans les inférences).

Alors non. Il est vrai que l’entraînement est extrêmement energivore mais il n'a lieu qu'une fois. Le modele va ensuite tourner pendant environ un an et servir des millions de clients 24h/24, la conso initiale se trouve donc tres diluee au point de devenir negligeable (c'est un truc que j'ai lu, mais flemme de rechercher la source, enfin pas plus que toi )

Figure A.

https://epochai.org/blog/trading-off-co ... -inference