Google’s Bard est resté à mi-chemin de ce qu’il était censé être, attendant Google I/O dans lequel les gars de Mountain View le montreront probablement à nouveau. Outre ce modèle familier basé sur l’IA, lundi dernier, un groupe de chercheurs en IA de Google et de l’Université technique de Berlin présenté PaLM-E.
[Cómo usar la IA de Bing en cualquier página y hacer que te resuma vídeos y webs]
PaLM-E, un robot très performant
PaLM-E est un robot basé sur un modèle de langage visuel multimodal (VLM) qui se caractérise par sa 562 milliards de paramètres qui intègrent le contrôle robotique par la vision et le langage.
Le groupe de chercheurs en intelligence artificielle de Google et de l’Université technique de Berlin affirme qu’il est le plus grand VLM jamais développé pour effectuer une grande variété de tâches avec la valeur qui signifie qu’il n’a pas besoin d’être recyclé.
Un robot qui pourrait à l’avenir remplacer les tâches ménagères effectuées à la maison
L’Android gratuit
Contrairement à d’autres robots qui doivent être programmés pour certaines tâches, Palm-E peut générer un plan d’action avec une plate-forme robotique armée (développée par Google Robotics) qui exécute des actions par elle-même.
Dans une vidéo partagée par Google lui-même, on voit le robot exécuter l’ordre de retirer un sac de chips d’un tiroir pour qu’à un moment donné, l’un des ingénieurs le remette à sa place afin que PaLM-E, ni en quelques secondes , pouvoir le ramasser à nouveau pour l’amener à la surface du comptoir de la cuisine.
PaLM-E exécute la commande “apportez-moi le sac de chips au comptoir”
Tout ce processus d’actions, via Ars Technicace robot avec IA le fait en analysant les données du caméra intégrée sans avoir besoin de le recycler, ce qui élimine l’intervention humaine à la racine.
Transfère les connaissances acquises d’une tâche à une autre
Un autre exemple est également très illustratif, puisque le modèle PaLM-E pilote un robot à travers différentes tâches aux séquences complexes qui nécessitaient auparavant le guidage d’une personne.
Dans un domaine différent, ici le **même** modèle PaLM-E exact contrôle un robot en temps réel. Ce robot a récemment eu besoin d’une assistance humaine pour le guider dans des tâches à très long horizon (https://t.co/WkjIxMtRVz), mais maintenant PaLM-E peut apprendre ces tâches de manière autonome. pic.twitter.com/f02F74edMV
—Danny Driess (@DannyDriess) 7 mars 2023
Son nom est dû au fait d’être Basé sur LLM, un modèle de langage Google plus large, et pour incorporer les entrées sensorielles et le contrôle robotique. La chose importante à propos de ce modèle de langage est que PaLM-E est toujours en observation constante des données qu’il reçoit à travers les capteurs et les images.
Ensuite, il les encode dans une séquence de vecteurs de la même taille que les jetons de langue. De cette façon, il est capable de « comprendre » les informations visuelles de la même manière qu’il traite le langage, et de la même manière que ChatGPT le fait lorsqu’il interprète tout ce qu’un utilisateur demande ou demande par le biais de texte.
“Le PaLM-E de Google suit l’instruction” obtenez une étoile verte ”
Et c’est que Microsoft est également derrière ChatGPT for Robotics, une enquête dans laquelle les données visuelles et les plus grands modèles de langage pour le contrôle robotique sont combinés de la même manière que cela se fait avec PaLM-E.
Par conséquent, PaLM-E est capable de transférer les connaissances et les compétences acquises d’une tâche à une autrece qui génère finalement des performances plus élevées par rapport à ces modèles de robots monotâches.
presque autodidacte
Les chercheurs qui ont introduit ce robot soutiennent qu’il présente d’énormes capacités telles que le raisonnement en chaîne de pensée multimodal, qui lui permet d’analyser une séquence d’entrées comprenant des informations visuelles et linguistiques, et l’inférence de plusieurs images, afin de les utiliser comme une entrée pour faire une prédiction ou une inférence.
En d’autres termes, au fur et à mesure qu’il est utilisé, il apprend de toutes les tâches assignées pour se complexifier avec le temps. Pour l’instant, l’objectif des chercheurs de Google est explorer les applications PaLM-E dans des scénarios réels tels que la domotique ou les robots pour le secteur industriel.
Il faut garder le mot “Multimodal”, puisqu’il sera une référence dans le monde de l’intelligence artificielle pour que ces robots deviennent capables d’effectuer des tâches quotidiennes comme une même personne.
Cela peut vous intéresser
Suivez les sujets qui vous intéressent