Google continue d'avancer dans le développement de son assistant d'intelligence artificielle et la dernière mise à jour de Gémeaux Apportez avec lui une amélioration clé: la possibilité de voir et de comprendre ce qui se passe sur l'écran du téléphone. Cette nouvelle fonctionnalité a été possible grâce à l'intégration de la technologie de Projet Astraune avancée qui cherche à donner l'IA d'un contexte et d'une compréhension visuelle plus importants.
Avec cette fonctionnalité, l'assistant peut interpréter le contenu que l'utilisateur a ouvert sur son appareil et fournir Informations utiles en fonction. Cela signifie que maintenant vous pouvez interroger Gemini sur un site Web que vous visitez, une application utilisée ou tout autre élément visible à l'écran. Pour apprendre à accéder plus facilement aux Gémeaux, vous pouvez consulter comment accéder aux Gémeaux à partir de l'écran bloqué sur Android.
Gemini interagit maintenant avec le contenu de votre mobile
La mise à jour permet également aux Gémeaux de traiter les informations capturées par la caméra pour smartphone. Cela signifie que les utilisateurs peuvent viser la caméra à un objet ou à un texte et effectuer Consultations connexes avec ce qu'ils voient. L'outil est capable d'analyser les images et temps réelqui ouvre une gamme de possibilités dans des domaines tels que l'éducation, la productivité et l'accessibilité. Les Gémeaux sont devenus plus polyvalents et peuvent désormais être utilisés dans des situations quotidiennes grâce à l'intégration des fonctions qui facilitent leur utilisation.
Pour le moment, la possibilité de partager l'écran avec les Gémeaux pour obtenir une assistance en temps réel est limitée à Utilisateurs avec Google One AI Premium abonnementdans le plan Gemini avancé. De plus, la fonction n'est disponible qu'en anglais et pour un petit groupe d'utilisateurs, bien que son déploiement devrait continuer dans plus de régions et de langues dans les prochains mois. Si vous voulez en savoir plus sur la façon d'utiliser Gemini sur Android Auto, vous avez ici comment Gemini Live fonctionne sur Android Auto.
Article connexe:
Google remplace l'assistant par Gemini sur Android: comment et quand le changement sera effectué
Projet Astra: la clé de cette innovation
La vision et la fonctionnalité de la caméra des Gémeaux sont basées sur Projet Astraune plate-forme développée par Google Deepmind dont l'objectif est Améliorer le contexte des interactions avec l'intelligence artificielle. Cette technologie permet aux participants numériques de comprendre et de se souvenir de ce que l'utilisateur voit et écoute, fournissant Réponses plus précises et pertinentes.
Project Astra donne aux modèles AI la possibilité de traiter les cadres vidéo en temps réel, combinant Entrées audio et vidéo Dans une ligne temporelle cohérente. De plus, il permet de stocker des informations sur le cache pour améliorer la vitesse de réponse et maintenir la continuité des interactions avec les utilisateurs. Si vous voulez en savoir plus sur les nouvelles fonctions offertes par Gemini, vous pouvez consulter les cinq nouvelles fonctions des Gémeaux.
Les Gémeaux peuvent également convertir des informations en résumés audio
Avec la nouvelle fonction de vision, Google a ajouté une autre amélioration intéressante aux Gémeaux: la génération de Résumés audio. Avec cette option, l'assistant peut convertir n'importe quel document ou consultation effectué dans l'outil de recherche en profondeur Recherche profonde Dans un récit de style podcast.
Pour activer cette fonction, les utilisateurs peuvent sélectionner l'option «Générer un résumé audio» Dans l'interface Gemini. Cela vous permet d'écouter Articles ou documents longs confortablement et sans les lire à l'écran. Pour l'instant, cette fonctionnalité n'est disponible que pour les abonnés Gemini Advanced en anglais, mais il devrait bientôt atteindre plus de langues. Vous pouvez également découvrir comment utiliser les Gemini à Gmail, en visitant ce lien sur les Gémeaux à Gmail.
Avec ces mises à jour, Google continue de consolider les Gémeaux en tant qu'assistant d'intelligence artificielle de plus en plus polyvalente et avec un intégration la plus profonde dans l'utilisation quotidienne des appareils mobiles. La possibilité de comprendre le contenu de l'écran et de générer des résumés audio est des progrès importants qui peuvent faire une différence dans la façon dont les utilisateurs interagissent avec leurs smartphones.
Article connexe:
Gemini pour Android est devenu plus intelligent: 3 fonctions que vous devriez essayer