Temps de lecture : 3 min
Lancée en 2015, BeMyEyes est une application pour smartphone qui regroupe une communauté mondiale de personnes malvoyantes ou aveugles et de bénévoles voyants. L’utilisateur qui demande de l’aide via l’application est mis en contact vidéo avec un volontaire, selon la géolocalisation et le fuseau horaire. L’assistance visuelle ainsi fournie permet par exemple de distinguer les couleurs des vêtements, vérifier si les lumières sont allumées ou préparer le dîner.
Les développeurs de l’application, qui compte plus de 6 millions de volontaires, souhaitent améliorer l’accessibilité de leur outil avec l’intégration d’un « volontaire virtuel », géré par l’intelligence artificielle (IA) de deep learning GPT-4*. Un nouveau modèle de l’outil ChatGPT qui fait beaucoup parler de lui et que nous avions d’ailleurs soumis à un exercice du BTS-OL.
Le but : fournir aux personnes malvoyantes ou aveugles de « nouvelles ressources pour mieux naviguer dans les environnements physiques, répondre aux besoins quotidiens et gagner en indépendance ».
Convertir l'image en texte
Mais comment ça marche concrètement ? Le nouveau modèle de langage GPT-4 contient un générateur dynamique qui convertit l’image en texte. Les utilisateurs peuvent donc envoyer des images via l’application et le « volontaire virtuel » répond à toute question concernant cette image. Par exemple, si l’utilisateur envoie une photo de l’intérieur de son réfrigérateur, l’application pourra identifier ce qui se trouve à l’intérieur et même extrapoler en proposant des recettes à partir des ingrédients identifiés.
L’application ne va néanmoins pas se séparer des volontaires en chair et en os qui seront sollicités si l’intelligence artificielle ne parvient pas à répondre à une question ou à apporter une solution. La fonctionnalité « volontaire virtuel » est actuellement en bêta et devrait être disponible « plus tard cette année ».
*Sur le site du développeur OpenAI, l’outil GPT-4 est ainsi décrit : GPT-4 est un modèle multimodal (acceptant des entrées d’image et de texte, émettant des sorties de texte) qui, bien que moins capable que les humains dans de nombreux scénarios du monde réel, présente des performances de niveau humain sur diverses références professionnelles et académiques.
Vous avez la parole !
pour pouvoir poster des commentaires
Nos lecteurs ont aussi lu...
Light-Form : des verres progressifs personnalisés fabriqués en quelques secondes avec un flash lumineux
Publié le 05 novembre 2026
La société espagnole IOT (Indizen Optical Technologies) a récemment dévoilé Light-Form, une technologie de fabrication qui permet de produire des verres progressifs…
Freination de la myopie : une orthoptiste française récompensée pour le suivi d'une jeune patiente prémyope
Publié le 27 octobre 2026
Peut-on agir avant même l'apparition de la myopie ? C'est la question soulevée par le cas clinique présenté par Marion Wolff, orthoptiste à Barr et Obernai (Bas-Rhin),…
L’imagerie rétinienne face au piège des images virtuelles créées par IA
Publié le 31 août 2026
Une récente étude scientifique met en garde contre les dérives de la synthèse d'images rétiniennes par intelligence artificielle.
Les dernières news
Renouvellement des lunettes à trois ans : les économies attendues pourraient coûter cher à l'État
Publié le 17 novembre 2026
En portant de deux à trois ans le délai de renouvellement des équipements optiques remboursés, le Sénat entend limiter les dépenses de santé. Mais, si cette mesure était…
Renouvellement optique tous les 3 ans : que prévoit l’amendement adopté par le Sénat pour 2027 ?
Publié le 17 novembre 2026
Le Sénat vient d’adopter, en première lecture, l’amendement n° 585 rectifié bis au projet de loi de financement de la Sécurité sociale (PLFSS) pour 2027. Déposé par la…
Deux pointes blanches sortent de sa paupière : les médecins découvrent une anomalie rarissime
Publié le 17 novembre 2026
Une dent dans l’orbite de l’œil. C’est l’étonnante découverte faite par des médecins chez un adolescent de 16 ans. Le jeune patient avait consulté pour un gonflement…