Iryss une application qui utilise l'apprentissage automatique pour identifier les objets

Il y a d'innombrables nouvelles fonctionnalités à exploiter dans iOS 11, mais beaucoup d'entre elles sont sous le capot sous la forme d'API et nécessitent des applications App Store pour obtenir le plein effet.

Iryss est une nouvelle application développée par Florian Hebrard, mieux connue par la communauté des jailbreaks Ziph0n, qui profite de la toute nouvelle API CoreML (Machine Learning) d'Apple pour reconnaître les objets autour de vous en temps réel.

Utiliser Iryss est aussi simple que de pointer votre appareil photo vers quelque chose. En quelques millisecondes, l'application devine ce qu'est l'objet dans le cadre au moyen d'un texte à l'écran. Alternativement, vous pouvez configurer l'application pour annoncer à haute voix les détections d'objets.

Iryss peut reconnaître des objets animés et inanimés. Dans le cas des animaux, l'application est suffisamment intelligente pour distinguer les races ou les espèces communes.

Il existe quelques paramètres que vous pouvez configurer dans l'application Iryss pour que cela fonctionne comme vous le souhaitez:

Ici, vous pouvez forcer l'application à annoncer ce qu'elle détecte à haute voix plutôt que de simplement l'afficher sous forme de texte, et vous pouvez également activer la rétroaction haptique pour indiquer une identification d'objet réussie. Étant donné que l'application est financée par la publicité, vous trouverez également un achat dans l'application dans ce volet de préférences pour acheter les annonces..

Alors, comment fonctionne l'application? C'est bon, mais pas parfait. Peut-être plus souvent que vous ne le souhaiteriez, l'application identifiera incorrectement un objet comme quelque chose qu'il n'est pas. À titre d'exemple, ce gumball est détecté comme un «flacon de pilules», probablement en raison des points colorés à l'intérieur:

Une chose que j'ai trouvée comme un obstacle important à la fonctionnalité de l'application est de mauvaises conditions photographiques. Pour vous assurer d'obtenir les lectures les plus précises, je vous recommande de vous assurer d'avoir les meilleures conditions d'éclairage possibles et que vous êtes suffisamment loin d'un objet pour que le tout soit dans le cadre.

Le développeur me dit que même si les détections d'objets ne peuvent pas toujours être correctes, elles peuvent toujours être améliorées. Grâce à la simplicité de l'apprentissage automatique permettant aux développeurs de créer des applications de cette nature, les mises à jour régulières d'Iryss devraient être capables d'améliorer sa précision au fil du temps.

Iryss semble certainement fantaisiste pour la plupart des utilisateurs à première vue, mais du haut de ma tête, je peux penser à au moins deux utilisations dans le monde réel où l'application pourrait être utile, telles que:

  1. Lorsque quelqu'un a du mal à voir et a besoin de l'iPhone pour le faire, Iryss peut faire des annonces vocales pour dire à cette personne ce qui l'entoure.
  2. Lorsque les parents veulent faciliter l'apprentissage des objets / noms pour leur enfant à un jeune âge, l'enfant peut jouer avec Iryss pour en savoir plus sur les objets qui les entourent et ce qu'ils appellent.

Pour les autres utilisateurs, Iryss n'est vraiment qu'une application de preuve de concept avec laquelle vous pouvez jouer pour le plaisir.

Si vous êtes intéressé à essayer Iryss par vous-même, c'est un téléchargement gratuit sur l'App Store. C'est un excellent moyen de voir de quoi le Machine Learning est capable dans iOS 11, et vous pouvez vous attendre à ce que cette API rende possible de nombreuses autres applications incroyables à l'avenir.

Aimez-vous le concept derrière Iryss? Partagez votre opinion dans les commentaires ci-dessous.