Peinture au doigt et sculpture 3D en réalité augmentée avec ARKit

Beaucoup de lecteurs d'iDownloadBlog ont vraiment aimé la démo de commande de nourriture d'hier qui rend les aliments virtuels dans une assiette.Nous proposons donc un autre cas d'utilisation nouveau pour le nouveau cadre ARKit d'Apple: la peinture au doigt et la sculpture d'objets 3D à travers la réalité augmentée.

Le développeur Fabin Rasheed a mis au point une application appelée Maker Studio qui vous permet de sculpter et de peindre des objets 3D avec votre doigt ou votre crayon Apple sur un iPad Pro, le tout en réalité augmentée.

Si vous le souhaitez, vous pouvez vous inscrire à la version bêta et aux mises à jour via le site officiel.

«Il s'agit de mon travail récent sur la sculpture et la peinture à l'aide d'ARKit», écrit-il. «C'était une beauté d'utiliser l'Apple Pencil pour sculpter et peindre et ARKit y a donné une perspective.»

Je ne sais pas à quel point la modélisation 3D est pratique en réalité augmentée, mais la démo a l'air amusante.

Un artiste 3D pourrait utiliser une plate-forme complète de modélisation et de peinture ARKit comme celle-ci pour visualiser à peu près n'importe quoi. Les architectes pourraient facilement modéliser des extensions pour des bâtiments préexistants avec elle, les concepteurs pourraient habiller les modèles virtuels dans leurs dernières tenues, etc..

Une autre démo vient du développeur Osama Abdel-Karim, qui a construit son application en utilisant une combinaison des cadres ARKit et Vision d'iOS 11 pour créer l'effet de peinture au doigt.

Selon Oussama:

Vision Framework est l'une des bibliothèques intéressantes introduites par Apple dans iOS 11. Il fournit certaines techniques de vision par ordinateur d'une manière assez pratique et efficace. En particulier, nous allons utiliser la technique de suivi des objets.

Le suivi d'objets fonctionne comme suit: Premièrement, nous lui fournissons une image et les coordonnées d'un carré dans les limites de l'image pour l'objet que nous voulons suivre. Après cela, nous appelons une fonction pour initialiser le suivi. Enfin, nous alimentons une nouvelle image dans laquelle la position de cet objet a changé et le résultat d'analyse de l'opération précédente.

Compte tenu de cela, il retournera pour nous le nouvel emplacement de l'objet.

Apple proposera très probablement des applications basées sur ARKit dans une section spéciale sur l'App Store.

La société a déclaré que les applications ARKit nécessiteraient un iPhone ou un iPad avec le processeur A9, A10 ou ultérieur, ce qui signifie que les propriétaires d'iPhone 6, iPad Air 2 et des appareils plus anciens seront laissés de côté dans le froid.