La recherche visuelle en réalité virtuelle

La réalité virtuelle est, depuis ses débuts, largement utilisée dans la formation. En effet, elle permet de recréer et expérimenter une situation particulière tout en gardant le contrôle sur le déroulement des actions. Les environnements virtuels sont donc des outils d’apprentissage hautement disponibles, flexibles, sans risque et permettant à l’apprenant de progresser à son propre rythme. En outre, la simulation est sécurisante, elle permet à l’utilisateur d’explorer et agir sans conséquence dans le monde réel. De ce fait, le passage vers la situation et l’équipement réel est facilité, comme le montrent des études dans les domaines de la rééducation [1] [2], de la formation militaire [3] ou de la formation en génie mécanique [4]. Concernant l’analyse de données, comme indiqué par Sommer et al. [5], la réalité virtuelle permet de créer une immersion dans les données, fournissant ainsi de nouvelles techniques et outils de visualisation et d’analyse [6]. Ce nouvel axe de recherche, appelé “Immersive Analytics”, intéresse de plus en plus de communautés pour faire face à l'analyse de données de plus en plus complexes et volumineuses [7][8]

Autant dans l’analyse de données que dans la formation, il est nécessaire de fournir à l’utilisateur des affordances (pour interagir « intuitivement » avec les objets) et de maintenir son attention pour créer un processus performant de prise de décision et d’apprentissage. Mais, dans la réalité virtuelle, l’utilisateur est immergé dans un environnement artificiel, où il est libre d’explorer l’espace. Cela signifie qu’il peut réaliser d’autres actions que celles lui permettant de s’entrainer ou de manipuler les données. Il est donc important d’étudier les mécanismes de l’attention et de la présence/engagement pour définir un guidage permettant à l’utilisateur d’accomplir de manière efficace ses tâches. Cette problématique est au centre de plusieurs travaux récents mais restreints pour l’instant à des situations peu dynamiques, limitant les fonctionnalités de la réalité virtuelle en termes de liberté de navigation et des techniques d’interaction [9][10].

Nous nous intéressons donc dans cette thèse à explorer les mécanismes à utiliser dans la réalité virtuelle pour créer des environnements virtuels permettant d’engager cognitivement l’utilisateur en utilisant des affordances, et en tenant compte du niveau d’attention de l’utilisateur. Nous nous appuierons sur les travaux réalisés dans l’équipe Advanse du LIRMM concernant la recherche visuelle et le lien avec les caractéristiques des objets (couleur, forme, taille, contraste,…) dans un contexte 2D [11][12] en s’appuyant sur l’oculométrie [2]. Les études effectuées dans ce cadre nous permettront de définir une base pour étudier la possibilité de leur transposition en réalité virtuelle et donc en 3D.

• Réaliser un état de l’art des études de recherche visuelle et de l’attention en réalité virtuelle
• Réaliser une étude de la perception de caractéristiques visuelles 2D. Cette étape bénéficiera des développements déjà réalisés dans l’équipe
• Identifier et formaliser la perception de la variation des caractéristiques visuelles en 2D et la possibilité de leur transposition en réalité virtuelle, pour définir un modèle d’affordance
• Grâce au modèle proposé et aux techniques d’oculométrie, développer et évaluer une approche en réalité virtuelle permettant au système d’évaluer le niveau d’attention de l’utilisateur et d’y répondre en utilisant l’analyse des traces utilisateur
• Utiliser l’approche définie pour étudier l’engagement et la performance de l’utilisateur lors de la réalisation d’une tâche d’analyse de données en Immersive Analytics

La thèse se déroulera au laboratoire LIRMM à Montpellier sous la direction de Nancy Rodriguez, Sandra Bringay et Pascal Poncelet, enseignants-chercheurs dans l’équipe Advanse. Les candidats sont invités à envoyer par courriel (nancy.rodriguez@lirmm.fr) une lettre de motivation et un curriculum vitae décrivant en détail les projets réalisés ainsi que leur formation universitaire, y compris les modules suivis et les notes attribuées.

Profil recherché :

Nous cherchons un(e) candidat(e) enthousiaste et intéressé(e) par les thématiques énoncées, avec l’envie de travailler dans un cadre pluri-disciplinaire et avec un relationnel adaptable aux différents contextes demandés (études utilisateur). La maitrise du français et de l’anglais scientifique est indispensable, ainsi qu’une capacité de synthèse et un bon rédactionnel. Une expérience en développement de systèmes de réalité virtuelle et/ou d’outils de visualisation de données serait un plus.

Master 2 en Informatique, bonne expérience en programmation

Enthousiasme, autonomie, initiative

Travail en équipe, bon relationnel

Développement en réalité virtuelle et/ou visualisation

Français, anglais scientifique, bon rédactionnel

Visual search in virtual reality

Training is an application area perfectly suited to virtual reality. Virtual reality allows to recreate and experiment particular situations while keeping control. Virtual environments are therefore highly available, flexible, risk-free learning tools that allow learners to progress at their own pace. In addition, simulations are safe, the user can explore and test without real world risks. As a result, the transition to the actual situation and equipment is facilitated, as shown by studies in the fields of rehabilitation [1] [2], military training [3] or training in mechanical engineering [4].In data analysis domain, as reported by Sommer et al. [5], virtual reality offer new opportunities for visualization, interaction and analysis[6]. This new line of research, called "Immersive Analytics", interests several communities dealing with big data. [7][8]

In data analysis as well as in training, it is necessary to provide the user with affordances (to interact "intuitively" with the objects) and to maintain his her its attention to create a powerful process of decision-making and learning. But in virtual reality, the user is immersed in an artificial environment, which she is free to explore. This means that she can perform other actions than those that allow her to practice or manipulate the data. It is therefore important to study the mechanisms of attention and presence / engagement to define a guidance allowing the user to perform her tasks effectively. This issue is at the center of several recent works, but for the moment they are only studying situations that are not very dynamic, limiting the functionalities of virtual reality in terms of freedom of navigation and interaction techniques[9][10].

We are therefore interested in exploring the mechanisms to be used in virtual reality to create virtual environments engaging the user cognitively by using affordances and taking into account her level of attention. We will build on the work done in the Advanse team of the LIRMM concerning visual search and the link with the characteristics of the objects (color, shape, size, contrast, ...) in a 2D context [11][12], integrating eye-tracking techniques [2]. The studies carried out in this context will allow us to define a basis for studying the potential of their transposition into virtual reality and thus in 3D.

• Write a literature review of visual research studies and attention in virtual reality
• Carry out a study of the perception of 2D visual characteristics. This stage will benefit from developments already made in the team
• Identify and formalize the perception of the variation of visual characteristics in 2D and the potential of their transposition in virtual reality, to define a model of affordance
• Using the proposed model, with the support of eye tracking and user traces analysis, to develop and evaluate a virtual reality approach that allows the system to assess and respond to the user's attention level
• Use the defined approach to study the engagement and performance of the user when performing a data analysis task in Immersive Analytics

Qualifications

We are looking for candidates with:

• a strong interest in research in virtual reality and immersive analytics
• a Master’s degree in computer science/engineering, with demonstrable coding skills
• English oral and writing skills. French may be advantageous
• good communication skills, the candidate is expected to work in a interdisciplinary environment
• experience or interests in virtual reality or visualization systems development

Master's degree in computer science/engineering, solid background in programming

Enthousiasm, autonomy, initiative

Collaboration, good interpersonal skills

Virtual reality or visualization development experience

French, English oral and writing skills

Bibliography

1. A. Kim, N. Schweighofer, J. M. Finley. Locomotor skill acquisition in virtual reality shows sustained transfer to the real world. Journal of NeuroEngineering and Rehabilitation (2019) 16:113
2. N. Rodriguez. Identifying accessibility conditions for children with multiple disabilities: a Virtual Reality Wheelchair simulator, Virtual and Augmented Reality for Good - ISMAR, Munich, 2018
3. J.-D. Taupiac, N. Rodriguez, O. Strauss, M. Rabier. Ad-hoc study on soldiers calibration procedure in Virtual Reality. IEEE Conference on Virtual Reality and 3D User Interfaces, Osaka, Japon, 2019
4. N. Muller. Métaphores d’interaction pour la formation dans des environnements virtuels immersifs : application à Meca 3D. Thèse de Doctorat, Université Toulouse 3 Paul Sabatier, 2019
5. B. Sommer, M. Baaden, M. Krone, A. Woods. From Virtual Reality to Immersive Analytics in Bioinformatics. Journal of Integrative Bioinformatics. Jul 9; 15(2). 2018
6. G. Cliquet, F. Picarougne, M. Perreira, Y. Prie, T. Vigier. Towards HMD-based Immersive Analytics. Workshop on Immersive Analytics: Exploring Future Interaction and Visualization Technologies for Data Analytics. Workshop at IEEE VIS, Phoenix, 2017
7. C. Donalek, S. G. Djorgovski, A. Cioc, A. Wang, J. Zhang, et al.. Immersive and Collaborative Data Visualization Using Virtual Reality Platforms, IEEE International Conference on Big Data, 2014
8. M. Cordeil, A. Cunningham, B. Bach, C. Hurter, B. Thomas, et al.. IATK: An Immersive Analytics Toolkit. VR 2019 IEEE Conference on Virtual Reality and 3D User Interfaces, Mar 2019, Osaka, Japan
9. V . Sitzmann, A. Serrano, A. Pavel, M. Agrawala, D. Gutierrez, B. Masia, G. Wetzstein. Saliency in VR : How do people explore virtual environments ? IEEE Transactions on Visualization and Computer Graphics. Vol 24, No 4, April 2018
10. B. Olk, A. Dinu, D. J. Zielinski, R. Kopper Measuring visual search and distraction in immersive virtual reality.. Royal Society Open Science. 5 :172331, 2018
11. T. Rossa, P. Pompidor, N. Rodriguez, A. Salaberry, M. Urbanski, C. Bourlon, A. Seilles, G. Tallon. Experimental web service and eye-tracking setup for unilateral spatial neglect assessment. HCI International Conference 2019, Orlando, USA, 2019
12. A Kristjansson, P Vuilleumier, P Malhotra, M Husain, J Driver. Priming of color and position during visual search in unilateral spatial neglect. Journal of Cognitive Neuroscience 17 :6, pp 859-873