Depth camera indoor mapping for 3D virtual radio play

被引:13
|
作者
Virtanen, Juho-Pekka [1 ]
Kurkela, Matti [1 ]
Turppa, Tuomas [2 ]
Vaaja, Matti T. [1 ]
Julin, Arttu [1 ]
Kukko, Antero [2 ]
Hyyppa, Juha [2 ]
Ahlavuo, Marika [1 ,3 ]
von Numers, Jessica Eden [4 ]
Haggren, Henrik [1 ]
Hyyppa, Hannu [1 ]
机构
[1] Aalto Univ, Sch Engn, Espoo, Finland
[2] Finnish Geospatial Res Inst FGI, Masala, Finland
[3] HUMAK Univ Appl Sci, Helsinki, Finland
[4] Swedish Yle, Helsinki, Finland
来源
PHOTOGRAMMETRIC RECORD | 2018年 / 33卷 / 162期
基金
芬兰科学院;
关键词
depth camera; game engine; game engine optimisation; indoor mapping; virtual environment; WORLD; PHOTOGRAMMETRY; SIMULATION; ACCURACY; REALITY;
D O I
10.1111/phor.12239
中图分类号
P9 [自然地理学];
学科分类号
0705 ; 070501 ;
摘要
By combining game engines with indoor mapping, it is possible to create interactive virtual environments that represent the real world. In this paper a virtual version of an audio installation in a historic building is produced, where the user freely explores the building and experiences a set of audio clips, creating a virtual radio play. A depth camera indoor mapping system, Matterport, captured a set of staged interiors. The aim was to evaluate the quality and usability of the indoor models and to demonstrate applying them in 3D application development. The quality of the models was evaluated by comparison with laser scanning, revealing limitations with Matterport: increasing the size of the measured area lowered the level of detail and accuracy of volumetric models. The quality of textures was not affected by this limitation, maintaining the appearance of models. To obtain optimised models for mobile 3D applications, a manual revision process was applied. Resume En combinant les moteurs de jeu avec la cartographie d'interieur, il est possible de creer des environnements virtuels interactifs qui representent le monde reel. Dans cet article, une version virtuelle d'une installation audio dans un batiment historique est produite, oU l'utilisateur explore librement le batiment et peut ecouter un ensemble de clips audio, creant une piece radiophonique virtuelle. Un systeme de cartographie d'interieur base sur une camera de profondeur, Matterport, a capture un ensemble de scenes d'interieur. Le but etait d'evaluer la qualite et la facilite d'utilisation des modeles d'interieur et de montrer qu'on pouvait les utiliser dans le developpement d'applications 3D. La qualite des modeles a ete evaluee par comparaison avec un balayage laser, mettant en evidence les limites du systeme Matterport: l'augmentation de l'etendue de la zone relevee degrade le niveau de detail et la precision des modeles volumetriques. La qualite des textures n'est pas affectee par cette limitation ce qui permet de preserver l'apparence des modeles. Afin obtenir des modeles optimises pour les applications 3D mobiles, une revision manuelle a ete mise en OEuvre. Zusammenfassung Durch die Kombination von Spielekonsolen mit Indoor-Mapping, wird es moglich, interaktive virtuelle Welten zur erstellen, die die reale Welt reprasentieren. In diesem Beitrag wird eine virtuelle Version einer Audio-Installation in einem historischen Gebaude erstellt, die es dem Nutzer erlaubt, das Gebaude frei zu erkunden und einen Satz von Audio-Clips zu horen. Mit dem kamerabasierten Indoor-Mapping System Matterport wurde ein Satz von Innenraumen erfasst. Das Ziel war es, die Qualitat der Modelle der Innenraume nachzuweisen und ihre Anwendbarkeit fur die Entwicklung der 3D Anwendungen aufzuzeigen. Die Qualitat der Raummodelle wurde durch einen Vergleich mit Laserscanning evaluiert, wobei die Grenzen von Matterport aufgezeigt wurden: bei der Aufnahme von gro ss eren Messbereichen wird der Detaillierungsgrad und die Genauigkeit der volumetrischen Modelle reduziert. Die Qualitat der Texturen wurde jedoch nicht beeinflusst. Fur optimierte Modelle fur mobile 3D Anwendungen ist eine manuelle Bearbeitung unerlasslich. Resumen Combinando los motores de juegos con tecnicas de cartografia de interior, es posible crear entornos virtuales interactivos que representen el mundo real. En este documento se produce la version virtual de una instalacion de audio en un edificio historico, donde el usuario explora libremente el edificio y experimenta un conjunto de clips de audio, creando una reproduccion virtual de radio. Un sistema de cartografia de interior con una camara de profundidad, Matterport, capto un conjunto de interiores por etapas. El objetivo fue evaluar la calidad y la usabilidad de los modelos de interior y demostrar su aplicacion en el desarrollo de aplicaciones 3D. La calidad de los modelos se evaluo en comparacion con el escaneo laser, revelando las limitaciones del sistema Matterport: al aumentar el tamano del area medida se reduce el nivel de detalle y la precision de los modelos volumetricos. La calidad de las texturas no se vio afectada por esta limitacion, manteniendo la apariencia de los modelos. En la optimizacion de modelos para aplicaciones moviles en 3D, los modelos se revisaron manualmente. ?? ?????????????, ??????????????????????????????????????, ????????????????????, ???????????????????????????????, Matterport, ????????????????????????????????????????, ?????????????????????????????, ??? Matterport ????????????????????, ???????????????????????????????, ?????????????????????????, ?????????????
引用
收藏
页码:171 / 195
页数:25
相关论文
共 50 条
  • [21] 3D INDOOR CORRIDOR MAPPING WITH CALIBRATED ROPs OF A MULTI-FISHEYE CAMERA-RIG
    Syafiq, Muhammad
    Rau, Jiann-Yeou
    Jhan, Jyun-Ping
    7TH INTERNATIONAL WORKSHOP LOWCOST 3D - SENSORS, ALGORITHMS, APPLICATIONS, 2022, 48-2 (W1): : 237 - 242
  • [22] Accuracy of 3D Camera Based Virtual Keyboard
    Hagara, Miroslav
    Pucik, Jozef
    2014 24TH INTERNATIONAL CONFERENCE RADIOELEKTRONIKA (RADIOELEKTRONIKA 2014), 2014,
  • [23] Movement analysis based on virtual reality and 3D depth sensing camera for whole body rehabilitation
    Spezialetti, M.
    Avola, D.
    Placidi, G.
    De Gasperis, G.
    COMPUTATIONAL MODELLING OF OBJECTS REPRESENTED IN IMAGES: FUNDAMENTALS, METHODS AND APPLICATIONS III, 2012, : 367 - 372
  • [24] Low Cost 3D Mapping for Indoor Navigation
    Bergeon, Yves
    Hadda, Imed
    Krivanek, Vaclav
    Motsch, Jean
    Stefek, Alexandr
    INTERNATIONAL CONFERENCE ON MILITARY TECHNOLOGIES (ICMT 2015), 2015, : 689 - 693
  • [25] Improving 3D Indoor Mapping with Motion Data
    Du, Jianhao
    Ou, Yongsheng
    Sheng, Weihua
    2012 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS (ROBIO 2012), 2012,
  • [26] Visual Odometry and 3D Mapping in Indoor Environments
    Wu, Qinfan
    Li, Qing
    Cheng, Nong
    INDUSTRIAL INSTRUMENTATION AND CONTROL SYSTEMS II, PTS 1-3, 2013, 336-338 : 348 - 354
  • [27] 3D Interference Mapping for Indoor IoT Scenarios
    Ivanov, Antoni
    Stoynov, Viktor
    Angelov, Kliment
    Stefanov, Radostin
    Atamyan, Dimitar
    Tonchev, Krasimir
    Poulkov, Vladimir
    2020 43RD INTERNATIONAL CONFERENCE ON TELECOMMUNICATIONS AND SIGNAL PROCESSING (TSP), 2020, : 265 - 269
  • [28] Exploration and Observation Planning for 3D Indoor Mapping
    Okada, Yuki
    Miura, Jun
    2015 IEEE/SICE INTERNATIONAL SYMPOSIUM ON SYSTEM INTEGRATION (SII), 2015, : 599 - 604
  • [29] 3D Indoor Mapping and BIM Reconstruction Editorial
    Bassier, Maarten
    Poux, Florent
    Nikoohemat, Shayan
    REMOTE SENSING, 2023, 15 (07)
  • [30] On the use of depth camera for 3D phenotyping of entire plants
    Chene, Yann
    Rousseau, David
    Lucidarme, Philippe
    Bertheloot, Jessica
    Caffier, Valerie
    Morel, Philippe
    Belin, Etienne
    Chapeau-Blondeau, Francois
    COMPUTERS AND ELECTRONICS IN AGRICULTURE, 2012, 82 : 122 - 127