SMARTSENSE, prototip de sistem software pentru activități educaționale și de cercetare bazat pe tehnici de realitate augmentată și geolocalizare

Această lucrare prezintă modul în care modele educaționale grafice 3D, virtuale, pot fi integrate prin tehnici de realitate augmentată în sisteme tehnologice complexe ce pot transforma orice spațiu real, deschis, într-o zonă educațională sau de cercetare permanentă. Modelele educaționale pot fi amplasate în puncte de informare turistică, pavilioane, zone de servire a mesei (picnicuri), tabere, păduri, ape etc., ușor accesibile elevilor, studenților sau cercetătorilor. Soluția tehnologică propusă este construită în jurul următoarelor elemente: o hartă interactivă multistrat, disponibilă atât pentru dispozitive mobile, cât și pentru desktop, o componentă de realitate augmentată și o componentă de administrare. Astfel, cercetarea actuală pune accent pe faptul că experiența realității augmentate este imposibil de reprodus prin medii tehnologice convenționale, putând interconecta, într-o vizualizare tridimensională, elemente eterogene din spații și perioade de timp diferite.

SMARTSENSE își propune utilizarea tehnologiilor specifice recunoașterii audio-vizuale și realitate augmentata, în contextul unui areal geografic de interes, prin realizarea unei platforme tehnologice prototip, în cadrul biosferei Delta Dunării, cu scopul de a oferi o suită de produse tehnologice, ușor accesibile celor care desfășoară activități educative și de cercetare în acest areal. Prin abordarea cu totul inovativă, atât nivelul de interes al elevilor, cât și cunoașterea dobândită de aceștia, va crește cu siguranță.

Soluția tehnologică propusă este construită în jurul următoarelor elemente: o hartă interactivă multistrat, disponibilă atât pentru dispozitive mobile, cât și pentru desktop, o componentă de realitate augmentată și o componenta de administrare a continutului.

În ceea ce privește arhitectura platformei tehnologice pentru cercetarea/promovarea biosferei Delta Dunării, din perspectiva tehnologiilor recunoaștere vizuală și vizualizare computerizată, aceasta a fost concepută plecând de la conceptele întâlnite în arhitecturile Vuforia și Wikitude, acestea fiind și unele dintre cele mai cunoscute SDK-uri pentru dezvoltarea soluțiilor de recunoaștere vizuală.

Pentru componenta de realitate augmentata mediul de dezvoltare ales este Unity 3D. In general, Unity 3D este folosit pentru dezvoltarea de jocuri dar și de aplicații multimedia, aplicații de realitate virtuală și augmentată. Un alt factor ce a dus la alegerea acestei soluții este posibilitatea rapidă de export a aplicației mobile pentru principalele sisteme de operare ce rulează pe majoritatea dispozitivelor mobile actuale, si anume Android și iOS.

La dezvoltarea hărții interactive multistrat s-a optat pentru folosirea tehnologiilor OpenStreetMaps și React.

React (cunoscută și sub numele de React.js sau ReactJS) este o bibliotecă JavaScript open-source pentru construirea de interfețe de utilizator. React respectă arhitectura MVC (Model – View – Controller) și oferă niște reguli de „data flow” foarte clare, este potrivit pentru proiecte mari, poate fi integrat foarte ușor cu diverse module denpm, prezintă tehnologia virtual DOM. De asemenea, modelele se realizează ușor, este facilă manipularea stării aplicației în orice moment, este scalabil și flexibil.

Tot pentru dezvoltarea componentei de administrare, care stochează și servește toate datele prezente în aplicație, am folosit sistemul de baze de date PostgreSQL și framework-ul Laravel, cel mai popular framework PHP până în prezent.

1. Arhitectura SmartSense

În contextul scenariilor, experiențelor și perspectivelor identificate poate fi definită conceptual arhitectura platformei tehnologice cadru de recunoaștere vizuală. Astfel, aceasta a fost concepută pe trei niveluri de abstractizare, respectiv: generarea, managementul și vizualizarea conținutului. După cum se poate observa in figura 1, nivelul responsabil cu generarea conținutului este bazat pe procese precum: achiziție, modelare și rafinare. Acestea sunt procese specifice societății cunoașterii, reprezentând modalități de gestionare a datelor, informației și cunoașterii, managementul conținutului și vizualizare. Nivelul responsabil cu managementul conținutului se referă atât la stocarea conținutului generat pe nivelul 1, cât și la formalizarea experiențelor propuse, asociate de altfel, aceluiași conținut. Al treilea nivel de abstractizare, respectiv vizualizarea conținutului,  este nivelul cel mai apropiat utilizatorului final, fiind responsabil cu prezentarea conținutului într-o manieră prietenoasă, scalabilă, intuitivă și interactivă.

În continuare, pe baza nivelurilor de abstractizare prezentate în figura 1, putem defini arhitectura platformei de recunoaștere vizuală, din perspectiva componentelor funcționale, ansamblu de componente ce practic va defini întreaga funcționalitate a cadrului tehnologic (Fig. 2).

Deoarece se folosește o arhitectura client-server, s-a optat pentru folosirea unui API de tip REST (Representational State Transfer) care permite comunicarea bidirectionala între interfața de administrare a conținutului și interfața de prezentare afișată utilizatorului.

Astfel baza de date nu este accesată direct de interfața de prezentare, ci este trecută prin layerul API care este simplu de folosit, flexibil si rapid.

2. Harta interactivă multistrat

Folosind harta interactivă multistrat utilizatorul, elev sau cadru didactic, poate accesa și vizualiza simultan diferite categorii eterogene de informație. Spre exemplu locațiile punctelor cu experiențe augmentate atașate, distanța pana la acestea relativ cu poziția lui, respectiv o scurta descriere a fiecărei experiențe augmentate.

La accesarea hărții interactive se determina poziția utilizatorului, prin tehnologii de geolocalizare, folosind folosind coordonatele GPS ale telefonului, și îi sunt prezentate experiențele cele mai apropiate de el. Astfel, folosind harta interactivă, elevii și cadrele didactice pot identifica și localiza cu ușurință conținut educativ relevant pentru ei.

3. Componenta de realitate augmentată

Din punct de vedere tehnic, acoperirea unei zone cu informație vizuală suplimentară (accesibilă prin recunoașterea vizuală și realitate augmentata) nu va avea impact asupra mediului înconjurător, principalele elemente folosite fiind marcaje specifice de mici dimensiuni, respectiv poziționare GPS, care nu necesită intervenții speciale. Utilizarea instrumentelor de recunoaștere vizuală corespunde diferitelor tipuri de conținut. Astfel, se vor putea defini conținuturi referitoare la floră, faună, cultură, istorie.

Utilizatorii sistemului ce interacționează cu elementele considerate puncte de interes vor putea alege diferite experiențe educaționale conceptualizate pe diferite niveluri. În acest mod, vizitatorii vor avea posibilitatea să interacționeze cu un număr foarte mare de elemente specifice Deltei Dunării, la care accesul este foarte dificil, adesea imposibil. Spre exemplu, ar putea fi definite experiențe cu accent pe insecte, moluște, reptile sau mamifere.

Dimensiunea arealului pe care sunt dispuse punctele de interes, poate varia de la restrâns la extins, în funcție de experiența care se dorește a fi implementată în acea zonă. Spre exemplu, pot fi definite zone specifice copiilor, de dimensiuni reduse, precum și zone de explorare pe suprafețe întinse.

Referitor la conținutul informațional ce poate fi adăugat suplimentar obiectelor reale din contextul utilizatorului (transformându-le pe acestea în puncte de interes), acesta poate proveni din orice informație existentă, imaginația fiind probabil cea mai mare limitare referitor la ceea ce ar putea fi prezentat. Principiul tehnic este de a recunoaște obiecte/ coordonate spațiale ce vor fi supradefinite, în timp real, cu grafica tridimensională, conținut informațional și sonor ce vor fi expuse elevului prin ecranele dispozitivelor mobile. Noile tehnologii de vizualizare pot interconecta, într-o vizualizare tridimensională, elemente eterogene provenind din spații și perioade de timp diferite (Fig. 3). După cum s-a precizat anterior, prin utilizarea tehnologiilor de recunoaștere audio-vizuală suprapunerea unei supra-realități peste lumea reală, concretă, așa cum poate fi observată cu ochiul liber, devine posibilă (Fig. 4).

 

Modele educaționale 3D pot fi integrate în cursuri de tip e-learning off-sites, pe tematici precum animale, pești, păsări, flori, arbuști și copaci, și on-site integrate în aplicație, prin tehnologii de recunoaștere vizuală și Geofencing, care să ofere utilizatorilor în timpul vizitelor pe traseele alese, informații generale și personalizate într-un cadru realist. Modelele educaționale pot fi plasate și în punctele de informare turistică, foișoare, zone pentru servirea mesei (picnic) sau folosite în organizarea unor tabere de educație și creație, pentru elevi și studenți, pe modelul Atlantykron (de lângă cetatea Capidava).

Orice spațiu natural ar putea fi transformat într-o zonă de interes prin înglobarea elementelor digitale care să permită recunoașteri vizuale și realitate augmentată.

Bibliografie suplimentară

[1] Guitton, P., Moreau, G., & Arnaldi, B. (Eds.). (2018). Virtual Reality and Augmented Reality: Myths and Realities. John Wiley & Sons, Incorporated.

[2] Mangina, E. (2017). 3D learning objects for augmented/virtual reality educational ecosystems. 2017 23rd International Conference on Virtual System & Multimedia (VSMM), 2017, 1-6. 10.1109/VSMM.2017.8346266

[3] Uriarte, A., Ibáñez, M., Zataraín, R., & Barrón, M. (2022, 4 22). Higher Immersive Profiles Improve Learning Outcomes in Augmented Reality Learning Environments. MDPI. Retrieved November 1, 2022, from https://www.mdpi.com/2078-2489/13/5/218/htm

[4] ConsumerLab report on Merged reality (VR/AR). (n.d.). Ericsson. Retrieved November 1, 2022, from https://www.ericsson.com/en/reports-and-papers/consumerlab/reports/merged-reality

[5] Arici, F., Yildirim, P., Caliklar, Ş., & Yilmaz, R. M. (2019). Research trends in the use of augmented reality in science education: Content and bibliometric mapping analysis. Computers & Education, 142(2019). 10.1016/j.compedu.2019.103647

[6] Salmi, H., Kaasinen, A., & Kallunki, V. (n.d.). Towards an Open Learning Environment via Augmented Reality (AR): Visualising the Invisible in Science Centres and Schools for Teacher Education. Procedia – Social and Behavioral Sciences, 45(2012), 284-295. 10.1016/j.sbspro.2012.06.565

[7] Lasica, I.-E., Meletiou-Mavrotheris, M., & Katzis, K. (2020). Augmented Reality in Lower Secondary Education: A Teacher Professional Development Program in Cyprus and Greece. MDPI. Retrieved October 31, 2022, from https://www.mdpi.com/2227-7102/10/4/121/htm

[8] Bursali, H., & Yilmaz, R. M. (2019, 6). Effect of augmented reality applications on secondary school students’ reading comprehension and learning permanency. Computers in Human Behavior, 95(2019), 126-135. 10.1016/j.chb.2019.01.035

[9] Kysela, J., & Štorková, P. (2015, 2 12). Using Augmented Reality as a Medium for Teaching History and Tourism. Procedia – Social and Behavioral Sciences, Volume 174, 926-931. 10.1016/j.sbspro.2015.01.713

[10] Laine, T. H. (2018, 3 3). Mobile Educational Augmented Reality Games: A Systematic Literature Review and Two Case Studies. MDPI. Retrieved October 30, 2022, from https://www.mdpi.com/2073-431X/7/1/19/htm

[11] Drápela, E. (2022, 10 31). Assessing the Educational Potential of Geosites: Introducing a Method Using Inquiry-Based Learning. Retrieved November 1, 2022, from https://www.mdpi.com/2079-9276/11/11/101/htm

[12] Oleksy, T., & Wnuk, A. (2017, 11). Catch them all and increase your place attachment! The role of location-based augmented reality games in changing people – place relations. Computers in Human Behavior, 76, 3-8. 10.1016/j.chb.2017.06.008

[13] Schneller, M. B., Duncan, S., Schipperijn, J., Nielsen, G., Mygind, E., & Bentsen, P. (2017, 5 26). Are children participating in a quasi-experimental education outside the classroom intervention more physically active? BMC Public Health, 17(523). 10.1186/s12889-017-4430-5

[14] Wang, D., Khambari, N. M., Wong, L., & Razali, A. B. (2021, 11 19). Exploring Interest Formation in English Learning through XploreRAFE+: A Gamified AR Mobile App. MDPI. Retrieved October 31, 2022, from https://www.mdpi.com/2071-1050/13/22/12792/htm

[15] Sdravopoulou, K., Manuel, J., González, M., & Hidalgo, M. D. (2021, 8 27). Educating Adults with a Location-Based Augmented Reality Game: A Content Analysis Approach. MDPI. Retrieved November 1, 2022, from https://www.mdpi.com/2227-7390/9/17/2071/htm