Development and Usability Evaluation of Mobile Application based on Infection Prevention and Control in Dental Settings

Original Article
최 은미  Eun-Mi Choi1노 희진  Hie-Jin Noh1*

Abstract

Objectives:The present study aimed to develop and evaluate the usability of a mobile application based on infection prevention and control in dental settings. Methods: The addie (analysis, design, development, implementation, and evaluation) model was applied to develop and evaluate this mobile application. The usability evaluation of the mobile application consisted of 15 questions, including four questions on accessibility and access to work, seven questions on pedagogical framework, and four questions on personalization and privacy. The data were analyzed using the SPSS version 26.0. Results: A mobile application operative on various operating systems (Android, iOS) was developed. The usability evaluation of the application provided an overall score of 4.8. In the subscales of the Great App Checklist, the “pedagogical framework” domain received the lowest score of 4.6 and the “personalization and privacy” domain received the highest score of 5.0. Conclusions: In the present study, a new application development plan was devised and presented to maximize learner’s self-directed learning capabilities. We hope that this research will aid in the development and operation of mobile learning-based infection control.

Keyword



1. 서론

Coronavirus disease-2019(COVID-19)로 학교교육 현장에서는 비대면 수업에 대한 확대와 보급의 중요성이 강조되고 있다. 이에 교수자의 디지털을 활용한 온라인 수업 운영에 대한 필요성이 제기되고 있다(1). 특히 Mobile learning(M-learning)은 스마트폰이나 태블릿과 같은 모바일 장치를 사용하는 형태의 학습으로(2), 많은 학생들이 하나 이상의 모바일 장치를 소유하고 있으며 이를 사용하여 강의 자료를 읽거나, 자료 검색 등의 학습도구로 활용하고 있다(3). M-learning은 Ubiquitous 개념을 기반으로 학생들에게 시간적, 물리적 제한으로 부터 독립적으로 자기 주도 학습환경을 제공한다. M-learning의 애플리케이션은 오프라인에서 언제 어디서나 교육 콘텐츠에 지속적으로 접근하여 학습이 가능하다는 장점이 있다(4). 최근 치과보건의료를 전공하는 학생에게 전통적인 교육형식보다는 디지털 기반의 모바일 애플리케이션 교육을 제공하였을 때 교과목 대한 학습효과가 높았으며, 학생들은 M-learning에 대하여 긍정적인 태도를 보고하였다(5-7).

치과의료기관에서 종사하고 있는 치과보건의료인력은 에어로졸이 발생하는 절차를 수행하므로 COVID-19 감염 가능성이 높은 의료종사자 가운데 하나이다(8). 이에 치과보건의료인을 양성하는 교육기관에서 감염관리 교과목은 교육과정에서 큰 비중을 차지한다(9). COVID-19로 인한 감염 사례가 확산함에 따라 World Health Organization(WHO)에서는 COVID-19에 대해 2020년 3월 Pandemic을 선언하였다(10). 이에 치과의료기관에서는 치과보건의료인력의 감염을 예방하기 위한 전략으로 표준주의 준수에 대한 중요성이 대두되고 있다(11). 표준주의는 의료서비스가 제공되는 모든 환경에서 환자의 감염이 의심되거나 확인된 감염상태 여부와 관계 없이 모든 환자에게 적용되는 최소한의 감염 예방법이다. 표준주의는 치과보건의료인력을 보호하고 치과보건의료인력과 환자 간에 교차감염을 방지하기 위해 고안된 방법으로 지속적인 감염관리의 교육과 훈련이 중요하다(12). 그러나, 지속적인 학습도구로서 표준주의를 학습하기 위한 모바일 애플리케이션의 활용은 부족한 실정이다. 이에 본 연구는 예비 치과보건의료전문가인 치위생학을 전공하는 학생들의 표준주의의 학습을 목적으로 ‘치과 감염관리 교육용 모바일 애플리케이션’을 개발 하고 사용성 검증을 하기 위해 전문가 평가를 시행하여 애플리케이션의 타당성을 확보하고자 한다.

2. 연구대상 및 방법

2.1. 연구대상

본 연구는 00 대학교 생명윤리위원회의 승인을 받고(IRB No. CR320186) 진행하였다. 선행연구에서 개발된 애플리케이션에 평가의 전문가 수를 근거로(13, 14) 연구대상자는 앱 개발자 1인, 5년 이상의 임상 치과위생사 3인 등 총 4명을 전문가로 선정하였다.

2.2. 모바일 애플리케이션의 개발

‘치과 감염관리 표준주의’ 교육용 모바일 애플리케이션은(Infection prevention and control in dental settings : IPC) 2021년 3월부터 10월까지 교수설계모형인 ADDIE(Analysis, Design, Development, Implementation, Evaluation) Model에 근거하여 개발하였다. ADDIE Model은 효율적으로 지식과 술기를 학습하는데 있어 적합한 설계로 모바일 애플리케이션을 기반으로 한 교육 프로그램의 선행연구에서 이용하였다(15, 16). 이에 본 연구에서는 ADDIE Model을 이용한 치과감염관리 표준주의 교육용 애플리케이션을 분석, 설계, 개발, 실행, 평가 순서에 따라 개발하였다.

2.2.1. 분석

‘치과 감염관리 표준주의’ 모바일 애플리케이션을 개발하기 위해 Infection Prevention, Infection control, Standard precaution 등의 키워드를 사용하여 선행연구 및 미국 질병관리센터(CDC)에서 근거자료를 수집하였으며, 감염관리 교재 등을 포함하여 문헌고찰 하였다.

2.2.2. 설계

설계단계에서는 학습 목표 및 학습 내용을 설계하였다. 치과 감염관리 표준주의의 학습목표는 ‘치과 감염관리 표준주의의 개요를 설명할 수 있다.’, ‘치과 감염관리 표준주의의 적응증을 설명할 수 있다.’, ‘치과 감염관리 표준주의의 수행과정을 설명할 수 있다.’로 설정하였다. 학습 내용은 CDC(17, 18)의 감염관리 문헌을 근거로 설계하였다. 학습 구성은 손위생, 개인보호구, 호흡기 위생 및 기침예절, 날카로운 기구의 안전한 관리, 멸균 및 소독, 주변환경의 감염관리 6가지 항목을 선정하였다. 안전한 주사방법은 한국 치과위생사의 업무에서 벗어난 범위로 제외하였다. 각 항목에서 학습목표, 개요, 적응증, 수행방법 순서로 학습할 수 있도록 구성하였다.

2.2.3. 개발

개발단계는 설계단계에서 CDC(17, 18)의 감염관리 문헌을 근거로 작성한 학습내용을 학습문서 형태로 개발하였다. 개발된 학습문서와 동일한 내용으로 모바일 애플리케이션을 개발하기 위해서 애플리케이션 필요기능, 흐름도, 페이지 구성 등을 작성하여, 교육용 치과 감염관리 표준주의 ‘모바일 애플리케이션’을 개발하였다. 모바일 애플리케이션은 Android 및 iOS의 운영체제를 구분하여 개발하였다. 애플리케이션을 실행하기 위한 개발내용은 다음(Table 1)과 같다. Android와 iOS의 시스템 개발언어 및 개발툴은 Visual Studio(Android : 316.9.6 ver, ios : 16.9.6 ver)를 사용하였고, 운영 환경은 최소 android 5.0 (Lollipop, api level 21) 이상, iOS 10.3 이상 버전으로 하였다. 애플리케이션 데이터베이스는 개방 소스를 사용한 관계형 표준 데이터시스템인 MySQL(5.1.41 ver)을 활용하였으며, 서버는 Linux 기반으로 개발하였다. 애플리케이션 이용자의 정보를 안전하게 서버로 전달하기 위하여 방화벽인 Firewall을 사용하였다.

Table 1. Development program

http://dam.zipot.com:8080/sites/kjcdh/images/N0960100202_image/Table_KJCDH_10_02_02_T1.png

2.2.4. 실행

‘치과 감염관리 표준주의’ 모바일 애플리케이션은 Android와 iOS 스마트폰의 Play store 및 Apple store에서 ‘치과감염관리 표준주의’로 등록하였다. Android와 iOS의 플랫폼에서 실행되며 인터넷에 접근할 수 있는 모바일 장치(휴대폰, 태블릿)에서 사용 가능하다. 회원의 모바일 애플리케이션의 학습내역은 관리자용 데이터베이스와 관리자용 애플리케이션에 자동으로 저장되어 관리자가 회원의 학습내역을 확인할 수 있다.

2.2.5. 평가

애플리케이션 평가는 교육자가 모바일 학습을 효과적으로 수행할 수 있도록 애플리케이션을 평가하는 체크리스트의(19) 일부 항목을 수정, 보완하여 사용하였다. 애플리케이션의 측정 도구는 15문항이며 3가지 영역으로 구성되었다. 접근성과 용이성 4문항, 학습내용 7문항, 개인화 및 사생활 4문항이다. 평가에는 치과위생사 3인과 개발자 1인이 참가하였고, 이 도구의 각 영역은 5점 Likert 척도로 평가하였다. 각각의 하위영역에서 평균 점수를 계산하여 애플리케이션의 질을 평가하였다. 점수가 높을수록 애플리케이션의 질이 높은 것을 의미한다.

2.3. 자료분석방법

자료분석은 PASW Statistics ver 26.0(SPSS Inc., Chicago, USA) 을 이용하였다. 사용성 평가는 기술통계 분석을 이용하여 각 영역별 평균과 표준편차를 산출하여 분석하였다.

3. 연구결과

3.1. ‘치과 감염관리 표준주의’ 교육용 모바일 애플리케이션의 개발

3.1.1. 모바일 애플리케이션의 기능

‘치과 감염관리 표준주의’ 교육용 모바일 애플리케이션의 주요기능은 (Figure 1)과 같다. 사용자는 애플리케이션을 설치하고, 회원가입을 하면 이용자의 등급으로 설정되고, 관리자는 이용자의 목록을 확인한 후 회원으로 승격한다. 회원은 마이페이지에서 게시판, 개인정보정책, 이용약관을 확인할 수 있다. 회원은 애플리케이션의 메인 화면에서 학습하기, 학습내역, 게시판을 시‧공간의 제약 없이 자유롭게 접속할 수 있다.

http://dam.zipot.com:8080/sites/kjcdh/images/N0960100202_image/Fig_KJCDH_10_02_02_F1.png

Fig. 1. Core contents on the app.

3.1.2. 모바일 애플리케이션의 화면

3.1.2.1. 메인화면

‘치과 감염관리 표준주의’ 모바일 애플리케이션의 메인화면은 학습하기, 학습내역, 게시판, 백색소음으로 구성하였다. 학습하기에서는 치과감염관리 표준주의에 대한 내용을 학습할 수 있으며, 학습자가 백색소음을 탭 하면 백색소음을 청취하면서 학습할 수 있게 설정하였다. 학습내역에서는 학습자가 자가학습한 현황을 검토하여 현재까지의 학습내역을 확인할 수 있다. 게시판은 학습자가 학습하기, 학습내역 및 기타 등의 질의를 작성할 수 있다.

3.1.2.2. 학습화면

학습화면의 학습구성은 손위생, 개인보호구, 호흡기 위생 및 기침예절, 날카로운 기구의 안전한 관리, 멸균 및 소독, 주변환경의 감염관리 6가지 항목으로 구성하였다. 각 항목별로 학습목표, 개요, 적응증, 수행방법, 동영상의 하단바를 설정하여 학습자가 하단바를 탭 할 시 화면이 이동하도록 하였다. 학습목표, 개요, 적응증은 치과 감염관리 표준주의와 관련한 글로 작성되었으며, 수행방법은 글과 사진으로 구성되었다. 동영상은 수행방법의 글과 사진에 근거하여 짧은 동영상으로 제작되었다. 각 항목별로 주요 학습내용은 (Table 2)와 같으며, 모바일 애플리케이션의 학습화면은 (Figure 2)와 같다.

http://dam.zipot.com:8080/sites/kjcdh/images/N0960100202_image/Fig_KJCDH_10_02_02_F2.png

Fig. 2. Self-learning screens of app pages.

Table 2. Education contents

http://dam.zipot.com:8080/sites/kjcdh/images/N0960100202_image/Table_KJCDH_10_02_02_T2.png

3.2. ‘치과 감염관리 표준주의’ 모바일 애플리케이션의 전문가 평가

연구대상자에게 애플리케이션을 배포하기 전에 개발된 애플리케이션을 전문가에게 시범 운영하여 애플리케이션을 평가하였다. 개발된 애플리케이션 평가결과, 15개 문항에서 4.5점 이상의 평가점수를 받았다. 개인화 및 사생활 영역에서는 5점 만점의 평가를 받았으며, 접근성과 용이성은 4.9점, 학습내용은 4.6점이었다. 개발된 ‘치과 감염관리 표준주의’ 모바일 애플리케이션의 전체적인 평가점수는 4.8점이었다(Table 3). 기타 전문가의 의견으로 동영상 재생의 오류 및 접속 지연 등을 확인하였다. 이러한 애플리케이션의 평가내용은 개발자와 논의하고 업데이트에 반영하였다.

Table 3. Usability evaluation

http://dam.zipot.com:8080/sites/kjcdh/images/N0960100202_image/Table_KJCDH_10_02_02_T3.png

4. 고안

간호 교육 등에서 모바일 애플리케이션을 활용한 학습방법은 학생들의 높은 만족도 및 간호 지식 및 술기, 간호실무에 대한 자신감 등을 향상시키는 것으로 보고되었다(16, 20). 국내‧외 치위생학 교육분야에서 모바일 기기를 활용한 학습방법의 개발은 초기 단계이다. 본 연구는 예비 치과보건의료인력인 치위생학을 전공하는 학생들의 표준주의 학습을 목적으로 ‘치과 감염관리 교육용 모바일 애플리케이션’을 개발하고, 개발된 애플리케이션을 전문가가 평가하여 사용성을 검증하였다.

본 연구에서 전문가의 애플리케이션 평가결과, 5점만점의 4.8점으로 애플리케이션의 유용성 및 구성이 전반적으로 만족스러운 수준인 것으로 나타났다. 특히 개인화 및 사생활 영역에서는 5점의 평가를 받았다. 최근 애플리케이션의 개인정보 처리방침이 강화됨에 따라 애플리케이션을 배포하기 위해서는 개인화 및 사생활 보호가 필수이다(21, 22). 이에 애플리케이션의 개발과정에서 Apple 및 Google play의 개인정보 처리방침인 개인정보 수집항목 및 방법, 개인정보 보호를 위한 대책 등의 항목을 준수하여 애플리케이션을 개발하였다. 학습내용에서는 4.6점으로 평가영역에서 다소 낮은 평가를 받았다. 개발된 애플리케이션이 학습의 초점을 맞추고 있어 상대적으로 학습의 흥미 부분에 있어 부족하여 개선의 여지가 있다고 사료된다. 학습자의 수준 및 흥미성이 높이기 위해서는 애플리케이션이 일회성으로 끝나지 않고 지속적으로 활용할 수 있도록 학습내용의 보완이 필요하다고 생각된다. 추후 사용자 평가를 통해 학습자의 흥미 및 요구에 부합하도록 지속적인 애플리케이션의 업데이트를 통해 반영해야 할 것이다.

보건계열을 전공하는 학생들은 임상실습 시간의 상당 부분 환자와 접촉하게 되면서 잠재적인 감염의 위험에 노출되고 있고, 임상 술기에 대한 경험의 부족과 안전사고 대비의 미숙함으로 감염원에 노출될 위험성이 크다고 보고되었다(23, 24). 특히 치과의료기관에서는 에어로졸이 발생하는 절차를 수행하므로 COVID-19 감염 가능성이 높은 의료기관으로(8) 치위생학을 전공하는 학생들에게 치과감염관리의 표준주의에 대한 교육은 체계적이고 주기적인 교육이 필요하다고 사료된다(12). 감염관리의 지속적인 교육과 훈련을 위해서는 시간적, 물리적 제한으로 부터 독립적이고 자기 주도 학습이 가능한 M-learning의 애플리케이션의 매체를 활용할 수 있다(4). 90년대 중반에서 2000년대에 태어난 Z세대인 대학생들은 Digital native에 익숙하고 기술을 활용한 학습을 선호하는 능동적인 학습자이다(25, 26). 학생들은 상호작용성, 접근성, 반복성의 특징을 가지는 M-learning을 선호하였으며(4), M-learning은 학생들의 학습 동기를 부여할 수 있다고 보고되었다(27). 이에 본 연구에서는 언제 어디서나 학습내용에 쉽게 접근할 수 있는 치과감염관리 표준주의 교육용 모바일 애플리케이션을 개발하였다. 또한 애플리케이션을 개발할 때, 전문가 평가를 시행하지 않고 개발했을 경우 사용성 및 사용자 만족도가 낮게 평가되지만, 개발단계에서 전문가 평가를 시행한 후 사용자 평가를 하였을 때 사용성 및 만족도가 크게 향상되었다(28). 이에 본 연구에서는 애플리케이션 개발과정부터 애플리케이션의 유용성 및 구성 등을 평가하는 체크리스트를(19) 참고하여 개발된 애플리케이션을 전문가가 평가하였다.

본 연구의 한계점으로는 학습자들의 애플리케이션에 대한 평가 및 의견을 알 수 없었다. 학습자를 대상으로 최종 업데이트된 애플리케이션을 추후 평가하여 실제 학습자의 의견을 반영하여 업데이트할 필요성이 있다. 본 연구는 국내 치위생학 분야에서 초기단계의 교육용 애플리케이션을 구현하였다는 점에서 의의가 있다. 추후 보완 과정을 거쳐 개발된 애플리케이션을 활용한다면 학습자의 시‧공간의 제약이 비교적 적은 학습도구로서 활용할 수 있다.

5. 결론

본 연구는 예비 치과보건의료인력인 치위생학을 전공하는 학생들을 위한 ‘치과 감염관리 표준주의’ 교육용 모바일 애플리케이션을 개발하여, 시‧공간의 제약이 비교적 적은 학습환경을 제공하고자 하였다. 연구를 통해 다음과 같은 결과를 얻었다.

1. ‘치과 감염관리 표준주의’ 교육용 모바일 애플리케이션은 교수설계모형인 ADDIE Model의 5단계인 분석, 설계, 개발, 실행, 평가 순서에 따라 개발하였으며, Android와 iOS의 운영체제에서 실행되며 인터넷에 접근할 수 있는 모바일 장치(휴대폰, 태블릿)에서 사용 가능하다.

2. ‘치과 감염관리 표준주의’ 교육용 모바일 애플리케이션은 미국 질병관리센터의 감염관리 문헌을 근거하여 개발하였으며 손위생, 개인보호구, 호흡기 위생 및 기침예절, 날카로운 기구의 안전한 관리, 멸균 및 소독, 주변환경의 감염관리 6가지 항목으로 구성하였다. 각 항목별로 학습목표, 개요, 적응증, 수행방법, 동영상을 학습할 수 있다.

3. 애플리케이션의 전문가 평가 결과 4.8점으로 개발된 애플리케이션은 전반적으로 만족스러운 수준이었다. 하위 영역별 점수는 개인화 및 사생활 영역에서 5점, 접근성과 용이성 4.9점, 학습내용은 4.6점 순이었다.

References

1 1. Son HS, Chin SA. The exploration of university education in post-corona era: a study of the possibility of blended classes. Culture and Convergence 2021;43(2):15-34. 10.33645/cnc.2021.02.43.2 .15.  

2 2. West M, Vosloo SE. policy guidelines for mobile learning. 1st edition. Paris:UNESCO;2013:6-7.  

3 3. Rung A, Warnke F, Mattheos N. Investigating the use of smartphones for learning purposes by Australian dental students. JMIR mHealth uHealth 2014;2(2):e20. 10.2196/mhealth.3120.      

4 4. Walsh K. Mobile learning in medical education. Ethiop J Health Sci 2015;25(4), 363-366. 10.4314/ejhs.v25i4.10.      

5 5. Suner A, Yilmaz Y, Pişkin B. Mobile learning in dentistry: usage habits, attitudes and perceptions of undergraduate students. PeerJ 2019;7:1-22. 10.7717/peerj.7391.      

6 6. Golshah A, Dehdar F, Imani MM, Nikkerdar N. Efficacy of smartphone-based mobile learning versus lecture-based learning for instruction of cephalometric landmark identification. BMC Med Educ 2020;20(1):1-8. 10.1186/s12909-020-02201-6.      

7 7. Takenouchi A, Otani E, Sunaga M et al. Development and evaluation of e-learning materials for dental hygiene students in six schools: using smartphones to learn dental treatment procedures. Int J Dent Hyg 2020;18(4):413-421. 10.1111/idh.12452.      

8 8. US Agency Occupational Safety and Health Administration. Dental care professionals workplace hazards. [online] https://www.osha.gov/SLTC/dentistry/recognition.html. 2021.3.30.  

9 9. Choi YK, Han YK, Bae SM et al. Study on current curriculum analysis of clinical dental hygiene for dental hygiene students in Korea. J Dent Hyg Sci 2017;17(6):523-532. 10.17135/jdhs.2017.17.6.523.  

10 10. World Health Organization. WHO Director-General's opening remarks at the media briefing on COVID-19. [online] https://www.who.int/director-general/speeches/detail/who-director-general-s - opening-remarks-at-the-media-briefing-on-covid-19---11-march-2020. 2021.3.30.  

11 11. Centers for Disease Control and Prevention. Interim Infection Prevention and Control Guidance for Dental Settings During the Coronavirus Disease 2019 (COVID-19) Pandemic. [online] https:// www.cdc.gov/coronavirus/2019-ncov/hcp/dental-settings.html. 2021.3.30.  

12 12. Centers for Disease Control and Prevention (CDC). Summary of Infection Prevention Practices in Dental Settings: Basic Expectations for Safe Care. Atlanta:Centers for Disease Control and Prevention (CDC);2016:1-41.  

13 13. Kang YM, Lee SY. Heuristics evaluation and development of the caries management by risk assessment (CAMBRA)-kids application for caries management of preschoolers. J Korean Soc Dent Hyg 2019;19(4):479-492. 10.13065/jksdh.20190043.  

14 14. Byun AJ. Development and evaluation of smartphone app “healthy kids” for children’s weight control with their parents[Unpublished master's thesis]. Seoul:Seoul National University;2018.  

15 15. Kapp KM. The gamification of learning and instruction: game-based methods and strategies for training and education. 1st edition, 1st printing. San Francisco: John Wiley & Sons; 2012:1-301.  

16 16. Kang J, Suh EE. Development and evaluation of “chronic illness care smartphone apps” on nursing students’ knowledge, self-efficacy, and learning experience. Comput Inform Nurs 2018;36(11):550-559. 10.1097/CIN.0000000000000447.    

17 17. Centers for Disease Control and Prevention (CDC). Guidelines for infection control in dental health-care settings-2003. Atlanta:Centers for Disease Control and Prevention (CDC); 2003:1-61.  

18 18. Centers for Disease Control and Prevention (CDC). Infection Prevention Checklist for Dental Settings Basic Expectations for Safe Care. Atlanta:Centers for Disease Control and Prevention (CDC); 2016:1-20.  

19 19. McQuiggan S, McQuiggan J, Sabourin J, Kosturko L. Mobile learning: A handbook for developers, educators, and learners. 1st edition, 1st printing. San Francisco:John Wiley & Sons; 2015:1-400.    

20 20. Strandell-Laine C, Stolt M, Leino-Kilpi H, Saarikoski M. Use of mobile devices in nursing student–nurse teacher cooperation during the clinical practicum: an integrative review. Nurse Educ Today 2015;35(3):493-499. 10.1016/j.nedt.2014.10.007.    

21 21. Apple. Apple privacy policy. [online] https://www.apple.com/legal/privacy/pdfs/apple-privacy-policykr.pdf. 2021.3.2.  

22 22. Google plat console. Google play policy. [online] https://support.google.com/googleplay/android-developer/ answer/10144311?visit_id=637740237692504068-95216444&rd=1. 2021.3.2.  

23 23. Cha JE, Cho JY, Kim YG et al. Nursing students’ safety-climate, perception and performance of standard precautions for healthcare-associated infection control. JKAIS 2017;18(8),72-83. 10.5762/KAIS.2017.18.8.72.  

24 24. Seo JH, Jung EY. Factors influencing nursing students’ performance on standard precautions of infection control, J Korean Biol Nurs Sci 2017;19(2):69-75. 10.7586/jkbns.2017.19.2.69.  

25 25. Lau KP, Chiu DK, Ho KK, Lo P, See-To EW. Educational usage of mobile devices: Differences between postgraduate and undergraduate students. J Acad Librariansh 2017;43(3):201-208. 10.1016/j.acalib.2017.03.004.  

26 26. Hill RL, Swanson A, Kirwan J. EI and learning styles: The effect on learning of generationals. Interactive Collaborative Learning. Cham: Springer;2016:101-115. 10.1007/978-3-319-50340-0_8.  

27 27. Kim JH, Park H. Effects of smartphone-based mobile learning in nursing education: a systematic review and meta-analysis. Asian Nurs Res 2019;13(1):20-29. 10.1016/j.anr.2019.01.005.    

28 28. Chang WS, Ji YG. Usability evaluation for smart phone augmented reality application user interface. J Soc e-Business Studies 2011;16(1):35-47. 10.7838/jsebs.2011.16.1.035.