aperturaApertura (Guadalajara, Jal.)Apert. (Guadalaj.,
Jal.)1665-61802007-1094Universidad de Guadalajara, Sistema de Universidad
Virtual10.32870/Ap.v13n2.206100001Artículos de investigaciónCompetencias docentes, una innovación en ambientes virtuales de
aprendizaje en educación superiorTeaching skills, an innovation in virtual learning environments in
higher education0000-0002-8304-2649Vega LebrúnCarlos Arturo*0000-0003-4469-3905Sánchez CuevasMariano**0000-0002-7297-3456Rosano OrtegaGenoveva***0000-0002-5663-6345Amador PérezSilvia Elena**** Doctor en Tecnologías de Información y
Análisis de Decisiones por la Universidad Popular Autónoma del Estado de Puebla,
México.Universidad Popular Autónoma del Estado de
PueblaUniversidad Popular Autónoma del Estado de
PueblaMexico Doctor en Pedagogía por la Universidad Popular
Autónoma del Estado de Puebla, México.Universidad Popular Autónoma del Estado de
PueblaUniversidad Popular Autónoma del Estado de
PueblaMexico Doctora en Educación por la Universidad
Tolteca de México. Investigadora SNI nivel I de la Universidad Popular Autónoma
del Estado de Puebla, México.Universidad Popular Autónoma del Estado de
PueblaUniversidad Popular Autónoma del Estado de
PueblaMexico Doctora en Educación de las Ciencias por la
Universidad de las Américas, Puebla, México.Universidad de las AméricasUniversidad de las AméricasPueblaMexico13122021102021132621290320212206202130092021Este es un artículo publicado en acceso abierto bajo una licencia
Creative CommonsRESUMEN
El cierre de emergencia de las instituciones educativas ante la contingencia
sanitaria por la covid-19 ha apremiado el replanteamiento de los modelos de
competencias docentes para adaptarse a los ambientes virtuales de aprendizaje
(AVA). El objetivo de este estudio fue diseñar y validar un modelo de
competencias docentes en AVA, con el soporte de laboratorios virtuales, a fin de
asegurar la calidad de la educación superior en este contexto. Se empleó una
metodología cuantitativa y correlacional en un estudio de caso. La investigación
se dividió en dos momentos metodológicos: el diseño del modelo y su validación.
Los instrumentos utilizados fueron una matriz de análisis comparativo y una
escala tipo Likert. En la etapa de validación participaron 5 650 estudiantes y
41 profesores. Los resultados destacan la necesidad del desarrollo docente,
principalmente en las competencias digitales y de investigación. Una debilidad
del estudio es la falta de ponderación de los indicadores de calidad. El modelo
propuesto representa una innovación en la definición de indicadores, en forma de
competencias, para el aseguramiento de la calidad educativa en los AVA. Se
concluye que el modelo propuesto es pertinente para el aseguramiento de la
calidad educativa en AVA.
<italic>Abstract</italic>
The emergency closure of educational institutions, in the face of the
health contingency due to Covid-19, has prompted the rethinking of the
models of teaching competencies to adapt to virtual learning environments
(VLE). The objective of this study is to design and validate a model of
teaching competencies in VLE, with the support of virtual laboratories, to
ensure the quality of higher education during the covid-19 pandemic. A
quantitative and correlational methodology was used in a case study. The
research is divided into two methodological moments: the design of the model
and its validation. The instruments used were a comparative analysis matrix
and a Likert-type scale. 5 650 students and 41 teachers participated in the
validation cap. The results highlight the need for teacher development,
mainly in digital and research skills. One weakness of the study is the lack
of weighting of the quality indicators. The proposed model represents an
innovation in the definition of indicators, in the form of competencies, for
the assurance of educational quality in VLE. It is concluded that the
proposed model is pertinent for the assurance of educational quality in
VLE.
Palabras clave:Ambientes virtuales de aprendizajecriterios de calidad educativacompetencias docenteseducación superior<italic>Keywords:</italic>Virtual learning environmentseducational quality criteriateaching skillshigher education
INTRODUCCIÓN<italic>La calidad de la educación en el nivel superior</italic>
Las instituciones educativas se han vuelto cada vez más conscientes de la
importancia de ofrecer una educación de alta calidad para satisfacer las
necesidades de una diversidad de estudiantes, así como de los cambios globales y
la adaptación al contexto por la pandemia de la covid-19. Esto, aunado a las
diferentes modalidades educativas que existen en la educación superior
(presencial, en línea o mixta), requiere que se propongan formas innovadoras de
garantizar y sistematizar la calidad en estas instituciones.
Estudios recientes sobre la calidad de la educación superior (Kundu, 2017) se han enfocado principalmente
en: a) modelos de calidad basados en TQM (Total Quality Management), b) calidad
basada en resultados, c) calidad vista como sistema d) calidad del servicio
desde la perspectiva de las partes interesadas, e) brechas de calidad en la
educación superior internacional, f) calidad desde la perspectiva de los
estudiantes, g) calidad de los sistemas de e-learning, y h) factores críticos
que determinan el éxito en la calidad educativa.
Otras revisiones (Prakash, 2018) indican
que los constructos de calidad del aprendizaje, de la calidad del servicio y de
la satisfacción de los estudiantes han recibido una mayor atención, seguidos de
la gestión de la calidad total, el aseguramiento de la calidad y la evaluación
integral en el desempeño del estudiante. A su vez, los aspectos metodológicos
mayormente utilizados han sido el método empírico, las encuestas y los estudios
de casos individuales. Europa lidera la investigación sobre la calidad de las
instituciones de educación superior (IES), seguida de América del Norte y Asia.
Asimismo, las IES han optado por obtener acreditaciones nacionales e
internacionales que avalen la calidad de sus programas e instituciones. En un
contexto de globalización, la acreditación es una herramienta de aseguramiento
de la calidad que testifica que una institución o programa haya pasado por un
riguroso proceso de evaluación externa (Kumar,
Shukla y Passey, 2020). Las acreditaciones de la calidad educativa
han permitido implementar una cultura de rendición de cuentas, bajo la idea de
que son herramientas de desarrollo y bienestar económico (Jiménez, 2019). Por este motivo, para el desarrollo del
modelo propuesto se revisaron los criterios de calidad docente considerados por
siete organismos acreditadores, cinco internacionales y dos nacionales, así como
el análisis de los indicadores sustantivos de calidad de seis modelos
educativos, tanto nacionales como internacionales (ver tabla 1).
Organismos acreditadores de la calidad y modelos educativos
analizados
LISTA DE ORGANISMOS ACREDITADORES DE LA
CALIDAD ANALIZADOS PARA COMPARAR SUS INDICADORES EN
AMBIENTES VIRTUALES DE APRENDIZAJE
Estados Unidos
• Council for Higher Education Accreditation
(CHEA)
• Association to Advance Collegiate Schools of
Business (AACSB)
• Accreditation Board for Engineering and
Technology (ABET)
Unión Europea
• Higher Education Funding Council for England
(HEFCE)
• Sistema Europeo de Mejora de la Calidad
(EQUIS)
México
• Consejo Nacional de Ciencia y Tecnología
(CONACyT)
• Comités Interinstitucionales para la
Evaluación de la Educación Superior (CIEES)
LISTA DE MODELOS EDUCATIVOS ANALIZADOS
PARA COMPARAR SUS INDICADORES DE CALIDAD EN AMBIENTES
VIRTUALES DE APRENDIZAJE
UNED: Modelo de la Universidad Estatal a
Distancia, Universidad Pública de Madrid,
España
UOC: Modelo de la Universitat Oberta de
Catalunya, España
CSU: California State University - Chico
State
Unesco: Estándares Unesco de competencia en TIC
para docentes
SEP: Lineamientos para regular los programas de
educación superior en modalidad no escolarizada y
mixta
Fuente: elaboración propia.
Debido a la pandemia de la covid-19, el desafío para las IES fue adaptar o
innovar sus modelos de calidad académica a la modalidad virtual, en la totalidad
de su oferta educativa. Los docentes, por su parte, han atravesado dificultades
como el acceso inadecuado a internet, la falta de infraestructura (brecha de
acceso), el manejo de las clases virtuales y el proceso de educación a distancia
en sí mismo (brecha de competencias digitales) (García-Peñalvo, Corell, Abella-García y Grande, 2020; Sari y Nayir, 2020; Barrón, 2020).
Ante el impacto de la llamada “nueva normalidad” post-pandémica, es probable que
prevalezcan las formas de educación virtual o híbrida por largo tiempo (Cabero-Almenara y Llorente-Cejudo, 2020).
Esto hace necesario la innovación de perfiles docentes que apuntalen las
competencias para desempeñarse en los ambientes virtuales de aprendizaje. En
este tenor, el modelo que aquí se presenta atiende esta necesidad emergente.
LA EVALUACIÓN DE LA CALIDAD DESDE LA PERSPECTIVA DE SATISFACCIÓN DE LOS
ESTUDIANTES
Al considerar a los estudiantes como los beneficiarios directos de la educación
superior, la calidad educativa puede ser definida como “una relación directa entre
las expectativas y percepciones de las experiencias vividas” (Herrera, Souza y De Quadros, 2018, p. 73). Resulta pertinente
evaluarla desde la percepción de satisfacción de los estudiantes, a través de la
generación de experiencias significativas.
De este modo, para brindar servicios educativos de calidad académica, las
instituciones deben entender las necesidades de sus estudiantes. Además de proveer
un servicio eficiente y satisfactorio, las universidades pueden contribuir a
incentivar en los estudiantes un comportamiento positivo, generar lealtad y
motivación, mejorar la permanencia, los resultados de aprendizaje, el rendimiento
académico, la recomendación del servicio y, por consiguiente, la sostenibilidad de
la institución (Herrera et al.,
2018). Adicionalmente, las percepciones positivas de los estudiantes
sobre la calidad del servicio pueden conducir a una mejor imagen institucional, por
lo que es vital para las IES monitorear la calidad del servicio e identificar las
necesidades de su población estudiantil (Yong-Sik y
Yung Kyun, 2019).
La satisfacción de los estudiantes es una dimensión importante, que pocos estudios
han examinado, para verificar la calidad de la educación superior (Allam, 2018). Desde este punto de partida,
algunas de las categorías que han resultado significativas para evaluar la calidad
de la educación superior son: los servicios académicos, las instalaciones
académicas, los servicios administrativos y de atención a los estudiantes (El Alfy y Abukari, 2020). Otras categorías en
el mismo sentido son: el contenido del plan de estudios, los recursos educativos,
los factores institucionales y las experiencias de enseñanza-aprendizaje (Allam, 2018).
LOS AMBIENTES VIRTUALES DE APRENDIZAJE
El cierre de aulas durante la pandemia por la covid-19 “propició una migración
forzada hacia la modalidad no presencial en todos los niveles educativos” (Aguilar, 2020, p. 47). Así, las modalidades
educativas no presenciales, mediadas por las tecnologías de información y
comunicación (TIC), permitieron enfrentar mejor la situación. Este contexto hace
pertinente consolidar lo que en la última década se ha denominado ambientes
virtuales de aprendizaje (AVA), también nombrados entornos virtuales de
enseñanza-aprendizaje. Un AVA combina los espacios físico y virtual para proveer a
los usuarios una sensación de presencialidad en un ambiente virtual (Peterson-Ahmad, Pemberton y Hovey, 2018).
Inicialmente, puede entenderse que los AVA integran las TIC y lo educativo, creados
con la finalidad de facilitar la docencia y promover aprendizajes (Cocunubo-Suárez, Parra-Valencia y Otálora-Luna,
2018); sin embargo, proveer a los profesores y estudiantes de plataformas
electrónicas, videoconferencias síncronas y contenidos digitalizados no garantiza el
aprendizaje significativo (Kundu, 2017; García-Peñalvo et al., 2020).
Además, es necesario el compromiso y soporte institucional para establecer
claramente las dimensiones de calidad en esta modalidad educativa. Esto permite
acompañar, evaluar y motivar a los docentes -en contextos como el actual, que ha
sido impactado por la pandemia- cuando muchos de ellos no se sienten preparados para
esta transición hacia la virtualidad (Scherer,
Howard, Tondeur y Siddiq, 2020).
Lograr la calidad en los AVA depende fundamentalmente de la acción del docente como
diseñador de andamiajes educativos que coloquen al estudiante en un rol central y
activo. Esto puede lograrse mediante metodologías activas, como el aprendizaje
basado en problemas y contextos (Phungsuk,
Viriyavejakul y Ratanaolarn, 2017), el aprendizaje basado en retos (Sánchez, 2020) y el aprendizaje colaborativo
(García-Chitiva y Suárez-Guerrero,
2019).
Los AVA abarcan una amplia gama de recursos que incluyen las páginas web, los
sistemas de gestión de aprendizaje y los entornos de aprendizaje tridimensionales
(Khlaisang y Songkram, 2019). Entre estos
últimos destacan los laboratorios virtuales como una innovación para enfrentar el
hecho de que, a causa de la pandemia, los estudiantes no pueden acceder a los
laboratorios en forma presencial dentro de las universidades (Luna, Costales y Cordovez, 2021).
Un laboratorio virtual puede definirse como un ambiente interactivo para la creación
y conducción de experimentos simulados. Algunas ventajas de implementarlos son: a)
el estudiante puede enfrentar situaciones que podrían ser inseguras en otros
contextos, b) puede experimentar sin riesgos, y c) el tiempo y espacio para las
prácticas es más flexible que en los ambientes físicos (Salmerón Manzano y Manzano-Agugliaro, 2018). Asimismo, se ha
demostrado que los laboratorios virtuales son óptimos para lograr la transferencia
de conocimiento en diversas disciplinas (Bonilla,
Villamil y Montes, 2019; González y
Victoria, 2019; Nechypurenko, Selivanova
y Chernova, 2019).
COMPETENCIAS DOCENTES Y DIGITALES EN EDUCACIÓN SUPERIOR
Junto con la situación de pandemia por la covid-19, existen otras fuerzas que orillan
a modificar el rol del docente, entre las que se puede mencionar la cuarta
revolución industrial, las pedagogías innovadoras, la explosión de información por
el uso de internet, la inteligencia artificial y el desplazamiento hacia modalidades
de educación masiva abierta (Ally, 2019). No
obstante, coexisten fuerzas que frenan la innovación necesaria del rol docente; por
ejemplo, la mayoría de los profesores carece de formación especializada en educación
superior, los estudiantes están mayormente familiarizados con las clases
tradicionales, los currículos y los exámenes están diseñados desde la enseñanza
tradicional (Zempoalteca, Barragán, González y
Guzmán, 2016). A pesar de esto, es necesario que el perfil docente se
aparte de los modelos educativos tradicionales y transite hacia roles innovadores.
Las diversas competencias de este perfil deben incluir el uso educativo de las TIC,
la aplicación de innovaciones pedagógicas y la capacidad de investigación, entre
otras.
Se entiende por competencias a los procesos complejos de desempeño con idoneidad en
determinados contextos, a partir de la integración de diferentes saberes (saber ser,
saber hacer, saber conocer y saber convivir) para realizar actividades y resolver
problemas con sentido de reto, motivación, flexibilidad, creatividad, comprensión y
emprendimiento, dentro de una perspectiva de procesamiento metacognitivo,
mejoramiento continuo y compromiso ético. Esto, con la meta de contribuir al
desarrollo personal, la construcción y afianzamiento del tejido social, la búsqueda
continua del desarrollo económico-empresarial sostenible, así como el cuidado y la
protección del ambiente (Tobón, 2008). El
enfoque por competencias facilita la evaluación de la calidad de la formación (o de
la capacitación) y la calidad del desempeño, además de que puede orientar la
certificación de competencias profesionales.
Existen diversos estudios y propuestas acerca de cuáles son las competencias
genéricas docentes requeridas en el nivel de educación superior, que incluyen el
diseño instruccional, las estrategias didácticas, la evaluación educativa, la
comunicación, el liderazgo y la investigación como las más frecuentes (Villarroel y Bruna, 2017; Macías Catagua, 2018; Clavijo,
2018). Las competencias para el uso de las tecnologías digitales se han
convertido en un requisito para los docentes de educación superior a nivel global.
Al respecto, Albrahim (2020) concluyó que las
competencias que se requieren para la enseñanza efectiva en ambientes de aprendizaje
en línea se pueden clasificar en seis categorías: a) habilidades pedagógicas, b) de
manejo de contenido, c) para el diseño, d) tecnológicas, e) administrativas y f)
institucionales, sociales y de comunicación.
DISEÑO Y METODOLOGÍA DE LA INVESTIGACIÓN
La investigación se realizó entre marzo de 2020 y marzo de 2021, tuvo un enfoque
cuantitativo y correlacional para el caso de estudio. El objetivo fue diseñar y
validar un modelo de competencias docentes organizado en cuatro dimensiones
(pedagógica, profesional, digital y de investigación) en los AVA, incluido el
soporte de laboratorios virtuales para asegurar la calidad de la educación superior
en la contingencia sanitaria por la covid-19. El desarrollo del modelo de
competencias docentes consideró cuatro etapas, desde su construcción hasta su
validación, como se muestra en la figura 1.
Esquema de construcción del modelo de competencias docentes en
AVA.
Fuente: elaboración propia.
En la primera etapa del modelo se realizó la identificación y el diagnóstico del
contexto actual. Se analizaron los referentes teóricos y se hizo la revisión de
proyectos e investigaciones afines. A partir de esto, se identificaron cuatro
dimensiones en las que se pueden aglutinar las diferentes competencias docentes:
dimensión pedagógica, dimensión profesional, dimensión digital y dimensión de
investigación. Esta es la motivación del estudio, que se enfoca en resaltar los
indicadores principales dentro de cada dimensión para asegurar la calidad en los
AVA.
Además, se revisaron los indicadores de aseguramiento de la calidad educativa de
siete organizaciones de certificación, acreditación e instituciones de evaluación de
la calidad en México y a nivel internacional, así como de los indicadores de
aseguramiento de la calidad de seis modelos educativos. También se integró toda la
experiencia propia, a nivel de la implementación de proyectos y cursos en AVA.
En la segunda etapa del modelo se realizó la integración de indicadores para cada
dimensión definida en la etapa anterior. Esto se logró a través de la construcción
de una matriz comparativa de indicadores de aseguramiento de la calidad (ver tabla 2). Se valoraron los indicadores de
organismos de acreditación y de modelos educativos nacionales e internacionales
relacionados con los AVA.
Matriz comparativa de indicadores de aseguramiento de la calidad en
los organismos de acreditación, relacionados con entornos virtuales de
aprendizaje
DIMENSIÓN
COMPETENCIAS DOCENTES
MODELOS EDUCATIVOS
AGENCIAS ACREDITADORAS
UNED
UOC
CSU
Unesco
T-PACK
SEP
CHEA
AACSB
HEFCE
EQUIS
CONACyT
CIEES
ABET
Pedagógica
Planeación de contenidos
X
X
X
X
X
X
X
X
X
X
Estrategias de enseñanza-aprendizaje
X
X
X
X
X
X
X
X
X
X
X
X
X
Evaluación del aprendizaje
X
X
X
X
X
X
X
X
X
X
X
X
X
Comunicación efectiva
X
X
X
X
X
X
X
X
X
X
Liderazgo
X
X
X
X
X
X
Generación y transferencia del conocimiento
X
X
X
X
X
X
Instrucción personalizada
X
X
X
X
X
X
X
X
X
X
X
Profesional
Trayectoria en entrenamiento docente
X
X
X
X
X
X
X
X
X
X
X
X
Experiencia profesional
X
X
X
X
X
X
X
X
X
X
X
Pertenencia a colegios y academias
X
X
X
X
X
X
X
X
X
Digital
Entrenamiento en el uso de TIC y herramientas
digitales
X
X
X
X
X
X
X
X
X
X
X
X
Experiencia en cursos de educación a distancia
utilizando medios digitales
X
X
X
X
X
X
X
X
X
X
X
X
X
Experiencia en ambientes multimodales e
híbridos
X
X
X
X
X
X
X
X
Investigación
Producción académica
X
X
X
X
X
X
X
Producción científica
X
X
X
X
X
X
Certificación
Competencias de enseñanza
X
X
X
X
Competencias digitales
X
X
X
X
X
Competencias profesionales
X
X
X
Competencias de investigación
X
X
Fuente: elaboración propia.
Como resultado del análisis comparativo en las trece instancias, se integró un
tabular comparativo con los indicadores y los organismos seleccionados (los
resultados se reflejan en la tabla 2 y se
desglosan en la tabla 1), en donde se
muestran los indicadores de calidad utilizados por cada organismo, agrupados en
cuatro dimensiones (pedagógica, profesional, digital y de investigación) y una
categoría de certificación. Los indicadores de calidad dieron la pauta para
identificar las competencias docentes. La experiencia, el trabajo y la
retroalimentación en redes de colaboración en AVA −además de los resultados del
análisis comparativo− permitieron realizar una primera validación y pilotaje del
modelo a través de la retroalimentación de especialistas y tres grupos focales.
Con el fin de asegurar la consistencia en los factores seleccionados para las
dimensiones de competencias docentes, se analizaron sus indicadores y mecanismos de
implementación en las entidades de evaluación y acreditación nacionales e
internacionales, para su incorporación dentro del tabulador de manera homologada. Se
obtuvo un coeficiente de confiabilidad con un alfa de Cronbach de 91%.
Los indicadores relacionados con los procesos pedagógicos de enseñanza-aprendizaje
son incluidos en la mayoría de las agencias de evaluación, pero no todas utilizan
indicadores para evaluar la generación y la transferencia de conocimiento. La
dimensión profesional es una categoría sustantiva que permite validar el nivel de
calidad en el conocimiento y la experiencia profesional en los profesores, además de
su afiliación y participación en colegios y academias.
Llama la atención que los organismos de acreditación utilizan casi todos los
indicadores de la dimensión digital, pero no todos evalúan la producción académica y
científica de los profesores o facilitadores, ni aquellas referidas a la dimensión
de investigación desarrollada en los cursos. Estos hallazgos permiten identificar
áreas de oportunidad y resaltan la importancia de incluir factores relacionados con
la certificación de competencias en las cuatro dimensiones identificadas como parte
de los indicadores de calidad.
En esta fase de análisis de confiabilidad se desarrolló y aplicó una encuesta de
satisfacción a 100 estudiantes, divididos en doce grupos, de cinco programas
académicos universitarios para la validación de la integración correcta de las
dimensiones. Los programas académicos considerados fueron de las disciplinas
educativas, tecnológicas, biológicas, negocios y sociales. Asimismo, se diseñó un
instrumento de seguimiento de la calidad educativa para realizar un acompañamiento
por profesores investigadores que denominamos enlaces de seguimiento.
En la tercera etapa se construyó el modelo de competencias docentes para ambientes
virtuales de aprendizaje. Se sintetizaron los resultados de la información obtenida
en las etapas previas, la revisión de referentes teóricos y los resultados de un
análisis comparativo de indicadores de calidad académica para AVA, así como el
análisis de información obtenida a través de los instrumentos diseñados y aplicados
en la etapa anterior.
La construcción del modelo permitió integrar las competencias docentes en cada
dimensión. De la misma forma, se estableció el requerimiento de las certificaciones
docentes como otro elemento de aseguramiento de la calidad educativa. Para la
implementación del caso de estudio se consideró la totalidad de la población
estudiantil (9 980 alumnos), que conforma el nivel de educación superior en todas
las modalidades y programas académicos de la Universidad Popular Autónoma del Estado
de Puebla (UPAEP), durante los períodos de primavera, verano y otoño de 2020, así
como primavera de 2021.
La implementación permitió valorar la incorporación de las competencias y los
indicadores del modelo en los AVA, que incluía la articulación de laboratorios
virtuales para el fortalecimiento en la formación, con estándares de calidad
educativa. Esta etapa finalizó con una retroalimentación de grupos focales y de
especialistas para el enriquecimiento del modelo y su presentación final.
El modelo completo de competencias docentes en AVA se muestra en la figura 2. En la parte central de este se
encuentra el entorno de mediación pedagógica, enfocada en el aprendizaje de los
estudiantes, apoyado en el ámbito académico, las áreas administrativas y de
servicios, y respaldado por la calidad educativa. En este modelo, el estudiante no
solo tiene un rol activo, sino que enfatiza la participación activa del docente,
quien requiere de diversas competencias para desempeñarse en los AVA.
Modelo de competencias docentes para AVA.
Fuente: elaborado propio.
Estas competencias permiten conformar un perfil docente integral, con la definición
de indicadores claros que aseguren la calidad educativa en los AVA (ver tabla 3). Además, estos elementos permiten la
elaboración de programas de capacitación, evaluación, seguimiento y mejora de la
calidad en la educación superior.
Indicadores de competencias docentes para el aseguramiento de la
calidad en los AVA
DIMENSIÓN
COMPETENCIA DOCENTE / INDICADOR DE
EVALUACIÓN
CERTIFICACIONES
Pedagógica
Diseño instruccional
Competencias pedagógicas
certificadas
Estrategias de enseñanza-aprendizaje
Evaluación y retroalimentación
Comunicación efectiva
Liderazgo
Transferencia del conocimiento
Tutorías
Profesional
Formación académica
Competencias profesionales
certificadas
Experiencia profesional
Membresías en colegios y academias
Digital
Formación en TIC y herramientas digitales
Competencias digitales
certificadas
Experiencia en ambientes virtuales de
aprendizaje
Experiencia con laboratorios virtuales
Investigación
Productividad académica
Competencias de investigación
Productividad científica
Fuente: elaboración propia.
En la cuarta etapa se realizó la validación del modelo, que incluye la
retroalimentación por especialistas, los resultados del caso de estudio obtenidos de
una encuesta de satisfacción de la calidad (ver figura
3) aplicada en los cuatro períodos académicos comprendidos entre marzo de
2020 y marzo de 2021, con una participación de más de 20% de la población
estudiantil, así como un proceso de seguimiento y evaluación de la calidad educativa
con 41 profesores investigadores como enlaces de calidad.
Ejemplos de los resultados de la encuesta de satisfacción de la
calidad.
Fuente: elaboración propia.
Los principales pasos para la validación del modelo se describen a continuación.
<italic>a) Contexto educativo: ambientes virtuales de
aprendizaje</italic>
En congruencia con la elaboración del modelo, el contexto en el que se llevó a
cabo su validación fue la implementación de la totalidad de los cursos en AVA en
la UPAEP, a raíz de la pandemia por la covid-19. Así, se definieron lineamientos
de aseguramiento del aprendizaje para las asignaturas prácticas y de
laboratorio, durante las cuales se utilizaron plataformas educativas, sesiones
de video, conferencias síncronas y simuladores especializados (laboratorios
virtuales). Estos últimos empleados principalmente para las áreas de negocios,
ciencias biológicas, ingenierías y ciencias médicas. Adicionalmente, su
operación se aseguró a través del diseño de videograbaciones de las actividades
prácticas formativas de cada asignatura.
La figura 4 muestra una de las actividades
de simulación con software especializado para los procesos
productivos.
Laboratorio de simulación de manufactura.
Fuente: imagen de práctica de laboratorio del proceso de manufactura
en la plataforma SolidWorks.
<italic>b) Participantes</italic>
Se aplicaron encuestas de satisfacción a todos los grupos, en cada uno de los
períodos académicos señalados, con una participación total de 5 650
estudiantes.
<italic>c) Variables e instrumento</italic>
El primer instrumento aplicado fue una encuesta de satisfacción a estudiantes,
con un cuestionario tipo Likert, que tuvo como propósito principal validar las
cuatro dimensiones del modelo como variables centrales del estudio. El
instrumento constó de 19 ítems, distribuidos de la siguiente forma: seis en la
dimensión pedagógica, seis en la dimensión digital, cuatro en la dimensión
profesional y tres para la dimensión de investigación. El segundo instrumento de
validación de implementación del modelo de calidad educativa en AVA fue el
formulario de seguimiento de la cátedra por aula virtual, el cual incluyó más de
700 grupos observados en promedio, por período académico.
RESULTADOS
La aplicación del instrumento de validación que evaluó las dimensiones pedagógica,
profesional, digital y de investigación, arrojó los siguientes resultados a partir
de los indicadores de cada dimensión. Como se muestra en la gráfica 1, la integración de los indicadores de calidad de las
prácticas docentes en términos de planeación de contenidos, comunicación efectiva,
tutoría y evaluación del aprendizaje, requiere considerar las habilidades y las
competencias integrales docentes, de manera que se enfatice el liderazgo en el aula,
así como la generación y transferencia de conocimiento.
Resultados de la encuesta de satisfacción a estudiantes
universitarios sobre la dimensión pedagógica en entornos apoyados por
tecnología.
Fuente: elaboración propia.
En la gráfica 2 se pueden observar algunos
puntajes menores en las categorías de planeación y organización de los contenidos de
las asignaturas en la plataforma tecnológica, la gestión y explotación de las
herramientas digitales, la incorporación de estrategias de enseñanza-aprendizaje en
AVA y la evaluación del aprendizaje a través de los medios digitales. Los factores
de alta puntuación destacables son el diseño instruccional, así como la generación y
transferencia de conocimiento, lo que explica la percepción favorable de integrar
estos aspectos en el aula virtual.
Resultados de la encuesta de satisfacción a estudiantes sobre la
dimensión digital en entornos apoyados por tecnología.
Fuente: elaboración propia.
En la gráfica 3 se puede apreciar que las
certificaciones y la experiencia profesional son los criterios altamente valorados
por los estudiantes, seguidos de la adscripción de membresías a colegios y la
formación académica, lo cual implica una buena integración de los indicadores para
evaluar la dimensión profesional en los docentes.
Resultados de la encuesta de satisfacción de la calidad a estudiantes
sobre la dimensión profesional en entornos apoyados por
tecnología.
Fuente: elaboración propia.
La gráfica 4 muestra una relación congruente
entre la productividad académica y la científica, principalmente. También se
identifica la necesidad de reforzar la formación de los docentes para fortalecer
esta dimensión de investigación.
Resultados de la encuesta de satisfacción a estudiantes sobre la
dimensión de investigación en entornos apoyados por tecnología.
Fuente: elaboración propia.
DISCUSIÓN
Diferentes estudios sobre la calidad educativa concuerdan en que no existen
dimensiones de calidad de la educación superior aceptadas universalmente. Al
respecto, se han propuesto numerosas dimensiones que son difíciles de evaluar en un
solo estudio; además de que existe una incapacidad para captar las opiniones de
diferentes partes interesadas (profesores, personal administrativo, jefes,
estudiantes, entre otras) (Kumar et
al., 2020; Prakash,
2018; Kundu, 2017). Esto parece
sugerir la necesidad de que las IES desarrollen sus propios modelos, de manera
sistemática y rigurosa, a partir de las necesidades específicas de evaluación de la
calidad, al mismo tiempo que se contemplan las exigencias de calidad
internacionales.
Los resultados de la validación del presente estudio permiten afirmar que las
dimensiones seleccionadas para integrarse en el modelo son pertinentes al contexto
actual, así como adecuadas para señalar las características de calidad que requieren
los AVA, de acuerdo con criterios e indicadores de organismos certificadores
nacionales e internacionales y los modelos educativos analizados. Adicionalmente, se
identificaron fortalezas y debilidades institucionales, respecto a sus propios
indicadores de calidad durante la contingencia de salud por la covid-19.
En cuanto a la dimensión pedagógica, nuestros hallazgos coinciden con estudios como
el de Zempoalteca et al.
(2016), en que es necesario reforzar las habilidades docentes, como la de
diseño instruccional y evaluación de aprendizajes, explicable debido a que los
profesores de las IES carecen de formación docente especializada y certificada en su
mayoría.
Asimismo, en cuanto a la dimensión digital se coincide con otros estudios (Scherer et al., 2020) en que
se requiere más acompañamiento y capacitación a los docentes respecto a la
planeación de contenidos, el uso de herramientas de enseñanza-aprendizaje y de
evaluación en ambientes digitales. También se detectó que se requiere incorporar una
capacitación avanzada en competencias digitales a la totalidad de la planta docente,
además de implementar un seguimiento y evaluación continua de la calidad a lo largo
de cada período académico.
En cuanto a la dimensión profesional, se identificó la necesidad de fortalecer las
competencias profesionales con la certificación y el reconocimiento de la
experiencia práctica en los sectores. Respecto a la dimensión de investigación se
detectó la necesidad de generación de estrategias que propicien el desarrollo de
proyectos de investigación con fuertes estándares metodológicos.
Una fortaleza del modelo propuesto es que su diseño se basa en los estándares de
calidad educativa nacionales e internacionales, con lo que se intenta responder a
los cambios educativos forzados que implicó la crisis sanitaria internacional.
Además, representa una innovación y llena un vacío respecto a estudios de calidad
educativa basados en la percepción de los estudiantes, así como de modelos para
evaluar la calidad docente en los AVA.
Como parte de las debilidades del modelo que se identificaron, se encuentra que se
requiere desarrollar la ponderación de indicadores y categorías. Esto podría
realizarse a través de la replicación de la implementación del modelo en otras
instituciones educativas, mediante el uso de AVA. También es factible integrar de
forma más robusta la opinión de los propios docentes en la mejora del modelo.
CONCLUSIONES
Este estudio aporta un modelo de competencias docentes en AVA para asegurar la
calidad de la educación superior durante la contingencia de salud por la covid-19.
La validación del modelo indica su pertinencia para evaluar la calidad educativa, a
partir de la percepción de los estudiantes. Los resultados de la validación
permitieron constatar la pertinencia del modelo en cada una de sus dimensiones, así
como identificar las fortalezas y las debilidades en las competencias de los
docentes.
Este modelo podría ser la base para propuestas y estudios similares que ensayen estas
y otras dimensiones para evaluar la calidad educativa de los AVA en las
instituciones de educación superior. Se requiere avanzar en la indagación de
estrategias pertinentes de acompañamiento a los docentes para superar sus brechas en
uso educativo de las TIC y otras herramientas digitales.
ReferenciasAguilar, N. J. (2020). Continuidad pedagógica en el nivel medio
superior: acciones y reacciones ante la emergencia sanitaria. En IISUE,
Educación y pandemia. Una visión académica (pp. 47- 54).
México: UNAM. https://www.iisue.unam.mx/investigacion/textos/educacion_pandemia.pdfAguilarN. J.2020Continuidad pedagógica en el nivel medio superior: acciones y
reacciones ante la emergencia sanitariaIISUEEducación y pandemia. Una visión académica47 54MéxicoUNAMhttps://www.iisue.unam.mx/investigacion/textos/educacion_pandemia.pdfAlbrahim, F. A. (2020). Online teaching skills and competencies.
Turkish Online Journal of Educational Technology-TOJET,
19(1), pp. 9-20. https://eric.ed.gov/?q=source%3A%22Turkish+Online+Journal+of+Educational+Technology+%22&id=EJ1239983AlbrahimF. A.2020Online teaching skills and competenciesTurkish Online Journal of Educational Technology-TOJET191920https://eric.ed.gov/?q=source%3A%22Turkish+Online+Journal+of+Educational+Technology+%22&id=EJ1239983Allam, Z. (2018). Students’ perception of quality in higher
education: An empirical investigation. Management Science
Letters, 8(5), pp. 437-444.
https://doi.org/10.5267/j.msl.2018.4.002AllamZ.2018Students’ perception of quality in higher education: An empirical
investigationManagement Science Letters8543744410.5267/j.msl.2018.4.002Ally, M. (2019). Competency profile of the digital and online
teacher in future education. International Review of Research in Open
and Distributed Learning, 20(2).
https://doi.org/10.19173/irrodl.v20i2.4206AllyM.2019Competency profile of the digital and online teacher in future
educationInternational Review of Research in Open and Distributed
Learning20210.19173/irrodl.v20i2.4206Barrón Tirado, M. C. (2020). La educación en línea. Transiciones y
disrupciones. En IISUE, Educación y pandemia. Una visión
académica (pp. 66-74). México: UNAM . http://www.iisue.unam.iisue/covid/educacion-y-pandemiaBarrón TiradoM. C.2020La educación en línea. Transiciones y
disrupcionesIISUEEducación y pandemia. Una visión académica6674MéxicoUNAMhttp://www.iisue.unam.iisue/covid/educacion-y-pandemiaBonilla Trujillo, D.; Villamil Reyes, V. V. y Mora Montes, J. F.
(2019). Uso de simuladores 3D como estrategia tecnopedagógica para la
transferencia de conocimiento en el aprendizaje de la anatomía animal.
Documentos de Trabajo ECAPMA, (1).
https://doi.org/10.22490/ECAPMA.3414Bonilla TrujilloD.Villamil ReyesV. V.Mora MontesJ. F.2019Uso de simuladores 3D como estrategia tecnopedagógica para la
transferencia de conocimiento en el aprendizaje de la anatomía
animalDocumentos de Trabajo ECAPMA110.22490/ECAPMA.3414Cabero-Almenara, J. y Llorente-Cejudo, C. (2020). Covid-19:
transformación radical de la digitalización en las instituciones universitarias.
Campus Virtuales, 9(2), pp. 25-34. http://www.uajournals.com/ojs/index.php/campusvirtuales/article/view/713Cabero-AlmenaraJ.Llorente-CejudoC.2020Covid-19: transformación radical de la digitalización en las
instituciones universitariasCampus Virtuales922534http://www.uajournals.com/ojs/index.php/campusvirtuales/article/view/713Clavijo, D. (2018). Competencia del docente universitario en el
siglo XXI. Revista Espacios, 39(20). https://www.revistaespacios.com/a18v39n20/a18v39n20p22.pdfClavijoD.2018Competencia del docente universitario en el siglo
XXIRevista Espacios3920https://www.revistaespacios.com/a18v39n20/a18v39n20p22.pdfCocunubo-Suárez, J. I.; Parra-Valencia, J. A. y Otálora-Luna, J. E.
(2018). Propuesta para la evaluación de entornos virtuales de enseñanza
aprendizaje con base en estándares de usabilidad. TecnoLógicas,
21(41), pp. 135-147.
https://doi.org/10.22430/22565337.732Cocunubo-SuárezJ. I.Parra-ValenciaJ. A.Otálora-LunaJ. E.2018Propuesta para la evaluación de entornos virtuales de enseñanza
aprendizaje con base en estándares de usabilidadTecnoLógicas214113514710.22430/22565337.732El Alfy, S. & Abukari, A. (2020). Revisiting perceived service
quality in higher education: Uncovering service quality dimensions for
postgraduate students. Journal of Marketing for Higher
Education, 30(1), pp. 1-25.
https://doi.org/10.1080/08841241.2019.1648360El AlfyS.AbukariA.2020Revisiting perceived service quality in higher education:
Uncovering service quality dimensions for postgraduate
studentsJournal of Marketing for Higher Education30112510.1080/08841241.2019.1648360García-Chitiva, M. D. P. y Suárez-Guerrero, C. (2019). Estado de la
investigación sobre la colaboración en entornos virtuales de aprendizaje.
Píxel-Bit: Revista de Medios y Educación, (56), pp.
169-191. https://doi.org/10.12795/pixelbit.2019.i56.09García-ChitivaM. D. P.Suárez-GuerreroC.2019Estado de la investigación sobre la colaboración en entornos
virtuales de aprendizajePíxel-Bit: Revista de Medios y Educación5616919110.12795/pixelbit.2019.i56.09García-Peñalvo, F. J.; Corell, A.; Abella-García, V. y Grande, M.
(2020). La evaluación online en la educación superior en tiempos de la covid-19.
Education in the Knowledge Society, 21.
https://doi.org/10.14201/eks.23013García-PeñalvoF. J.CorellA.Abella-GarcíaV.GrandeM.2020La evaluación online en la educación superior en tiempos de la
covid-19Education in the Knowledge Society2110.14201/eks.23013González Hernández, N. Y. y Victoria Uribe, R. (2019). Nuevas
alternativas para transferencia de conocimiento sustentable: eluso de interfaces
de realidad virtual. En J. A. Vargas Castro y G. A.García Luna Villagrán
(comps.), Diseño Estratégico e Incluyente para un Desarrollo
Sostenible. México: Universidad Autónoma del Estado de México.
http://coloquio2019.faduaemex.org.mx/wp-content/uploads/2019/11/design-estrategicweb.pdf#page=10González HernándezN. Y.Victoria UribeR.2019Nuevas alternativas para transferencia de conocimiento
sustentable: eluso de interfaces de realidad virtualVargas CastroJ. A.García Luna VillagránG. A.Diseño Estratégico e Incluyente para un Desarrollo SostenibleMéxicoUniversidad Autónoma del Estado de Méxicohttp://coloquio2019.faduaemex.org.mx/wp-content/uploads/2019/11/design-estrategicweb.pdf#page=10Herrera, L.; Souza, M. R. y de Quadros, J. F. (2018). Evaluación de
la calidad en la educación superior: una revisión de la literatura a partir de
la satisfacción del alumnado. Cadernos de pesquisa,
25(2), pp. 71-89.
http://dx.doi.org/10.18764/2178-2229.v25n2p71-89HerreraL.SouzaM. R.de QuadrosJ. F.2018Evaluación de la calidad en la educación superior: una revisión
de la literatura a partir de la satisfacción del alumnadoCadernos de pesquisa252718910.18764/2178-2229.v25n2p71-89Jiménez Moreno, J. A. (2019). La evaluación y acreditación de la
educación profesional en México: ¿la legitimación y competitividad como fin de
la universidad? Revista de la educación superior,
48(189), pp. 55-72.
https://doi.org/10.36857/resu.2019.189.614Jiménez MorenoJ. A.2019La evaluación y acreditación de la educación profesional en
México: ¿la legitimación y competitividad como fin de la
universidad?Revista de la educación superior48189557210.36857/resu.2019.189.614Khlaisang, J. & Songkram, N. (2019). Designing a virtual
learning environment system for teaching twenty-first century skills to higher
education students in ASEAN. Technology, Knowledge and
Learning, 24(1), pp. 41-63.
http://dx.doi.org/10.1007/s10758-017-9310-7KhlaisangJ.SongkramN.2019Designing a virtual learning environment system for teaching
twenty-first century skills to higher education students in
ASEANTechnology, Knowledge and Learning241416310.1007/s10758-017-9310-7Kumar, P.; Shukla, B. & Passey, D. (2020). Impact of
Accreditation on Quality and Excellence of Higher Education Institutions.
Investigación Operacional, 41(2), pp.
151-167. https://eprints.lancs.ac.uk/id/eprint/141916KumarP.ShuklaB.PasseyD.2020Impact of Accreditation on Quality and Excellence of Higher
Education InstitutionsInvestigación Operacional412151167https://eprints.lancs.ac.uk/id/eprint/141916Kundu, G. K. (2017). Quality in higher education from different
perspectives: a literature review. International journal for quality
research, 11(1), pp. 17-35.
http://dx.doi.org/10.18421/IJQR11.01-02KunduG. K.2017Quality in higher education from different perspectives: a
literature reviewInternational journal for quality research111173510.18421/IJQR11.01-02Luna Encalada, W.; Costales, P. M.; Cordovez Machado, S. P. &
Guaiña Yungán, J. (2020). Virtual Laboratories in Virtual Learning
Environments. En The International Conference on Advances in
Emerging Trends and Technologies.. Springer, Cham (pp. 114-126)
https://doi.org/10.1007/978-3-030-63665-4_9Luna EncaladaW.CostalesP. M.Cordovez MachadoS. P.Guaiña YungánJ.2020Virtual Laboratories in Virtual Learning EnvironmentsThe International Conference on Advances in Emerging Trends and
TechnologiesSpringerCham11412610.1007/978-3-030-63665-4_9Macías-Catagua, O. W. (2018). El desarrollo de competencias
genéricas en el docente universitario. Dominio de las Ciencias,
4(3), pp. 240-252. http://dx.doi.org/10.23857/dc.v4i3.806Macías-CataguaO. W.2018El desarrollo de competencias genéricas en el docente
universitarioDominio de las Ciencias4324025210.23857/dc.v4i3.806Nechypurenko, P. P.; Selivanova, T. V. & Chernova, M. P. (2019).
Using the cloud-oriented virtual chemical laboratory lab in teaching
the solution of experimental problems in chemistry of 9th grade
students. En Proceedings of the 15th International Conference on
ICT in Education, Research and Industrial Applications. Integration,
Harmonization and Knowledge Transfer (pp. 968- 983). CEUR Workshop
Proceedings.NechypurenkoP. P.SelivanovaT. V.ChernovaM. P.2019Using the cloud-oriented virtual chemical laboratory lab in teaching the
solution of experimental problems in chemistry of 9th grade
students15International Conference on ICT in Education, Research and
Industrial Applications. Integration, Harmonization and Knowledge
Transfer968 983CEUR Workshop ProceedingsPeterson-Ahmad, M. B.; Pemberton, J. & Hovey, K. A. (2018).
Virtual learning environments for teacher preparation. Kappa Delta Pi
Record, 54(4), pp. 165-169.
https://doi.org/10.1080/00228958.2018.1515544Peterson-AhmadM. B.PembertonJ.HoveyK. A.2018Virtual learning environments for teacher
preparationKappa Delta Pi Record54416516910.1080/00228958.2018.1515544Phungsuk, R.; Viriyavejakul, C. & Ratanaolarn, T. (2017).
Development of a problem-based learning model via a virtual learning
environment. Kasetsart Journal of Social Sciences, 38(3), pp.
297-306. https://doi.org/10.1016/j.kjss.2017.01.001PhungsukR.ViriyavejakulC.RatanaolarnT.2017Development of a problem-based learning model via a virtual
learning environmentKasetsart Journal of Social Sciences38329730610.1016/j.kjss.2017.01.001Prakash, G. (2018). Quality in higher education institutions:
insights from the literature. The TQM Journal,
30(6), pp. 732-748.
https://doi.org/10.1108/TQM-04-2017-0043PrakashG.2018Quality in higher education institutions: insights from the
literatureThe TQM Journal30673274810.1108/TQM-04-2017-0043Salmerón-Manzano, E. & Manzano-Agugliaro, F. (2018). The Higher
Education Sustainability through Virtual Laboratories: The Spanish University as
Case of Study. Sustainability, 10(11), p.
4040. https://doi.org/10.3390/su10114040Salmerón-ManzanoE.Manzano-AgugliaroF.2018The Higher Education Sustainability through Virtual Laboratories:
The Spanish University as Case of StudySustainability10114040404010.3390/su10114040Sánchez Cuevas, M. (2020). Chapter 19. Challenge Based Learning
(CBL). En Education Applications & Developments V. Lisboa:
inScience Press. Sánchez CuevasM.2020Chapter 19. Challenge Based Learning (CBL)Education Applications & Developments VLisboainScience PressSari, T. & Nayir, F. (2020). Challenges in Distance Education
During the (Covid-19) Pandemic Period. Qualitative Research in Education
(2014-6418), 9(3), pp. 328-360.
http://dx.doi.org/10.17583/qre.2020.5872SariT.NayirF.2020Challenges in Distance Education During the (Covid-19) Pandemic
PeriodQualitative Research in Education (2014-6418)9332836010.17583/qre.2020.5872Scherer, R.; Howard, S. K.; Tondeur, J. & Siddiq, F. (2020).
Profiling teachers’ readiness for online teaching and learning in higher
education: Who’s ready? Computers in Human Behavior,
118, 106675.
https://doi.org/10.1016/j.chb.2020.106675SchererR.HowardS. K.TondeurJ.SiddiqF.2020Profiling teachers’ readiness for online teaching and learning in
higher education: Who’s ready?Computers in Human Behavior11810667510667510.1016/j.chb.2020.106675Tobón, S. (2008). Gestión curricular y ciclos
propedéuticos. Bogotá: ECOE. TobónS.2008Gestión curricular y ciclos propedéuticosBogotáECOEVillarroel, V. A. y Bruna, D. V. (2017). Competencias pedagógicas
que caracterizan a un docente universitario de excelencia: un estudio de caso
que incorpora la perspectiva de docentes y estudiantes. Formación
universitaria, 10(4), pp. 75-96.
http://dx.doi.org/10.4067/S0718-50062017000400008VillarroelV. A.BrunaD. V.2017Competencias pedagógicas que caracterizan a un docente
universitario de excelencia: un estudio de caso que incorpora la perspectiva
de docentes y estudiantesFormación universitaria104759610.4067/S0718-50062017000400008Yong-Sik, H. & Yung Kyun, C. (2019). Higher education service
quality and student satisfaction, institutional image, and behavioral intention.
Social Behavior & Personality: An International
Journal, 47(2), pp. 1-12.
https://doi.org/10.2224/sbp.7622Yong-SikH.Yung KyunC.2019Higher education service quality and student satisfaction,
institutional image, and behavioral intentionSocial Behavior & Personality: An International Journal47211210.2224/sbp.7622Zempoalteca Durán, B.; Barragán López, J. F.; González Martínez, J.
y Guzmán Flores, T. (2016). Formación en TIC y competencia digital en la
docencia de instituciones públicas de educación superior.
Apertura, 9(1), pp. 80-96.
http://dx.doi.org/10.32870/Ap.v9n1.922Zempoalteca DuránB.Barragán LópezJ. F.González MartínezJ.Guzmán FloresT.2016Formación en TIC y competencia digital en la docencia de
instituciones públicas de educación superiorApertura91809610.32870/Ap.v9n1.922
CÓMO CITAR ESTE ARTÍCULO: Vega Lebrún, Carlos Arturo; Sánchez
Cuevas, Mariano; Rosano Ortega, Genoveva y Amador Pérez, Silvia Elena. (2021).
Competencias docentes, una innovación en ambientes virtuales de aprendizaje en
educación superior. Apertura, 13(2), pp. 6-21.
DOI: http://dx.doi.org/10.32870/Ap.v13n2.2061