Confiabilidad y normalización de dos test empleados en la orientación vocacional
Resumen
La presente investigación tuvo como objetivo estimar la confiabilidad y establecer las normas de interpretación para los test 16 Factores de la Personalidad y Habilidades Mentales Primarias con el fin de ofrecer instrumentos confiables al área de orientación vocacional del Campus Siglo XXI, en virtud de que estos test no habían sido sometidos a estos estudios técnicos. Atento a ello se llevó a cabo un estudio de tipo ex post facto, tomando como insumo datos de test que fueron aplicados a alumnos del citado plantel, durante el ciclo escolar 2007-2008, por lo que las variables fundamentales fueron: personalidad y habilidades mentales primarias. Los resultados muestran que el test 16 FP, en sus factores L, M, N y Q1 presenta índices de correlación no significativos (α = 0.05) lo que sugiere que estos atributos quizá no son estables en la población de estudio dada la variabilidad de los datos reflejados en los índices de correlación tan bajos, y que el test requiere estudios más especializados en estos factores en cuanto al diseño de sus reactivos. El test de Habilidades Mentales Primarias mostró índices de confiabilidad significativos (α = 0.05), lo que apunta a su consistencia interna. Finalmente, se adecuaron las tablas de normas de interpretación de ambos test a normas institucionales para poder ser empleadas por el área de Orientación Vocacional de esta institución.
* * *
* * *
Introducción
1. Planteamiento del problema
En el nivel medio superior hay un fenómeno decisivo para los estudiantes: la elección de carrera. En él, el papel del psicólogo como orientador vocacional es crucial, pues, como su nombre lo dice, es el guía que apoyará al alumno a que éste realice la mejor elección, de acuerdo a sus aptitudes, actitudes e intereses.
Una herramienta en la que se apoya el orientador para dar dicho apoyo al alumno, son los test psicométricos. No obstante, el estudio técnico de éstos debe ser una necesidad imperante en las escuelas, pues es mediante los resultados que arrojan como se ayuda a los alumnos a tomar decisiones de su vida futura. Si el orientador ofrece un servicio con instrumentos que no son confiables o normalizados, la orientación se vuelve incluso peligrosa, pues se estaría induciendo al discente hacia el fracaso escolar.
En virtud de lo anterior, el presente trabajo emana de un problema de la realidad concreta de una institución de educación media superior, aunada a la experiencia laboral que en esta área se tiene. Es por ello que confiabilidad y normalización constituyeron los objetivos de la presente investigación.
2. Justificación
La elección de carrera por parte de un individuo que se encuentra en una etapa crucial para su vida, no es un juego, ni una actividad que se tome a la ligera, puesto que como ya se ha apuntado, la vida futura del sujeto está en juego. Un factor determinante en la toma de decisiones del orientando, son el conocimiento de sus fortalezas y debilidades, las cuales conoce cuando el orientador le hace de conocimiento los resultados que obtuvo en los test. Pero si éstos arrojan resultados falsos, las consecuencias pueden ser drásticas.
La elección de carrera por parte de un individuo que se encuentra en una etapa crucial para su vida, no es un juego, ni una actividad que se tome a la ligera, puesto que como ya se ha apuntado, la vida futura del sujeto está en juego. Un factor determinante en la toma de decisiones del orientando, son el conocimiento de sus fortalezas y debilidades, las cuales conoce cuando el orientador le hace de conocimiento los resultados que obtuvo en los test. Pero si éstos arrojan resultados falsos, las consecuencias pueden ser drásticas.
El Centro Universitario Campus Siglo XXI, imparte educación del nivel medio superior. Dentro del servicio que ofrece en el mismo, se encuentra el departamento de orientación vocacional, que como su nombre lo indica, se encarga de apoyar a los estudiantes que se encuentran en la etapa de elección de carrera.
Dentro de los instrumentos que emplea este departamento se encuentran El test de 16 FP y el Test de Habilidades Mentales Primarias, lo cuales, no obstante, no han sido sometidos a estudios de confiabilidad ni de normalización. Operar de esa forma el servicio de orientación vocacional se considera una actividad que atenta contra le ética profesional y los principios de la educación. De esta forma, lo anterior justifica el presente trabajo.
3. Preguntas de investigación
Por lo expuesto anteriormente y dada la naturaleza del problema y de las variables en él involucradas se consideró necesario plantear la siguiente pregunta:
¿Son confiables los test empleados en el área de orientación vocacional de la escuela preparatoria del Campus Siglo XXI y sus normas adecuadas para evitar emitir resultados distorsionados en su interpretación?
Por lo expuesto anteriormente y dada la naturaleza del problema y de las variables en él involucradas se consideró necesario plantear la siguiente pregunta:
¿Son confiables los test empleados en el área de orientación vocacional de la escuela preparatoria del Campus Siglo XXI y sus normas adecuadas para evitar emitir resultados distorsionados en su interpretación?
4. Hipótesis
De la mano de la anterior pregunta de investigación, se generó una respuesta tentativa a la misma y que plantearemos en términos de hipótesis de trabajo, la cual guió la investigación:
Si los instrumentos que se emplean en el área de orientación vocacional muestran un índice de confiabilidad significativo en su consistencia interna y su normalización permite adecuarlos a los puntajes reales de los sujetos, entonces serán instrumentos que no arrojan resultados distorsionados.
De la mano de la anterior pregunta de investigación, se generó una respuesta tentativa a la misma y que plantearemos en términos de hipótesis de trabajo, la cual guió la investigación:
Si los instrumentos que se emplean en el área de orientación vocacional muestran un índice de confiabilidad significativo en su consistencia interna y su normalización permite adecuarlos a los puntajes reales de los sujetos, entonces serán instrumentos que no arrojan resultados distorsionados.
General.
Proporcionar al área de orientación vocacional del Campus Siglo XXI herramientas que le permitan brindar el servicio de orientación a los alumnos con responsabilidad y ética.
Específicos
Estimar la confiabilidad de los test 16 factores de la personalidad de Cattell y Habilidades Mentales Primarias de Thurstone.
Establecer sus normas de interpretación
Proporcionar al área de orientación vocacional del Campus Siglo XXI herramientas que le permitan brindar el servicio de orientación a los alumnos con responsabilidad y ética.
Específicos
Estimar la confiabilidad de los test 16 factores de la personalidad de Cattell y Habilidades Mentales Primarias de Thurstone.
Establecer sus normas de interpretación
6. Variables
A continuación se definen las variables que se involucraron en el estudio, por lo que se considera pertinente definir operacionalmente lo que midió cada uno de los test que se estudiaron:
A continuación se definen las variables que se involucraron en el estudio, por lo que se considera pertinente definir operacionalmente lo que midió cada uno de los test que se estudiaron:
Del Test de 16 Factores de la Personalidad de R. Cattell
Como su nombre lo expresa, este test mide 16 factores de la personalidad. Es decir 16 variables mediante las cuales se conforma un perfil de personalidad, las cuales son:
1. Soliloquia-Sociabilidad
2. Inteligencia
3. Debilidad-Fortaleza Yóica
4. Sumisión-Dominio
5. Seriedad-Impetuosidad
6. Fuerza del superyó
7. Timidez-Audacia
8. Realismo-Sensibilidad
9. Confianza-Desconfianza
10. Objetividad-Subjetividad
11. Candidez-Astucia
12. Seguridad de sí mismo
13. Conservadurismo-Radicalismo
14. Dependencia
15. Incontrolado-Controlado
16. Tranquilidad-Tensión
Como su nombre lo expresa, este test mide 16 factores de la personalidad. Es decir 16 variables mediante las cuales se conforma un perfil de personalidad, las cuales son:
1. Soliloquia-Sociabilidad
2. Inteligencia
3. Debilidad-Fortaleza Yóica
4. Sumisión-Dominio
5. Seriedad-Impetuosidad
6. Fuerza del superyó
7. Timidez-Audacia
8. Realismo-Sensibilidad
9. Confianza-Desconfianza
10. Objetividad-Subjetividad
11. Candidez-Astucia
12. Seguridad de sí mismo
13. Conservadurismo-Radicalismo
14. Dependencia
15. Incontrolado-Controlado
16. Tranquilidad-Tensión
Definición Operacional. Son los puntajes totales del alumno en cada uno de los 16 factores que
mide el test y que se obtienen al sumar las respuestas emitidas por el individuo en el cuestionario del test. Estas 16 variables son de tipo continuo que se transforman en discretas y que se cuantifican en el nivel de medición ordinal ya que las respuestas se califican con los valores 0, 1, 2, de acuerdo con el manual de calificación del propio test.
mide el test y que se obtienen al sumar las respuestas emitidas por el individuo en el cuestionario del test. Estas 16 variables son de tipo continuo que se transforman en discretas y que se cuantifican en el nivel de medición ordinal ya que las respuestas se califican con los valores 0, 1, 2, de acuerdo con el manual de calificación del propio test.
Del Test de habilidades Mentales Primarias de Thurstone.
Este test mide 5 habilidades mentales primarias: comprensión verbal, habilidad espacial, cálculo, raciocinio, fluidez verbal. Así, el sujeto no obtiene un puntaje total de desempeño. Es decir no es como las pruebas típicas de inteligencia en las que se obtiene un puntaje total de su CI, en esta prueba se obtiene un puntaje por cada habilidad y, mediante éste, se traza un perfil de habilidades del sujeto.
Este test mide 5 habilidades mentales primarias: comprensión verbal, habilidad espacial, cálculo, raciocinio, fluidez verbal. Así, el sujeto no obtiene un puntaje total de desempeño. Es decir no es como las pruebas típicas de inteligencia en las que se obtiene un puntaje total de su CI, en esta prueba se obtiene un puntaje por cada habilidad y, mediante éste, se traza un perfil de habilidades del sujeto.
Definición Operacional. Son los puntajes totales que tiene el sujeto en cada uno de las 5 habilidades y que se obtienen al sumar los puntajes correspondientes a las respuestas del individuo al test. Las habilidades mentales primarias son variables de tipo continuo que se transforman en discretas y que se cuantifican en el nivel de medición ordinal con los valores 0 ó 1 de acuerdo a la respuesta del sujeto y al manual de calificación del test.
7. Teorías más relevantes y marco conceptual
La psicometría es la rama de la psicología que se encarga del desarrollo y estudio de los instrumentos que permiten medir constructos psicológicos y que cumplan con todas las características técnicas de confiabilidad y validez (Anastasi, 1987).
La psicometría es la rama de la psicología que se encarga del desarrollo y estudio de los instrumentos que permiten medir constructos psicológicos y que cumplan con todas las características técnicas de confiabilidad y validez (Anastasi, 1987).
Derivado de de lo anterior la investigación que se propone se encuadra en un marco psicológico, toda vez que nos preguntamos por la relación entre variables de un fenómeno de estudio. Si bien no se trata de una relación causa-efecto, la que aquí se presenta involucra la relación entre variables del tipo atributivas, es decir, en términos de Kerlinger (1998), aquéllas que por su naturaleza misma no manipularemos y que sólo nos limitaremos a medir, con el fin de estudiar las características técnicas de tres test: la confiabilidad y su establecimiento de normas de interpretación.
La Orientación Vocacional
Para Anthony (1984), “la orientación vocacional es un proceso que tiene como objetivo despertar intereses vocacionales, ajustar dichos intereses a la competencia laboral del sujeto y a las necesidades del mercado de trabajo. El primer paso de la rehabilitación vocacional es la elección de un interés que permita al sujeto alcanzar su meta laboral”.
Para Anthony (1984), “la orientación vocacional es un proceso que tiene como objetivo despertar intereses vocacionales, ajustar dichos intereses a la competencia laboral del sujeto y a las necesidades del mercado de trabajo. El primer paso de la rehabilitación vocacional es la elección de un interés que permita al sujeto alcanzar su meta laboral”.
Rivas (1999),por su parte nos dice que la orientación vocacional “…pretende ayudar a que la persona elabore un concepto adecuado de sí mismo, y de su papel en el trabajo. Aunque no es un concepto unívoco, puede ser entendida como el proceso de ayuda en la elección de una profesión, la preparación para ella, el acceso al ejercicio de la misma y la evolución y progreso posterior.”
La Orientación Vocacional pretende ayudar a que la persona, no es un proceso puntual, sino continuo en el tiempo, que persigue como objetivo el desarrollo de la persona. Bajo esta perspectiva, es un proceso complejo y continuo, que tiene como objetivo despertar intereses vocacionales a través del conocimiento de sí mismo, ajustar dichos intereses a la competencia laboral del sujeto y evaluarlas en relación a las necesidades del mercado de trabajo, es decir, ubicarse luego en el contexto social-laboral. (Lane, 1985)
Como puede observarse todos estos conceptos coinciden en que es un proceso mediante el cual se estudian las características de un individuo conformándolas en un perfil y, a partir de ahí, analizar el trabajo que más se apegue al mismo. Pero el desarrollo de este proceso complejo no se hace bajo un mero sentido común, sino que a través de un proceso metodológico y científico en el que se apoya el psicólogo mediante instrumentos que le aporten medidas objetivas de las características de los sujetos: los test.
La Confiabilidad
Esta característica de los test responde a la pregunta ¿con qué precisión mide el test? En general, cuando se habla de la confiabilidad de un instrumento de medición, se emplean los términos “exactitud” “consistencia” “estabilidad” por referir algunos (Gronlund, 1983, 46).
Para Magnuson (1986), la confiabilidad se puede entender en dos formas: una señala que es la exactitud con que mide un test, es el concepto clásico; por otra parte, el concepto estadístico la enfoca como la correlación entre dos test equivalentes o entre dos series de puntuaciones de un mismo test.
En resumen, la confiabilidad pude ser definida como la capacidad para demostrar consistencia y estabilidad en las puntuaciones del atributo o características para las que fue diseñado un test.
La confiabilidad de una prueba se expresa como un número decimal que va desde -1.00, pasando por el 0.00 hasta 1.00. Un índice de confiabilidad igual 1.00 indica una correlación perfecta y un índice de 0.00 indica la falta de confiabilidad. (Thorndike, 1978)
Métodos para estudiar la confiabilidad
Esta característica de los test responde a la pregunta ¿con qué precisión mide el test? En general, cuando se habla de la confiabilidad de un instrumento de medición, se emplean los términos “exactitud” “consistencia” “estabilidad” por referir algunos (Gronlund, 1983, 46).
Para Magnuson (1986), la confiabilidad se puede entender en dos formas: una señala que es la exactitud con que mide un test, es el concepto clásico; por otra parte, el concepto estadístico la enfoca como la correlación entre dos test equivalentes o entre dos series de puntuaciones de un mismo test.
En resumen, la confiabilidad pude ser definida como la capacidad para demostrar consistencia y estabilidad en las puntuaciones del atributo o características para las que fue diseñado un test.
La confiabilidad de una prueba se expresa como un número decimal que va desde -1.00, pasando por el 0.00 hasta 1.00. Un índice de confiabilidad igual 1.00 indica una correlación perfecta y un índice de 0.00 indica la falta de confiabilidad. (Thorndike, 1978)
Métodos para estudiar la confiabilidad
Test-retest
Consiste en aplicar repetidamente un test a un mismo grupo con un intervalo de tiempo entre aplicación y aplicación. Este método no es muy recomendable, ya que en la aplicación repetida del test estarán presente el recuerdo en los testados de las aplicaciones anteriores (Aiken, 1996).
Consiste en aplicar repetidamente un test a un mismo grupo con un intervalo de tiempo entre aplicación y aplicación. Este método no es muy recomendable, ya que en la aplicación repetida del test estarán presente el recuerdo en los testados de las aplicaciones anteriores (Aiken, 1996).
Formas paralelas
Las formas paralelas de un test han de entenderse como formas construidas conforme a las mismas especificaciones, pero compuestas de muestras separadas de conducta en el área definida (Brown, 1988). Así, dos test de lectura equivalentes deben contener pasajes de lectura y preguntas de igual dificultad. Debe formularse el mismo tipo de preguntas que versarán en forma semejante y proporcionada sobre hechos concretos.
Las formas paralelas de un test han de entenderse como formas construidas conforme a las mismas especificaciones, pero compuestas de muestras separadas de conducta en el área definida (Brown, 1988). Así, dos test de lectura equivalentes deben contener pasajes de lectura y preguntas de igual dificultad. Debe formularse el mismo tipo de preguntas que versarán en forma semejante y proporcionada sobre hechos concretos.
Si disponemos de dos formas de un test, debemos administrar a los alumnos primero una forma y luego la otra. Pueden aplicarse una a continuación de la otra o separar las aplicaciones por un intervalo de tiempo. De esta manera, se administran dos o más versiones equivalentes de un instrumento de medición. Las versiones son similares en contenido, instrucciones, duración y otras características. Las versiones (casi siempre dos) se administran a uno mismo grupo de personas dentro de un periodo relativamente corto. El instrumento es confiable si la correlación entre los resultados de ambas administraciones es positiva de manera significativa (Brown, 1988).Este procedimiento, no obstante, plantea algunos problemas prácticos. Exige que se disponga de dos formas paralelas de un test y el tiempo y los gastos que implica que lleva en administrar una forma paralela.
División por mitades
Este es el método más ampliamente usado para estimar la confiabilidad. Consiste en aplicar el test y una vez hecho esto, dividirlo en dos mitades y correlacionar los dos pares de puntuaciones obtenidas de las mitades. Una forma aceptable de dividir una prueba es asignar al azar los reactivos de una u otra mitad de la prueba, ó asignar los reactivos con números nones y los reactivos con números pares o finalmente dividir la prueba por contenido, cada mitad contenga reactivos equivalentes con respecto al contenido y dificultad (Anastasi, 1987). Este fue el método que se empleó en la presente investigación, dividiendo al test dos partes: en reactivos pares e impares.
Este es el método más ampliamente usado para estimar la confiabilidad. Consiste en aplicar el test y una vez hecho esto, dividirlo en dos mitades y correlacionar los dos pares de puntuaciones obtenidas de las mitades. Una forma aceptable de dividir una prueba es asignar al azar los reactivos de una u otra mitad de la prueba, ó asignar los reactivos con números nones y los reactivos con números pares o finalmente dividir la prueba por contenido, cada mitad contenga reactivos equivalentes con respecto al contenido y dificultad (Anastasi, 1987). Este fue el método que se empleó en la presente investigación, dividiendo al test dos partes: en reactivos pares e impares.
El Coeficiente de Correlación
La estimación de la confiabilidad de un instrumento se presenta en términos de un índice de correlación. Kerlinger (1998: 212-213), lo define como “…un índice que indica el grado de variación concomitante que existe entre dos conjuntos de puntuaciones”. Para interpretar este índice debe observarse que los coeficientes de correlación se extienden por una escala que va de -1.00 a través de 0 hasta 1.00.
La estimación de la confiabilidad de un instrumento se presenta en términos de un índice de correlación. Kerlinger (1998: 212-213), lo define como “…un índice que indica el grado de variación concomitante que existe entre dos conjuntos de puntuaciones”. Para interpretar este índice debe observarse que los coeficientes de correlación se extienden por una escala que va de -1.00 a través de 0 hasta 1.00.
Las Normas
Cuando tenemos una puntuación de un test o de una prueba de rendimiento, pongamos por ejemplo, que un alumno obtuvo un 8 en matemáticas, el siguiente paso es preguntarnos ¿qué significa este número? En realidad, esta puntuación carece realmente de significado, muy a pesar de que, por mero sentido común, sabemos que ese ocho significa que no reprobó. Realmente carece de sentido si no tenemos la capacidad de saber si tal puntuación se encuentra en el promedio, es alta, es muy alta. Es decir, sólo tendrá sentido o será interpretable tal número cuando poseamos alguna norma de comparación. Básicamente, una puntuación bruta solo tiene significado cuando la referimos a su grupo. Así pues, para expresar los resultados de pruebas tenemos que buscar un tipo de unidad mejor que el puntaje bruto de unidades: las normas.
Cuando tenemos una puntuación de un test o de una prueba de rendimiento, pongamos por ejemplo, que un alumno obtuvo un 8 en matemáticas, el siguiente paso es preguntarnos ¿qué significa este número? En realidad, esta puntuación carece realmente de significado, muy a pesar de que, por mero sentido común, sabemos que ese ocho significa que no reprobó. Realmente carece de sentido si no tenemos la capacidad de saber si tal puntuación se encuentra en el promedio, es alta, es muy alta. Es decir, sólo tendrá sentido o será interpretable tal número cuando poseamos alguna norma de comparación. Básicamente, una puntuación bruta solo tiene significado cuando la referimos a su grupo. Así pues, para expresar los resultados de pruebas tenemos que buscar un tipo de unidad mejor que el puntaje bruto de unidades: las normas.
Thorndike (1978: 675) define a las normas como “… marcos de referencia para la interpretación de puntuaciones de test”, y para Brown (1988: 217), representan “…el desempeño de la muestra de estandarización en la prueba; es decir, las normas se establecen empíricamente al determinar lo que hacen en la prueba los miembros de un grupo representativo.” La puntuación transformada en cualquier individuo se refiere entonces a la distribución de las puntuaciones obtenidas por la muestra estandarizada para descubrir que lugar ocupa en esta distribución.
Mehrens (1982: 125), dice que algo que debe tener presente el psicólogo que hace uso de normas para evaluar, es que nunca debe olvidar la manera en que se han establecido las normas, ya que las normas de los test psicológicos de ninguna manera son absolutas, universales o permanentes.
Morales (1982), nos dice que básicamente son tres las características de las normas de interpretación. La primera, es que las normas son datos estadísticos, ya que las calificaciones crudas son transformadas a una escala de puntuaciones derivadas. Segundo, las normas proporcionan marcos de referencia para atribuir un significado a puntuaciones de pruebas, ya que una puntuación cruda no tiene significado por sí misma. Tercero, se basan en la ejecución real de las personas del grupo normativo, por lo que se puede concluir que las normas se calculan empíricamente.
Morales (1982), nos dice que básicamente son tres las características de las normas de interpretación. La primera, es que las normas son datos estadísticos, ya que las calificaciones crudas son transformadas a una escala de puntuaciones derivadas. Segundo, las normas proporcionan marcos de referencia para atribuir un significado a puntuaciones de pruebas, ya que una puntuación cruda no tiene significado por sí misma. Tercero, se basan en la ejecución real de las personas del grupo normativo, por lo que se puede concluir que las normas se calculan empíricamente.
Tipos de Normas
Normas de Edad. Las puntuaciones de las pruebas podrán llegar a adquirir un significado si se indica el nivel de progreso en el desarrollo normal de un individuo tomando principalmente como punto de referencia su edad cronológica y de esta manera determinar su edad mental, situando así un posible retraso en el desarrollo. (Thornike, 1978: 122).
Normas de Edad. Las puntuaciones de las pruebas podrán llegar a adquirir un significado si se indica el nivel de progreso en el desarrollo normal de un individuo tomando principalmente como punto de referencia su edad cronológica y de esta manera determinar su edad mental, situando así un posible retraso en el desarrollo. (Thornike, 1978: 122).
Normas de Grado. En esta norma lo que se logra es que puede ser aplicada a cualquier grado escolar, o de forma consecutiva para de esta manera calcular el promedio de cada grado en determinada área ya sea intelectual, de lectura, memoria, etc. (Thornike, 1978: 119).
Normas Nacionales. Estas normas determinan las características de una muestra normativa de la población en un sector fijo a nivel nacional, las cuales serán comparadas con otras muestras normativas de la misma población y así determinar si son equivalentes los resultados.
Normas Locales. Los grupos normativos son formados por personas de la misma edad, nivel educativo, sexo, ocupación, zona geográfica, ocupación, raza o posición socioeconómica; las cuales serán definidas claramente desde un inicio. El cual será tomado de una muestra del total de la población y no de la totalidad de la población. (Brown, 1980, p. 219).
Normas Institucionales. Estas normas son aún más específicas que las locales, se obtiene de muestras más reducidas como escuelas, hospitales, empresas. Su fin es tener tablas de normas de interpretación en un contexto más reducido. (Brown, 1980, p. 222). A continuación se describen algunos de los modelos normativos más comunes.
Modelo estén
De acuerdo con Kermel (2001), las tablas de normas diseñadas pueden permitir la comparación del puntaje de un individuo con cualquier medida de los puntajes de un grupo. Los puntajes crudos se convierten en puntajes Sten (contracción de los vocablos ingleses standard ten) que permiten ocurra esta comparación con una base igual. Los puntajes sten abarcan de 1 a 10.
Las normas pueden interpretarse como sigue: de 1 a 3 bajo; 4 corresponde a promedio bajo; 5 y 6 promedio; 7 a promedio alto, y 8 a 10 a alto. En el caso del test 16 FP podemos ver en el apartado para trazar el perfil del sujeto que se emplea el modelo de estenes.
La distribución, toda vez que se asume una distribución normal, los puntajes que se encuentran en el rango de 1 a 3 abarcan aproximadamente un 16% de la población, lo mismo sucede con los puntajes de la población son bajos o altos. Aproximadamente el 68% de la población se ubica en los rangos de 4 a 7.
De acuerdo con Kermel (2001), las tablas de normas diseñadas pueden permitir la comparación del puntaje de un individuo con cualquier medida de los puntajes de un grupo. Los puntajes crudos se convierten en puntajes Sten (contracción de los vocablos ingleses standard ten) que permiten ocurra esta comparación con una base igual. Los puntajes sten abarcan de 1 a 10.
Las normas pueden interpretarse como sigue: de 1 a 3 bajo; 4 corresponde a promedio bajo; 5 y 6 promedio; 7 a promedio alto, y 8 a 10 a alto. En el caso del test 16 FP podemos ver en el apartado para trazar el perfil del sujeto que se emplea el modelo de estenes.
La distribución, toda vez que se asume una distribución normal, los puntajes que se encuentran en el rango de 1 a 3 abarcan aproximadamente un 16% de la población, lo mismo sucede con los puntajes de la población son bajos o altos. Aproximadamente el 68% de la población se ubica en los rangos de 4 a 7.
Modelo estaninas
Otra transformación conocida como estanina (stanine), también es una contracción de standard nine o estándar nueve. Se basa en el hecho de que las calificaciones estándar de nueve intervalos, con una media de 5 y una desviación estándar de 2 puntos. Cada una de las nueve categorías de calificación, con excepción de las dos categorías externas, tiene una amplitud de media desviación estándar (Brown, 1980). Las puntuaciones crudas pueden convertirse fácilmente en estaninas si se disponen los resultados originales en orden de tamaño y se les asigna de acuerdo con los porcentajes de la curva (Anastasi, 1998)
Otra transformación conocida como estanina (stanine), también es una contracción de standard nine o estándar nueve. Se basa en el hecho de que las calificaciones estándar de nueve intervalos, con una media de 5 y una desviación estándar de 2 puntos. Cada una de las nueve categorías de calificación, con excepción de las dos categorías externas, tiene una amplitud de media desviación estándar (Brown, 1980). Las puntuaciones crudas pueden convertirse fácilmente en estaninas si se disponen los resultados originales en orden de tamaño y se les asigna de acuerdo con los porcentajes de la curva (Anastasi, 1998)
Es fundamental entender que cuando un modelo normativo tiene un numero par categorías (como el estén), entonces carece de una categoría central, lo que elimina la posibilidad de una norma normal. Para calcular las normas, resulta necesario tener en cuenta el cálculo que se hace a partir de medidas de ubicación, pues estas nos permiten ubicar datos individuales dentro de una masa de datos en términos de proporciones. El fractil es la medida de ubicación que nos permitirá calcular las normas, pues limita por la derecha una proporción cualquiera de una distribución en este caso las proporciones dadas para cada estanina.
8. Trabajos relacionados
Desafortunadamente en el transcurso de la presente investigación sólo se encontró un trabajo relacionado con el que aquí nos ocupa. Este se realizó en la Procuraduría General de Justicia del Estado de México, en el año de 1999. En este trabajo se estudió además de la confiabilidad y su normalización, su validez empírica. No obstante, como lo vimos en el primer apartado lo más ideal es que cada institución posea sus propias normas de interpretación.
* * *
Desafortunadamente en el transcurso de la presente investigación sólo se encontró un trabajo relacionado con el que aquí nos ocupa. Este se realizó en la Procuraduría General de Justicia del Estado de México, en el año de 1999. En este trabajo se estudió además de la confiabilidad y su normalización, su validez empírica. No obstante, como lo vimos en el primer apartado lo más ideal es que cada institución posea sus propias normas de interpretación.
* * *
1. Enfoque metodológico
Derivado de lo que se planteó en el apartado anterior: el problema de investigación, la naturaleza del estudio, el tipo de estudio y la naturaleza de las variables en él involucradas, a continuación se presentan algunos de los argumentos que justifican el uso del enfoque cuantitativo.
Derivado de lo que se planteó en el apartado anterior: el problema de investigación, la naturaleza del estudio, el tipo de estudio y la naturaleza de las variables en él involucradas, a continuación se presentan algunos de los argumentos que justifican el uso del enfoque cuantitativo.
a) Hace uso de la estadística. La estimación de la confiabilidad y el establecimiento de normas de interpretación tienen su fundamento en la teoría de la probabilidad, una de las ramas de la matemática que se encarga del estudio científico del azar. Esto nos lleva de la mano, automáticamente, hacia el paso que antecede a la aplicación de los métodos estadísticos para estimar confiabilidad: la definición operacional y el establecimiento de los niveles de medición.
b) Recolecta datos para probar hipótesis con base en la medición para establecer patrones de comportamiento. De la mano del inciso anterior, en efecto, al plantear una pregunta inicial casi se generó una respuesta tentativa a la misma que resultó en la hipótesis de trabajo.
c) La recolección se fundamenta en la medición. Partamos de la definición de medición que nos proporciona Kerlinger (1998) “es el proceso mediante el cual se asignan valores a las variables del fenómeno de interés conforma a reglas bien definidas”. Esto es: en primer lugar, se difinió de manera operacional las variables con las que se trabajó. Después, el conjunto de números y reglas mediante las cuales a cada dato se le asignó un valor: 0, 1, 2, según sea el caso. las reglas para asignar estos valores a las variables las proporcionaron los mismos test en sus rutas para calificar.
d) Los datos se analizan mediante procesos estadísticos. Cumple con esta característica, puesto que para estimar la confiabilidad se emplearon estadísticas de correlación.
e) Pretende generaliza los resultados. El análisis técnico de un test busca que sus resultados sean aplicables a grandes poblaciones. Siendo esto así, el presente estudio cumple con esta característica, aunque es preciso aclarar que por el momento lo que pretendió es que los resultados sean aplicables a toda la población del Campus Siglo XXI, en primer instancia.
f) Busca la construcción y demostración de teorías. En el caso del trabajo no buscó la construcción de teorías, más bien el demostrarlas a través de un estudio, por así llamarlo, de replicación, derivado de que la teoría que subyace a los procedimientos de estudios de confiabilidad y la teoría que subyace al procedimiento para el establecimiento de normas de interpretación ya han sido desarrolladas.
2. Técnicas de recopilación de la información
Para presentar la estrategia que se empleó para recopilar la información es preciso tener presente lo siguiente:
Para presentar la estrategia que se empleó para recopilar la información es preciso tener presente lo siguiente:
a) La naturaleza de los datos que se analizaron fue de tipo Ex post facto puesto que fueron test que se aplicaron el ciclo escolar inmediato anterior.
b) Se aplicó el método de división por mitades para estimar la confiabilidad, haciendo uso de la prueba estadística de correlación de Rangos de Spearman.
Derivado de lo anterior, a continuación se presentan el procedimiento que se siguió para recopilar la información tal como nos lo refiere Siegel (1980: 236-242), insistimos ya que el fin era poder aplicar el análisis de correlación:
Derivado de lo anterior, a continuación se presentan el procedimiento que se siguió para recopilar la información tal como nos lo refiere Siegel (1980: 236-242), insistimos ya que el fin era poder aplicar el análisis de correlación:
I. Esta técnica de correlación necesita que los individuos se ubiquen en dos columnas ordenadas. En nuestro caso las dos series fueron las dos partes en las que se dividieron los test, y a las cuales se les llamó “parte par” y “parte impar”, tal como nos lo refiere Brown (1988)
II. Se anotó, para cada sujeto, su rango en la parte par y en la impar
III. Se determinaron las diferencias entre los rangos por cada sujeto (di)
III. Se determinaron las diferencias entre los rangos por cada sujeto (di)
IV. Se elevó al cuadrado cada di y se obtuvo su sumatoria
V. Se sustituyeron los valores en la fórmula:
Donde:
rs = coeficiente de correlación de Spearman.
SX2 = sumatoria de los cuadrados de la parte A
SY2= sumatoria de los cuadrados de la parte B
De esta manera, ya que se necesitaba resolver para tal fórmula, lo que se hizo fue lo siguiente:
c) A cada test de cada alumno se le asignó una clave o un folio para identificarlo. Este folio comenzó en el numeral 01 hasta 95 (ya que fueron 95 sujetos)
d) En una hoja de cálculo de excell se diseñó una hoja para el registro de las respuestas de los sujetos y obtener su calificación en cada factor. Se diseñaron dos hojas de cálculo para el registro, ya que se analizaron dos test.
e) En la primera columna se escribió el folio correspondiente a cada alumno. Es decir, cada alumno se constituyó como un registro.
f) A partir de la segunda columna se registraron las respuestas a cada uno de los reactivos que contenía el test. Los reactivos se identificaron como R1, R2, R3, etc., ya que, como vimos arriba, se necesitaba identificar a los pares y a los nones.
g) Como se definió en el apartado de operacionalización de las variables, las respuestas de los alumnos se capturaron con los valores 0, 1, 2. Según el valor que asignaba el manual de calificación del test a cada respuesta.
h) Se obtuvieron las sumatorias de los reactivos.
i) Una vez obtenidos los puntajes, se tomaron los reactivos pares y se separaron de los reactivos nones y se aplicó el procedimiento arriba mencionado con números romanos para obtener el índice de correlación.
V. Se sustituyeron los valores en la fórmula:
Donde:
rs = coeficiente de correlación de Spearman.
SX2 = sumatoria de los cuadrados de la parte A
SY2= sumatoria de los cuadrados de la parte B
De esta manera, ya que se necesitaba resolver para tal fórmula, lo que se hizo fue lo siguiente:
c) A cada test de cada alumno se le asignó una clave o un folio para identificarlo. Este folio comenzó en el numeral 01 hasta 95 (ya que fueron 95 sujetos)
d) En una hoja de cálculo de excell se diseñó una hoja para el registro de las respuestas de los sujetos y obtener su calificación en cada factor. Se diseñaron dos hojas de cálculo para el registro, ya que se analizaron dos test.
e) En la primera columna se escribió el folio correspondiente a cada alumno. Es decir, cada alumno se constituyó como un registro.
f) A partir de la segunda columna se registraron las respuestas a cada uno de los reactivos que contenía el test. Los reactivos se identificaron como R1, R2, R3, etc., ya que, como vimos arriba, se necesitaba identificar a los pares y a los nones.
g) Como se definió en el apartado de operacionalización de las variables, las respuestas de los alumnos se capturaron con los valores 0, 1, 2. Según el valor que asignaba el manual de calificación del test a cada respuesta.
h) Se obtuvieron las sumatorias de los reactivos.
i) Una vez obtenidos los puntajes, se tomaron los reactivos pares y se separaron de los reactivos nones y se aplicó el procedimiento arriba mencionado con números romanos para obtener el índice de correlación.
3. Instrumentos para recopilación de la información
Como lo hemos mencionado los instrumentos que se constituyen como aquellos con lo que se levantaron los datos, son los instrumentos mismos que se estudiaron técnicamente, con el fin de conocer si cumplen con las características de confiabilidad y normalización.
Como lo hemos mencionado los instrumentos que se constituyen como aquellos con lo que se levantaron los datos, son los instrumentos mismos que se estudiaron técnicamente, con el fin de conocer si cumplen con las características de confiabilidad y normalización.
Test de 16 Factores de la Personalidad de R. Cattell
Autor: Raymond B. Catell.
Administración: Individual o Colectiva.
Aplicación: Laboral, Educativa, Clínica.
Edad: Adolescentes 16 y adultos.
Descripción: El 16 FP, consiste en escalas orientadas y ordenas de manera cuidadosa de acuerdo con conceptos básicos en la investigación sobre la estructura de la personalidad humana. Este cuestionario consta de 87 preguntas tendientes a evaluar los rasgos distintivos de la personalidad normal. Permitiendo realizar con rapidez información de suma utilidad, al igual de ahorrar tiempos considerables en los procesos de evaluación, con este cuestionario es posible obtener mediciones referentes a 16 factores primarios entre ellos, fortaleza yoica, candidez, dominio, propensión a la culpa, radicalismo, adhesión al grupo. Con este instrumento se puede acceder a factores secundarios como extraversión, ansiedad, liderazgo, creatividad, entre otros.
Autor: Raymond B. Catell.
Administración: Individual o Colectiva.
Aplicación: Laboral, Educativa, Clínica.
Edad: Adolescentes 16 y adultos.
Descripción: El 16 FP, consiste en escalas orientadas y ordenas de manera cuidadosa de acuerdo con conceptos básicos en la investigación sobre la estructura de la personalidad humana. Este cuestionario consta de 87 preguntas tendientes a evaluar los rasgos distintivos de la personalidad normal. Permitiendo realizar con rapidez información de suma utilidad, al igual de ahorrar tiempos considerables en los procesos de evaluación, con este cuestionario es posible obtener mediciones referentes a 16 factores primarios entre ellos, fortaleza yoica, candidez, dominio, propensión a la culpa, radicalismo, adhesión al grupo. Con este instrumento se puede acceder a factores secundarios como extraversión, ansiedad, liderazgo, creatividad, entre otros.
Test de habilidades Mentales Primarias de Thurstone.
Autor: L. L. Thurstone y Thelma Gwinn Thurstone.
Administración: Individual o Colectiva.
Aplicación: Laboral, Educativa, Investigación.
Edad: Nivel Medio Superior en Adelante
Tiempo: 40 min. Aprox.
Descripción: El HMP, grado intermedio está diseñado para medir 5 habilidades que son: comprensión verbal, espacial, raciocinio, habilidad para el cálculo y fluidez verbal. Permite detectar, habilidades intelectuales de los sujetos, no tiene aplicación clínica.
Autor: L. L. Thurstone y Thelma Gwinn Thurstone.
Administración: Individual o Colectiva.
Aplicación: Laboral, Educativa, Investigación.
Edad: Nivel Medio Superior en Adelante
Tiempo: 40 min. Aprox.
Descripción: El HMP, grado intermedio está diseñado para medir 5 habilidades que son: comprensión verbal, espacial, raciocinio, habilidad para el cálculo y fluidez verbal. Permite detectar, habilidades intelectuales de los sujetos, no tiene aplicación clínica.
4. Contexto del levantamiento de datos
Trabajo de campo
Como se ha mencionado el trabajo tuvo un carácter ex post facto porque los datos con los que se trabajó fueron test aplicados a alumnos que cursaron el ciclo escolar 2007-2008. No obstante, se trabajó con 95 aplicaciones para el test 16 FP y con 55 en el test de habilidades mentales. Algunos de los problemas de trabajar con este tipo de datos es que en este trabajo encontramos algunos test que se invalidaron porque no habían sido contestados correctamente.
Trabajo de campo
Como se ha mencionado el trabajo tuvo un carácter ex post facto porque los datos con los que se trabajó fueron test aplicados a alumnos que cursaron el ciclo escolar 2007-2008. No obstante, se trabajó con 95 aplicaciones para el test 16 FP y con 55 en el test de habilidades mentales. Algunos de los problemas de trabajar con este tipo de datos es que en este trabajo encontramos algunos test que se invalidaron porque no habían sido contestados correctamente.
Marco Contextual
El Campus Universitario Siglo XXI S.C; fundada en 1998, es una preparatoria incorporada a la Universidad Autónoma del Estado de México, ubicada en el municipio de Toluca, Estado de México cuya Misión es “constituirse como una institución de educación superior privada dedicada a la formación académica de seres humanos bajo un modelo social integrador e incluyente de calidad. Reconocemos y ejercemos el capital humano individual, grupal y social como virtudes del ser y el saber que promueven el bienestar y la productividad académica, científica y cultural hacia el liderazgo creativo y dinámico de sus egresados.”
El Campus Universitario Siglo XXI S.C; fundada en 1998, es una preparatoria incorporada a la Universidad Autónoma del Estado de México, ubicada en el municipio de Toluca, Estado de México cuya Misión es “constituirse como una institución de educación superior privada dedicada a la formación académica de seres humanos bajo un modelo social integrador e incluyente de calidad. Reconocemos y ejercemos el capital humano individual, grupal y social como virtudes del ser y el saber que promueven el bienestar y la productividad académica, científica y cultural hacia el liderazgo creativo y dinámico de sus egresados.”
El campus cuenta con un área de orientación vocacional que se encarga de prestar este servicio a la comunidad del nivel medio superior. Unas de las herramientas con que se apoya este departamento para la elaboración de perfiles profesiográficos de los alumnos son el Test de Intereses Vocacionales de Kuder-Richardson; el Test de 16 Factores de la Personalidad de Allport y el Test de Habilidades Mentales Primarias de Thurstone, los cuales, de acuerdo con el responsable de este departamento no han sido sometidos a estudios de confiabilidad y tampoco cuenta con las normas de interpretación adecuadas a la población del campus.
* * *
* * *
1. Confiabilidad del test 16 FP
Ya que para estimar la confiabilidad del instrumento se empleó el método de división por mitades, se realizó lo siguiente:
1. Como el test no da una puntuación total, sino 16 puntajes, hubo que estimar la confiabilidad por cada factor.
2. Para esto, de acuerdo con la ruta de calificación, por cada factor se escogieron los reactivos pares para generar un subtest “A” y con impares un subtest “B”, como lo refiere Thorndike (1978: 100-130).
3. Para relacionar dichos subtest, se empleó el método de Correlación de rangos de Spearman (Siegel, 1980: 232-236) empleando la fórmula con observaciones ligadas:
Donde:
rs= Coeficiente de correlación de rangos de Spearman
ΣX2= Sumatoria de las ligas en los rangos del subtest “A”
ΣY2= Sumatoria de las ligas en los rangos del subtest “B”
Σd2= Sumatoria de las diferencias de los rangos elevadas al cuadrado
4. Después cada rs se contrastó con la siguiente tabla para determinar la fuerza de la correlación.
Tabla 1. Interpretación de los coeficientes de correlación.
Nivel de correlación
Significado
± 0.96 a ± 1.00
correlación perfecta
± 0.85 a ± 0.96
correlación fuerte
± 0.70 a ± 0.84
correlación significativa
± 0.50 a ± 0.69
correlación moderada
± 0.20 a ± 0.49
correlación débil
± 0.10 a ± 0.19
correlación muy débil
± 0.09 a ± 0.00
correlación inexistente
Ya que para estimar la confiabilidad del instrumento se empleó el método de división por mitades, se realizó lo siguiente:
1. Como el test no da una puntuación total, sino 16 puntajes, hubo que estimar la confiabilidad por cada factor.
2. Para esto, de acuerdo con la ruta de calificación, por cada factor se escogieron los reactivos pares para generar un subtest “A” y con impares un subtest “B”, como lo refiere Thorndike (1978: 100-130).
3. Para relacionar dichos subtest, se empleó el método de Correlación de rangos de Spearman (Siegel, 1980: 232-236) empleando la fórmula con observaciones ligadas:
Donde:
rs= Coeficiente de correlación de rangos de Spearman
ΣX2= Sumatoria de las ligas en los rangos del subtest “A”
ΣY2= Sumatoria de las ligas en los rangos del subtest “B”
Σd2= Sumatoria de las diferencias de los rangos elevadas al cuadrado
4. Después cada rs se contrastó con la siguiente tabla para determinar la fuerza de la correlación.
Tabla 1. Interpretación de los coeficientes de correlación.
Nivel de correlación
Significado
± 0.96 a ± 1.00
correlación perfecta
± 0.85 a ± 0.96
correlación fuerte
± 0.70 a ± 0.84
correlación significativa
± 0.50 a ± 0.69
correlación moderada
± 0.20 a ± 0.49
correlación débil
± 0.10 a ± 0.19
correlación muy débil
± 0.09 a ± 0.00
correlación inexistente
5. Enseguida, asumiendo un nivel de 0.05 se probó la significatividad del rs de cada factor a fin de analizar si estos valores fueron producto de la casualidad, cuando en realidad, las variables no están relacionadas. O si el valor rs fue tan grande que realmente representaba una relación entre las dos formas de subtest. Para tal fin Siegel (1980:242), recomienda que con muestras mayores de 30 sujetos se haga uso de la siguiente fórmula:
12to=rsN-21-rs2'>
12to=rsN-21-rs2'>
Donde:
to = T de Student observada
rs = Coeficiente de correlación de Spearman
N = Número de sujetos
6. Asimismo, se determinaron los grados de libertad como sigue:
GL= n-2
GL= 95-2 = 93
to = T de Student observada
rs = Coeficiente de correlación de Spearman
N = Número de sujetos
6. Asimismo, se determinaron los grados de libertad como sigue:
GL= n-2
GL= 95-2 = 93
7. Es importante aclarar que en este paso fue necesario plantear hipótesis estadísticas, puesto que, como se mencionó en el paso 5, se tuvo que analizar si el resultado no fue producto del azar y esto denotara que la correlación de las partes “A” y “B” en realidad fuera falsa, por lo que, para cada par de subtest “A” y “B” de los 16 factores se contrastó rs contra un valor teórico.
8. Tomando en consideración un rango de nivel de aceptación del 95% y, por lo tanto de un 0.05 de significancia para probar las hipótesis estadísticas. El valor observado (to) se contrastó en tablas (t teórica) de la distribución t de Student con el fin de aceptar o rechazar H0, esto es:
8. Tomando en consideración un rango de nivel de aceptación del 95% y, por lo tanto de un 0.05 de significancia para probar las hipótesis estadísticas. El valor observado (to) se contrastó en tablas (t teórica) de la distribución t de Student con el fin de aceptar o rechazar H0, esto es:
Si to > t, entonces H0 se rechaza y se acepta H1
Si to ≤ t, entonces H0 se acepta
de donde:
· Ho = La relación que existe entre los subtest “A” y “B” es producto de la casualidad, y por lo tanto esto apunta a que el test no es confiable para la población en la mide el atributo.
· H1 = La relación que existe entre los subtest “A” y “B” es significativa y por lo tanto el test es confiable para medir el atributo en la población de interés.
Si to ≤ t, entonces H0 se acepta
de donde:
· Ho = La relación que existe entre los subtest “A” y “B” es producto de la casualidad, y por lo tanto esto apunta a que el test no es confiable para la población en la mide el atributo.
· H1 = La relación que existe entre los subtest “A” y “B” es significativa y por lo tanto el test es confiable para medir el atributo en la población de interés.
Este procedimiento se siguió con los 16 factores. Presentar todo el procedimiento para cada uno de los 16 factores que mide el test sería engorroso, por lo que la tabla siguiente lo resume en lo general.
Tabla 2. Resumen de la confiabilidad del test 16 FP
Factor
rs de Spearman
interpretación
Hipótesis aceptada
A 0.22 Débil H1
B 0.98 perfecta H1
C 0.40 Débil H1
E 0.20 Débil H1
F 0.32 Débil H1
G 0.96 perfecta H1
H 0.51 moderada H1
I 0.35 Débil H1
L 0.10 muy débil H0
M 0.10 muy débil H0
N 0.10 muy débil H0
O 0.20 Débil H1
Q1 0.10 muy débil H0
Q2 0.40 Débil H1
Q3 0.66 moderada H1
Q4 0.20 Débil H1
Factor
rs de Spearman
interpretación
Hipótesis aceptada
A 0.22 Débil H1
B 0.98 perfecta H1
C 0.40 Débil H1
E 0.20 Débil H1
F 0.32 Débil H1
G 0.96 perfecta H1
H 0.51 moderada H1
I 0.35 Débil H1
L 0.10 muy débil H0
M 0.10 muy débil H0
N 0.10 muy débil H0
O 0.20 Débil H1
Q1 0.10 muy débil H0
Q2 0.40 Débil H1
Q3 0.66 moderada H1
Q4 0.20 Débil H1
La tabla 2 muestra que en 12 factores se rechazó la hipótesis nula y por consecuencia se aceptó la alterna, es decir, encontramos que en estos factores el test guarda consistencia interna significativa. En otras palabras podemos afirmar, con un 95% de nivel de confianza, que los resultados de estos 12 factores no se debieron al azar o a la casualidad.
Llama la atención que de estos 12 factores, el G y el B obtuvieron una correlación perfecta. Para el investigador ingenuo este valor puede constituirse como un gran triunfo, ya que son centésimas las que le faltan a sus índices para acercarse al 1. No obstante, si revisamos la literatura científica referente a estudios de confiabilidad de este instrumento, veremos que los índices de correlación más altos que reportan se encuentran alrededor de 0.80. En otras palabras, este índice nos establece preguntas de investigación más específicas sobre este instrumento, que pueden ser resueltas en estudios posteriores.
También podemos ver en la tabla que los factores L, M, N y Q1 obtuvieron los índices de confiabilidad más bajos, los cuales se interpretan como muy débiles, pero además, presentan un índice que no es significativo.
Es curioso cómo estos cuatro factores de todos los 16 son los únicos que presentan la fuerza más débil de correlación, pero además es en los únicos en los que se acepta la hipótesis nula. Esto último nos lleva a argumentar que el test al medir estos factores en la población del Campus Siglo XXI, no midió consistentemente, ya que sus puntajes fueron muy dispersos.
A partir de ello ¿podemos decir que el test para medir estos cuatro factores no es confiable? Sería una conclusión muy apresurada contestar afirmativamente a ella, toda vez que es el primer estudio técnico de este tipo que se realiza a este test en esta población en particular, pues además recordemos que la tarea del psicólogo, incluso por ética, consiste en asegurarse de que los instrumentos que emplea para medir o evaluar son confiables y válidos para la población en los que los aplica. También hay que recordar que sólo nos limitamos a estudiar su confiabilidad, dejando afuera estudios como el análisis de reactivos. Aplicando un estudio a fondo de este tipo, estamos seguros que se podrá encontrar una explicación sólida a este fenómeno.
Aquí sólo nos limitaremos a comentar que durante el proceso de captura encontramos que hubo test con respuestas no contestadas o invalidadas por contestarse incorrectamente. Quizás este fue un factor que contribuyó para que se presentara este fenómeno en estos cuatro factores. También es conveniente recordar que siendo los datos de tipo ex post facto, no tuvimos control sobre aspectos como si los test se aplicaron en las condiciones adecuadas tal y como lo exige su manual de aplicación, lo cual apunta a ello, pues una de las recomendaciones del manual de aplicación es que cuando el testado entrega su hoja de respuestas el aplicador debe cerciorarse de que no haya respuestas sin contestar.
Insistimos, este tipo de fenómenos se podrían explicar con estudios como el presente complementados con un análisis de reactivos. Haberlo llevado en el presente trabajo hubiera rebasado nuestra capacidad en virtud del tiempo asignado al proyecto.
Insistimos, este tipo de fenómenos se podrían explicar con estudios como el presente complementados con un análisis de reactivos. Haberlo llevado en el presente trabajo hubiera rebasado nuestra capacidad en virtud del tiempo asignado al proyecto.
2. Confiabilidad del HMP
Este test también no presenta un puntaje global del individuo de inteligencia o de habilidad, como lo hacen otros test, sino que ofrece un puntaje del sujeto por cada una de las cinco habilidades y, mediante éstos, se elabora un perfil. Por lo anterior, se probó la confiabilidad del instrumento por cada uno de las habilidades que mide.
Este test también no presenta un puntaje global del individuo de inteligencia o de habilidad, como lo hacen otros test, sino que ofrece un puntaje del sujeto por cada una de las cinco habilidades y, mediante éstos, se elabora un perfil. Por lo anterior, se probó la confiabilidad del instrumento por cada uno de las habilidades que mide.
De esta manera, para el test de habilidades mentales primarias de Thurstone, se empleó el mismo método que se utilizó para el test 16 FP, por ello consideramos innecesario presentar de nuevo tales pasos, en su lugar se presenta el resultado del mismo en la siguiente tabla.
Tabla 3. Resultados de la confiabilidad del test HMP de Thurstone Habilidad rs interpretación Hipótesis aceptada
Comprensión Verbal 0.80 Significativa H1
Comprensión Espacial 0.83 Significativa H1
Raciocinio 0.80 Significativa H1
Manejo de Números 0.71 Significativa H1
Comprensión Espacial 0.83 Significativa H1
Raciocinio 0.80 Significativa H1
Manejo de Números 0.71 Significativa H1
Al observar la tabla 3 lo que primero que resalta es que todos los índices se interpretaron como significativos, puesto que se encuentran arriba del 0.70. Pero, además las correlaciones resultaron significativas lo que se traduciría en que:
1) La variabilidad de los puntajes de cada habilidad, al someterlos al tratamiento de dividirlos en mitades y correlacionarlos, no fue muy amplia y, por lo tanto la fuerza de la relación es consistente apuntando a una homogeneidad.
2) Que la fuerza de esta consistencia en cada habilidad que el test mide, además no fue producto de la casualidad, puesto que el valor de la correlación se contrastó contra un valor teórico.
Quizá el hecho de que los índices de correlación son más altos en este test a diferencia de los mostrados por el 16 fp apunte a que a que el atributo de inteligencia, a diferencia del de personalidad en esta población e particular, posea más estabilidad. O, por otro lado, quizá el test 16 FP necesita adecuarse a las características muy particulares de la población del nivel medio superior del Camus Siglo XXI, por lo que realmente se necesita realizar una investigación más a fondo con todos los elementos que conforman a una estandarización a fin de adecuarlo en su totalidad. Esto puede ser estudiado por subsiguientes investigaciones.
El número de sujetos que constituyó la muestra para la estimación de la confiabilidad del instrumento podría argumentarse como un factor determinante para objetar estor resultados a favor del sesgo. No obstante, apegándonos a lo que Daniel (1988:108) establece, diríamos que el número es más que suficiente para un estudio como el que llevamos a cabo. Este autor refiere que 25 sujetos que constituyan una población comienza a ser suficiente para comenzar a establecer parámetros poblacionales. A este número, se le considera como un tamaño débil, sin embargo suficiente. En nuestro caso tenemos n= 55, número que en términos de este autor se le considera alto.
* * *
* * *
3. Normalización del test 16 Factores de la Personalidad
Como se mencionó en el apartado anterior para llevar a cabo el modelo de normalización se empleó el de estenes, el cual divide a la distribución en 10 partes. Se tomó este modelo en virtud de que en la prueba para la elaboración del perfil se emplea un modelo de estenes.
La siguiente tabla muestra el modelo que se adoptó con sus respectivos porcentajes y límites para cada categoría o estén.
Como se mencionó en el apartado anterior para llevar a cabo el modelo de normalización se empleó el de estenes, el cual divide a la distribución en 10 partes. Se tomó este modelo en virtud de que en la prueba para la elaboración del perfil se emplea un modelo de estenes.
La siguiente tabla muestra el modelo que se adoptó con sus respectivos porcentajes y límites para cada categoría o estén.
Así, para adecuar los puntajes de los alumnos a esta tabla se calcularon los fractiles con la siguiente fórmula:
fp = L + (((pn-fa)/f) i)
fp = L + (((pn-fa)/f) i)
Donde:
fp: fractil correspondiente a la proporción definida en el límite superior del modelo adoptado.
L: Límite inferior exacto de la calificación que contiene a pn.
pn: proporción correspondiente al fractil.
fa: frecuencia acumulada hasta antes de la calificación que contiene a pn.
f: frecuencia simple de la calificación que contiene a pn.
i: tamaño del intervalo.
A continuación se presentará el proceso que se resolvió para establecer las normas del factor “A” a manera de ejemplo, ya que presentar el proceso para todos los factores resultaría tedioso. Así:
1. Se obtuvo la distribución de frecuencias de los puntajes del factor.
Tabla 5. Distribución de frecuencias de los puntajes brutos de los alumnos en el factor A Puntaje en el factor A Frecuencia Frecuencia Acumulada
fp: fractil correspondiente a la proporción definida en el límite superior del modelo adoptado.
L: Límite inferior exacto de la calificación que contiene a pn.
pn: proporción correspondiente al fractil.
fa: frecuencia acumulada hasta antes de la calificación que contiene a pn.
f: frecuencia simple de la calificación que contiene a pn.
i: tamaño del intervalo.
A continuación se presentará el proceso que se resolvió para establecer las normas del factor “A” a manera de ejemplo, ya que presentar el proceso para todos los factores resultaría tedioso. Así:
1. Se obtuvo la distribución de frecuencias de los puntajes del factor.
Tabla 5. Distribución de frecuencias de los puntajes brutos de los alumnos en el factor A Puntaje en el factor A Frecuencia Frecuencia Acumulada
2. Esta tabla 5 muestra en orden ascendente los puntajes obtenidos por los sujetos en el factor “A”, así como su frecuencia simple y acumulada. Con la fórmula del paso uno y esta tabla se procedió a calcular pn, para lo cual en primer lugar se dividió el límite superior del intervalo del modelo de estenes entre 100, después el resultado se multiplicó por el número total de sujetos (95).
3. Con estos elementos se procedió a sustituir en la fórmula. Así, para el factor “A”:
Tabla 6. Procedimiento para la normalización del factor A
estén
Límite inferior
Límite superior
Ls/100
Pn
L
fa
f
fp
Es decir:
fp = L + (((pn-fa)/f) i), fp = 5.5 + (((2.19 - 1)/6) 1) = 5
fp = 6.5 + (((6.37 - 4)/5) 1) = 7
y así sucesivamente.
Tabla 6. Procedimiento para la normalización del factor A
estén
Límite inferior
Límite superior
Ls/100
Pn
L
fa
f
fp
Es decir:
fp = L + (((pn-fa)/f) i), fp = 5.5 + (((2.19 - 1)/6) 1) = 5
fp = 6.5 + (((6.37 - 4)/5) 1) = 7
y así sucesivamente.
En virtud de que presentar este procedimiento para los 16 factores abarcaría demasiado espacio, a continuación presentamos la:
Tabla de normas de interpretación para el test 16 FP aplicables a la población del nivel medio superior del Campus Siglo XXI
Factor
Estenes
A0-56-789-101112-1314-151617-1819-20
B0-56-910-111213-141516-1718-192021
C0-34-11121314-1516-292021-2223-2425
E0-45-67-89-1011-1213-1415-1617-1819-2021
F-789-1213-1415-1617-1819-212223-2425
Factor
Estenes
A0-56-789-101112-1314-151617-1819-20
B0-56-910-111213-141516-1718-192021
C0-34-11121314-1516-292021-2223-2425
E0-45-67-89-1011-1213-1415-1617-1819-2021
F-789-1213-1415-1617-1819-212223-2425
G0-345-789-111213-14151617-20
H0-34-67-1011-1314-1516-1819-2122-2324-2526
I0-5678-910-1112-131415-161718-20
L0-456-789-1011-121314-15-20
M0-123-456-78-91011-12-13-20
N0-23-456-78-910-111213-151617-20
O0-12-45-789-1011-1213-151617-2122-23
Q10-345-678-91011-12131416-20
Q20-45-678-910-11121314-1516-1718-20
Q30-34-56-78-91011-121314-151617-20
Q40-23-56-89-1011-1213-1415-1718-1920-2122-24
De esta manera esta tabla muestra las normas institucionales que pueden ser empleadas para la comparación de las puntuaciones de un alumno en particular de la población del Campus Siglo XXI, lo que nos permite argumentar que la información que emplee el orientador vocacional para la elaboración del perfil del alumno, empleando esta tabla de normas para presentar información al alumno acerca de sus fortalezas y de sus debilidades, estará apegada a las características muy particulares de su población.
Un dato curioso que podemos observar es que en los factores L y M, en el estén 9 queda vacío, lo que apunta a que la distribución en la población de estos factores es un tanto irregular. Lo que queda para posteriores investigaciones.
4. Normalización del test Habilidades Mentales Primarias
Para normalizar este test se empleó el modelo estanina, el cual divide a la distribución en nueve partes. La siguiente tabla muestra el modelo que se adoptó con sus respectivos porcentajes y límites para cada categoría o estanina.
También, para adecuar los puntajes de los alumnos a esta tabla se calcularon los fractiles con la fórmula que se empleó para calcularlos en el caso del test de 16 fp. Por lo anterior, sólo presentaremos las normas, en virtud de que se aplicó el mismo procedimiento.
Tabla de normas de interpretación para el test 16 FP aplicables a la población del nivel medio superior del Campus Siglo XXI
Estanina
Comprensión verbal
Comprensión especial
Raciocinio
Habilidad numérica
Fluidez Verbal
10-7------0 – 228-15------3 – 13316 – 18--
0 – 70 – 814 – 18419 – 21--8 – 109 – 12
19 – 34522 – 240 – 1311 – 1213 – 1535 – 42
625 – 2714 – 2113 – 1516 – 1943 – 55728 – 30
22- 3016 – 1820 – 2356 – 92831 – 3431 – 40
19 – 2024 – 3093 – 97935 – 4041 - 5021 - 28
31 – 4098 - 100
Es evidente en esta tabla las cancelaciones en las primeras estaninas de las abilidades Comprensión espacial, Raciocinio y Habilidad numérica, de manera muy superficial podemos decir que esta población tiende en estas habilidades hacia los puntajes altos. Posteriores estudios pueden fortalecer esta aseveración.
Finalmente, en la tabla se muestra las normas institucionales que puede emplear el orientador vocacional para interpretar los puntajes brutos de los alumnos en cada una de las habilidades. La ventaja de esta tabla es que emana de las características particulares de los estudiantes del nivel medio superior del Campus Siglo XXI.
* * *
Conclusiones y Sugerencias
Finalmente, en la tabla se muestra las normas institucionales que puede emplear el orientador vocacional para interpretar los puntajes brutos de los alumnos en cada una de las habilidades. La ventaja de esta tabla es que emana de las características particulares de los estudiantes del nivel medio superior del Campus Siglo XXI.
* * *
Conclusiones y Sugerencias
A partir de los resultados que encontramos y su respectivo análisis, sólo nos queda concluir:
Las variables que se involucraron en nuestra pregunta tentativa a la pregunta de investigación, o sea la hipótesis, nos permiten concluir bajo un esquema explicativo relacional entre las variables.
En otras palabras la confiabilidad que mostraron los dos test estudiados nos permiten concluir que el orientador puede confiar en los resultados que arroje este test y mediante éstos puede dar una orientación sin errores a los alumnos. No obstante, debe tener reservas en los factores L, M, N y Q1, ya que necesitan más estudios sobre su confiabilidad.
Las variables que se involucraron en nuestra pregunta tentativa a la pregunta de investigación, o sea la hipótesis, nos permiten concluir bajo un esquema explicativo relacional entre las variables.
En otras palabras la confiabilidad que mostraron los dos test estudiados nos permiten concluir que el orientador puede confiar en los resultados que arroje este test y mediante éstos puede dar una orientación sin errores a los alumnos. No obstante, debe tener reservas en los factores L, M, N y Q1, ya que necesitan más estudios sobre su confiabilidad.
El orientador vocacional puede emplear con toda confianza el test de habilidades mentales primarias, ya que mostró ser un instrumento altamente confiable. O sea la ventaja de que el orientador emplee este instrumento para elaborar el perfil de aptitudes del alumno para que tome una decisión sobre qué estudiar, es que “mide” sin error, es decir, presenta resultados confiables.
Por otro lado, al adaptar las normas de interpretación de los dos test a las características muy particulares de los alumnos del nivel medio superior del Campus Siglo XXI, y que además, ya pueden ser empleadas por el orientador para transformar los puntajes brutos, se está brindando una herramienta poderosísima al orientador ya que, los resultados que ofrezca a sus alumnos no se encontraran con error o sesgados, puesto que emanan de la población del sujeto.
En general, con estos dos instrumentos que ya nos podemos atrever a asegurar que son confiables y normalizados, la tarea de la orientación vocacional se realizará sin error y podemos estar seguros que las decisiones que el alumno tome para estudiar alguna profesión, tomando en cuenta los resultados arrojados por su perfil en estos dos test psicológicos, no lo llevarán al fracaso escolar.
Finalmente y derivado de lo anterior, retomamos las preguntas de investigación planteadas al inicio del presente trabajo sobre si serán confiables las dos pruebas psicológicas empleadas en la orientación vocacional en el Campus Siglo XXI, contestaríamos que:
1. El test de Habilidades Mentales Primarias de Thurstone es confiable
2. El test 16 Factores de la personalidad de Cattell es confiable, con reservas de los factores L, M, N y Q1
2. El test 16 Factores de la personalidad de Cattell es confiable, con reservas de los factores L, M, N y Q1
¿Es posible adecuar las normas de interpretación de estos dos test a las características de la población particular del nivel medio superior del Campus Siglo XXI? Contestaríamos que las tablas de normas en este trabajo obtenidas para la interpretación de puntajes son adecuadas a las características particulares de la población de estudio y por lo tanto a partir de ellas el orientador vocacional puede confiar en los resultados que brinde al alumno, pues ya no contendrán errores de interpretación.
Como conclusión final y conforme a las hipótesis planteadas:
Se acepta la hipótesis: los test 16 factores de la personalidad y el test de habilidades mentales primarias son confiables.
Se acepta la hipótesis: es posible adaptar las normas de interpretación del test 16 factores de la personalidad y el test de habilidades mentales primarias a las características de la población del nivel medio superior del Campus Siglo XXI.
No obstante lo anterior concluiremos muy puntualmente
1.- Con un 95% de nivel de confianza se concluye que el test de 16 factores de la personalidad de Cattell en los factores A, B, C, E, F, G, H, I, O, Q2,Q3 y Q4 presentan un índice de confiabilidad significativo.
2.- Con relación a lo anterior encontramos que los factores G, lealtad grupal, y B, inteligencia, obtuvieron un índice significativo de confiabilidad, pero además interpretable como perfecto.
3.- Los factores L, M, N y Q1 obtuvieron un índice de confiabilidad muy débil y además no significativo, lo que apunta a que dicho índice se encuentra afectado por factores de índole fortuito que es preciso analizar con otras metodologías como el análisis de reactivos, así como análisis de la validez del instrumento en estos factores. Incluso, al establecer sus normas de interpretación vimos que los factores L y M, presentan “huecos” en su distribución.
4.- Se concluye que el estudio de normalización del Test de los 16 Factores de la Personalidad de Cattell nos permitió establecer las normas de interpretación adecuadas a la población del nivel medio superior del Campus Siglo XXI.
5.- Con un nivel de confianza de 95% se concluye que el test de Habilidades Mentales Primarias de Thurstone presenta una consistencia interna en las habilidades que mide. Además sus índices de confiabilidad fueron más altos que los índices de confiabilidad del test de 16 factores de personalidad.
6.- El estudio de normalización del test de Habilidades Mentales Primarias de Thurstone nos permitió establecer normas de interpretación adecuadas a la población del nivel medio superior del Campus Siglo XXI.
7.- La semejanza en los resultados encontrados en el test HMP con relación al factor B, inteligencia, del 16 FP, nos llevan a concluir que en la población estudiada parecería que la variable inteligencia está distribuida de una manera regular.
En virtud de lo anterior proponemos las siguientes sugerencias
1.- Con un 95% de nivel de confianza se concluye que el test de 16 factores de la personalidad de Cattell en los factores A, B, C, E, F, G, H, I, O, Q2,Q3 y Q4 presentan un índice de confiabilidad significativo.
2.- Con relación a lo anterior encontramos que los factores G, lealtad grupal, y B, inteligencia, obtuvieron un índice significativo de confiabilidad, pero además interpretable como perfecto.
3.- Los factores L, M, N y Q1 obtuvieron un índice de confiabilidad muy débil y además no significativo, lo que apunta a que dicho índice se encuentra afectado por factores de índole fortuito que es preciso analizar con otras metodologías como el análisis de reactivos, así como análisis de la validez del instrumento en estos factores. Incluso, al establecer sus normas de interpretación vimos que los factores L y M, presentan “huecos” en su distribución.
4.- Se concluye que el estudio de normalización del Test de los 16 Factores de la Personalidad de Cattell nos permitió establecer las normas de interpretación adecuadas a la población del nivel medio superior del Campus Siglo XXI.
5.- Con un nivel de confianza de 95% se concluye que el test de Habilidades Mentales Primarias de Thurstone presenta una consistencia interna en las habilidades que mide. Además sus índices de confiabilidad fueron más altos que los índices de confiabilidad del test de 16 factores de personalidad.
6.- El estudio de normalización del test de Habilidades Mentales Primarias de Thurstone nos permitió establecer normas de interpretación adecuadas a la población del nivel medio superior del Campus Siglo XXI.
7.- La semejanza en los resultados encontrados en el test HMP con relación al factor B, inteligencia, del 16 FP, nos llevan a concluir que en la población estudiada parecería que la variable inteligencia está distribuida de una manera regular.
En virtud de lo anterior proponemos las siguientes sugerencias
1
En el caso particular del test 16 FP se sugiere realizar estudios específicos en los reactivos que miden a los factores B y G en virtud de lo que aquí se encontró. Asimismo se sugiere un análisis de los reactivos que miden los factores L, M, N y Q1 del test 16 FP con el fin de conocer cuál es su comportamiento en esta población en particular.
En el caso particular del test 16 FP se sugiere realizar estudios específicos en los reactivos que miden a los factores B y G en virtud de lo que aquí se encontró. Asimismo se sugiere un análisis de los reactivos que miden los factores L, M, N y Q1 del test 16 FP con el fin de conocer cuál es su comportamiento en esta población en particular.
2
En general, se sugiere que para este test se realice un estudio de estandarización con el fin de conocer si se necesita adecuar en su totalidad, a la población del nivel medio superior del Campus Siglo XXI.
En general, se sugiere que para este test se realice un estudio de estandarización con el fin de conocer si se necesita adecuar en su totalidad, a la población del nivel medio superior del Campus Siglo XXI.
3
Se sugiere actualizar las normas de interpretación de estos test, por lo menos cada tres años.
Se sugiere actualizar las normas de interpretación de estos test, por lo menos cada tres años.
4
Se sugiere a las autoridades responsables del área de orientación educativa que en las subsecuentes aplicaciones se respete el procedimiento que cada test sugiere, ya que, como se observó existieron diversas anomalías al momento de capturar la información.
Se sugiere a las autoridades responsables del área de orientación educativa que en las subsecuentes aplicaciones se respete el procedimiento que cada test sugiere, ya que, como se observó existieron diversas anomalías al momento de capturar la información.
5
Se sugiere emplear otros puntajes externos para aplicar estudios de confiabilidad utilizando el método de formas paralelas.
* * *
* * *
Bibliografía
Aiken, L. (1996). Test psicológicos y evaluación. Ed. Prentice Hall, México.
Anastasi, A. (1987). Test Psicológicos (6ª ed.). México: Editorial Aguilar
Brown, E. (1988). Principios de medición en psicología y educación (3ª ed.). México: Editorial Manual Moderno.
Gronlund, N. (1983). Medición y evaluación en la enseñanza. Ed. Pax-México
Kerlinger, F. (1998). Investigación del Comportamiento. (6ª ed.) México: Editorial McGraw Hill
Kermel, L. (2001). Medición y evaluación escolar. Ed. Trillas, México.
Lane, H. (1985). Comprensión del Desarrollo Humano. México: Editorial Pax
Magnusson, D. (1969). Teoría de los test. México: editorial Trillas.
Meherens, W., Lehman, I. (1982). Medición y evaluación en educación y en la psicología. Ed. CECSA, México.
Morales, M. (1982). Psicometría aplicada. Ed. Trillas, México.
Rivas, F. (1999). Manual de Asesoramiento y Orientación Vocacional. Madrid: Editorial Psicología evolutiva y de la educación.
Siegel, S. (1980). Estadística no paramétrica aplicada a las ciencias de la conducta. (6ª ed.), México: Editorial Trillas.
Thorndike, R & Hagen, E. (1986). Test y técnicas de medición en psicología y educación. México: editorial Trillas.
William, A. (1982). Medición y Evaluación en la Educación y en la Piscología. México: Editorial CECSA.
Yamane, T. (1984). Estadística. México: editorial Harla.
* * *
* * *
Se sugiere emplear otros puntajes externos para aplicar estudios de confiabilidad utilizando el método de formas paralelas.
* * *
* * *
Bibliografía
Aiken, L. (1996). Test psicológicos y evaluación. Ed. Prentice Hall, México.
Anastasi, A. (1987). Test Psicológicos (6ª ed.). México: Editorial Aguilar
Brown, E. (1988). Principios de medición en psicología y educación (3ª ed.). México: Editorial Manual Moderno.
Gronlund, N. (1983). Medición y evaluación en la enseñanza. Ed. Pax-México
Kerlinger, F. (1998). Investigación del Comportamiento. (6ª ed.) México: Editorial McGraw Hill
Kermel, L. (2001). Medición y evaluación escolar. Ed. Trillas, México.
Lane, H. (1985). Comprensión del Desarrollo Humano. México: Editorial Pax
Magnusson, D. (1969). Teoría de los test. México: editorial Trillas.
Meherens, W., Lehman, I. (1982). Medición y evaluación en educación y en la psicología. Ed. CECSA, México.
Morales, M. (1982). Psicometría aplicada. Ed. Trillas, México.
Rivas, F. (1999). Manual de Asesoramiento y Orientación Vocacional. Madrid: Editorial Psicología evolutiva y de la educación.
Siegel, S. (1980). Estadística no paramétrica aplicada a las ciencias de la conducta. (6ª ed.), México: Editorial Trillas.
Thorndike, R & Hagen, E. (1986). Test y técnicas de medición en psicología y educación. México: editorial Trillas.
William, A. (1982). Medición y Evaluación en la Educación y en la Piscología. México: Editorial CECSA.
Yamane, T. (1984). Estadística. México: editorial Harla.
* * *
* * *
