Evaluación de competencias del administrador de proyectos

3. Evaluación de competencias del administrador de proyectos con IA

Las competencias del administrador de proyectos

Una competencia se define como la aplicación del conocimiento (saber), destrezas (saber cómo), habilidades (ser capaz de) y actitudes (querer) para lograr consistentemente los resultados deseados. Esta definición, con sus variantes, se ha utilizado en el mundo profesional, laboral y educativo para promover y evaluar el desempeño. Para lograrlo, se definen primero las competencias que se desean alcanzar, entre las más comunes están el liderazgo, la comunicación, solución de problemas y negociación. Por el lado de las destrezas se han identificado múltiples competencias relacionadas con el área técnica de que se trate, por ejemplo, según CONOCER, una competencia de un soldador es “Preparar el equipo de corte”. En segundo lugar se debe crear un esquema de evaluación y por lo tanto las competencias deben ser medibles, para determinar el grado de aplicación. Siguiendo con el ejemplo del soldador, se puede medir su destreza para preparar el equipo de corte si por ejemplo selecciona los accesorios adecuados o si abre las válvulas de los cilindros regulando las presiones de trabajo.
Las competencias que debe reunir el gestor de proyectos o project manager han sido identificadas y clasificadas desde hace mucho tiempo y por diferentes institutos y organismos reguladores. La International Project Management Association (IPMA) (www.ipma.world) es probablemente la institución que más tiempo ha trabajado en este tema, publicando y actualizando su estándar de competencias ICB (International Competence Baseline) que a la fecha se encuentra en versión 4.0. En el estándar se clasifican las 28 competencias del coordinador del proyecto de acuerdo a la siguiente tabla (se muestran para ilustrar solo 9 competencias de las tres categorías):

Cada una de estas competencias vienen descritas en el estándar incluyendo los conocimientos necesarios para adquirirlas y, quizá lo más importante, los criterios para evaluarlas. Tomemos por ejemplo la competencia de perspectiva: Gobernanza, estructuras y procesos. La descripción de la competencia se define como:
“La comprensión de las estructuras establecidas, sistemas y procesos de la organización que apoyan a los proyectos y que influyen en la forma en que estos se organizan, implementan y dirigen, así como en el alineamiento con ellos”

Para evaluar esta competencia tenemos que recurrir a los criterios de cumplimiento establecidos en el estándar. Uno de ellos se lista a continuación:
“La capacidad de revisar y aplicar retroalimentación y lecciones aprendidas de proyectos previos.”
Para asignar un nivel de cumplimiento de la competencia, se tendría que revisar la evidencia de cumplimiento del administrador de proyectos, la cuál puede se puede presentar de tres formas:

  1. Observar cómo lo hace con su equipo o algún miembro.
  2. Revisar un informe escrito de retroalimentación.
  3. Entrevistándolo sobre la forma en que da retroalimentación.

De las tres formas anteriores, una que se utiliza frecuentemente es la (2) porque no se requiere estar presente en el momento que la realiza, y tampoco se necesita invertir tiempo de entrevista.

Proceso de evaluación de competencias a través de evidencias escritas

En Coordinación Efectiva de Proyectos® hemos evaluado competencias desde hace más de una década, tanto en cursos, como en proyectos y en auditorías. Tenemos para ello procesos e instrumentos de evaluación muy sólidos que se aplican en cualquiera de las tres formas descritas anteriormente.
El proceso empieza con el diseño de un instrumento o rúbrica de evaluación en la que se debe describir el criterio que se está evaluando y los niveles de competencia alcanzados. Por ejemplo, para la competencia de Gobernanza, estructura y procesos, el primer renglón de la rúbrica sería de la siguiente manera:

Con base en la rúbrica completa con todos los criterios que indica el estándar ICB 4.0 solicitamos al aplicante que nos haga un informe por escrito donde describa cómo aplicó la competencia en cuestión. A partir de esta evidencia, uno o dos evaluadores analizan el reporte y asignan un nivel alcanzado para cada uno de esos criterios.

Este proceso es sólido y objetivo, pero toma tiempo realizarlo, sobre todo considerando que se evalúa normalmente más de una competencia. Por ello, decidimos realizar pruebas para ver cómo las herramientas de inteligencia artificial, nos podrían ayudar para acelerar el proceso sin perder robustez y objetividad.

Evaluación de las competencias con aplicaciones de IA

Con la experiencia en evaluación de competencias que hemos adquirido (fundamental para utilizar confiadamente cualquier aplicación de IA), llevamos a cabo los siguientes pasos utilizando y complementando los resultados obtenidos con ChatGPT, Copilot y Gemini:

  1. Elaboramos un prompt para solicitar a las aplicaciones de IA que desarrollaran una rúbrica, siguiendo los requisitos que plantea la norma.
  2. Una vez que revisamos y afinamos la rúbrica, elaboramos el siguiente prompt para solicitar a las aplicaciones que evaluaran la evidencia del aplicante, la cuál anexábamos al prompt.
  3. La rúbrica resultante, con la asignación de niveles de dominio en cada criterio, fue revisada cuidadosamente para validar los resultados.
  4. Una vez que consideramos que la evaluación era confiable, evaluamos cinco evidencias de diferentes aplicantes.
  5. Le pedimos a tres de nuestros evaluadores que evaluaran también la evidencia con la misma rúbrica (sin que vieran el resultado de la aplicación de IA) y la similitud en la evaluación fue casi total. Solamente en una aplicación los evaluadores difirieron de la aplicación de IA en un criterio y nivel. Es decir, mientras los evaluadores consideraron que en ese criterio el aplicante tenía nivel avanzado, la aplicación de IA asignó un nivel Básico.
  6. Medimos el tiempo en el que cada evaluador evaluaba a un participante y tomaron en promedio 22 minutos, mientras que la aplicación de IA lo hacía en segundos.

Fuimos un poco más allá y solicitamos al asistente de IA que emitiera recomendaciones al aplicante para que pudiera incrementar sus competencias a un siguiente nivel. A continuación un ejemplo de la recomendación extraída de la aplicación:

“Con pequeñas mejoras en la integración de tecnologías y formalización de procesos de cumplimiento, puede alcanzar y sostener un nivel experto en todas las áreas evaluadas.”

Es necesario apuntar que los prompts se refinaron en varias ocasiones, como resultado de la revisión de respuestas por parte de nuestros expertos.

Conclusiones

A raíz de las pruebas desarrolladas podemos ahora contar con el apoyo de la inteligencia artificial para evaluar competencias del administrador de proyectos. El apoyo es muy útil porque una evaluación que una persona hacía en 22 minutos en promedio, puede ahora ser hecha en cuestión de segundos con la misma validez.
Si quieres saber más de las pruebas, rúbricas o del proceso de evaluación de competencias, contáctanos y con gusto platicamos.
——————————
Para saber más*
1. IPMA-ICB 4.0. International Competence Baseline
-(https://ipma.world/ipma-standards-development-programme/icb4/).
*Acceso confirmado al 18 de julio 2024

 

Estamos a tu disposición con asesorías en línea para apoyarte con tus proyectos. Proporciona tus datos en nuestras formas de contacto y te asesoramos.

Para explorar más recursos, visita nuestro catálogo o conoce más sobre nuestra plataforma en Coordinate.Si.

Regresar al blog