Reperi AI
reperi.aiCómo Contratar un Analista de QA con Evaluación Experiencial: El Caso de Reperi AI
Reperi AI es una plataforma de inteligencia laboral nativa en IA que ayuda a las organizaciones a tomar decisiones más inteligentes en contratación y gestión de talento. Utilizando IA avanzada y sistemas multiagente, Reperi descubre, evalúa e identifica talento de alto potencial tanto dentro como fuera de las organizaciones, permitiendo a las empresas construir pipelines de talento proactivos, mejorar la planificación de sucesión y tomar decisiones basadas en datos a través de insights conductuales, cognitivos y de rendimiento.
Reperi AI se asoció con TeamCraft para realizar una evaluación experiencial en dos pasos y contratar a un Analista de QA / Asociado de Experiencia del Cliente -- un rol híbrido que requería tanto rigor técnico como empatía con el cliente.
El Desafío
Reperi AI estaba creciendo rápido. Su plataforma ganaba tracción y el equipo necesitaba a alguien capaz de operar en la intersección entre la calidad del producto y el éxito del cliente. No era una contratación estándar.
El rol exigía un perfil híbrido poco común:
- Suficientemente técnico para investigar bugs, ejecutar pruebas de humo y trabajar junto al equipo de ingeniería de IA
- Suficientemente orientado al cliente para guiar a los usuarios durante la incorporación, responder preguntas de soporte y garantizar una experiencia de producto fluida
- Preparado para startups -- cómodo con la ambigüedad, el trabajo remoto y el uso de múltiples sombreros
- Obsesionado con los detalles -- porque en productos de IA, un pequeño bug puede significar un resultado de modelo roto o un cliente confundido
Los métodos tradicionales de contratación no eran suficientes. Los currículums no pueden mostrar cómo alguien redacta un informe de bug. Las entrevistas no pueden simular cómo alguien se comporta cuando un cliente está atascado durante la incorporación. Reperi AI necesitaba ver a los candidatos en acción antes de hacer una oferta.
Una Evaluación Experiencial en Dos Pasos
TeamCraft diseñó una evaluación en dos pasos específicamente para el rol de Analista de QA / Asociado de Experiencia del Cliente.
Paso 1: Prueba de Aptitud Preliminar
Una evaluación técnica inicial calificada por IA que cubría pruebas manuales, pruebas web, pruebas de API, pruebas de sistema y fundamentos de QA. Esto estableció un piso técnico y filtró a los candidatos que carecían de conocimientos fundamentales de QA sin consumir tiempo de ingeniería en solicitantes no calificados.
Paso 2: Simulación de Proyecto en Equipo
Una vez establecida la línea base técnica, los candidatos preseleccionados pasaron a una simulación de proyecto en equipo. Se agruparon en pequeños equipos simulados y recibieron tickets estructurados enfocados en flujos de trabajo de prueba, reporte y documentación de bugs, validación de flujos de incorporación y simulación de soporte al cliente. Esto evaluó la ejecución práctica de QA, la calidad de la documentación, el pensamiento analítico, la comunicación con el cliente y la comprensión general del producto, todo dentro de un entorno realista con tiempo limitado.
Herramientas y Stack Utilizados: Pruebas Exploratorias, Creación de Casos de Prueba, Reporte de Bugs, Documentación en Jira, Pruebas de Humo, Simulación de Soporte al Cliente, Evaluación de UX
El Proceso
La plataforma de TeamCraft manejó todo el flujo de trabajo:
| Etapa | Qué Sucedió |
|---|---|
| El Candidato Aplica | Reperi AI publicó el rol; TeamCraft importó automáticamente los solicitantes y comenzó la preselección |
| Toma la Evaluación | Cada candidato completó la evaluación práctica y basada en proyectos diseñada para el rol específico |
| Se Une a un Proyecto en Equipo | Los candidatos se agruparon en pequeños equipos simulados para reflejar la dinámica real del trabajo |
| Evaluación de IA + Humana | El motor de IA de TeamCraft y evaluadores humanos calificaron el rendimiento en múltiples dimensiones |
| Selección | Los mejores candidatos fueron preseleccionados con informes detallados sobre competencias técnicas, colaborativas, conductuales y profesionales |
Los Resultados
Métricas Generales de Evaluación
| Métrica | Resultado |
|---|---|
| Total de Candidatos | 7 |
| Candidatos Evaluados | 6 |
| Preselecciones Finales | 6 |
| Tickets Revisados | 22 |
| Total de Tickets Cerrados | 22 |
| Calidad Promedio de Reporte de Bugs | 64.6 |
| Puntaje Técnico Promedio | 85.6 |
| Puntaje de Ejecución de Proyecto Promedio | 64.6 |
| Puntaje Conductual Profesional Promedio | 77.8 |
Mejor Rendimiento: Puesto #1
| Métrica | Puntaje |
|---|---|
| Puntaje Total | 89.53 (Muy Bueno) |
| Calidad de Reporte de Bugs | 96 |
| Competencia Técnica | 95.43 |
| Habilidades Conductuales Profesionales | 85 |
| Tickets Completados | 5 / 5 |
| Intentos | 5 / 5 |
Desglose Técnico Detallado
| Dimensión de Evaluación | Puntaje | Peso | Contribución Ponderada |
|---|---|---|---|
| Capacidad de Pruebas QA y Análisis | 96 | 45% | 43.2 |
| Ejecución y Compromiso del Proyecto | 73 | 25% | 18.25 |
| Calidad de Documentación y Comunicación | 95.4 | 20% | 19.08 |
| Competencia Profesional y Colaboración | 90 | 10% | 9.0 |
| Puntaje Final | 89.53 |
Rendimiento por Sub-Habilidad
| Habilidad | Puntaje |
|---|---|
| Análisis Exploratorio | 94.4 |
| Cobertura de Pruebas | 96.2 |
| Atención al Detalle | 95.2 |
| Precisión en Pruebas | 95.2 |
| Documentación | 96.8 |
| Detección de Bugs | 94.8 |
Por Qué Esta Contratación Importó
El mejor candidato no solo rindió bien en las pruebas. Demostró las capacidades híbridas exactas que Reperi AI necesitaba:
- Rigor técnico: 96 en Capacidad de Pruebas QA y Análisis, con puntajes casi perfectos en todas las sub-habilidades de prueba
- Excelencia en documentación: 95.4 en Calidad de Documentación y Comunicación -- crítico para un rol que requiere informes de bugs claros y orientación clara al cliente
- Colaboración bajo presión: 90 en Competencia Profesional y Colaboración, demostrada en un entorno de equipo simulado
- Mentalidad de responsabilidad: 5/5 tickets completados, mostrando confiabilidad y capacidad de seguimiento en un entorno remoto
El formato experiencial reveló lo que la contratación tradicional no podía: este candidato podía situarse entre ingeniería y clientes, traduciendo problemas técnicos en soluciones humanas.
Impacto en el Negocio
| Resultado | Detalle |
|---|---|
| Velocidad para Obtener Señales de Calidad | Pasó de publicar el rol a una preselección basada en datos en días, no semanas |
| Validación del Rol Híbrido | Demostró que el candidato podía manejar responsabilidades de QA y CX antes del Día 1 |
| Reducción del Riesgo de Contratación | La puntuación objetiva y multidimensional reemplazó decisiones basadas en corazonadas con datos de rendimiento |
| Confianza en Entorno Remoto | La evaluación fue diseñada para ejecución remota; el mejor rendidor prosperó en ese formato |
| Toma de Decisiones Aumentada por IA | Reperi AI utilizó la evaluación de IA + humana de TeamCraft para tomar su propia decisión de talento, modelando el enfoque basado en datos que vende a sus clientes |
Por Qué TeamCraft Funcionó para Reperi AI
| Capacidad de TeamCraft | Cómo Ayudó |
|---|---|
| Diseño de Evaluación Específica para el Rol | No fue una prueba genérica de QA -- diseñada para QA más Experiencia del Cliente |
| Simulación del Mundo Real | Los candidatos trabajaron en tipos de tickets reales que verían en el trabajo |
| Puntuación Multidimensional | Puntajes técnicos, colaborativos, conductuales y profesionales proporcionaron una imagen completa del candidato |
| Evaluación de IA + Humana | Datos objetivos de la calificación de IA, juicio matizado de evaluadores humanos |
| Informes Detallados | Tarjetas de puntuación por candidato con contribuciones ponderadas y desgloses de sub-habilidades |
| Nativo Remoto | Toda la evaluación realizada de forma remota, coincidiendo con el modelo de equipo distribuido de Reperi AI |
Preguntas Frecuentes
¿Por qué Reperi AI eligió la evaluación experiencial en lugar de entrevistas tradicionales? El rol requería una rara combinación de habilidades técnicas de QA y empatía con el cliente. Los currículums y las entrevistas estándar no pueden evaluar cómo alguien redacta un informe de bug o guía a un cliente confundido. La simulación práctica reveló el rendimiento real, no el rendimiento en entrevistas.
¿Cómo se evaluaron las dinámicas de equipo en un entorno remoto? Los candidatos trabajaron en equipos de proyecto simulados, colaborando en tickets estructurados. Los evaluadores calificaron la calidad de la comunicación, la claridad de la documentación y la capacidad de respuesta -- todas señales críticas para un entorno remoto de startup.
¿Pueden otras empresas de IA usar este enfoque para roles híbridos? Sí. El modelo de dos pasos -- evaluación de aptitud seguida de simulación específica del rol -- funciona para cualquier rol híbrido donde importen tanto la profundidad técnica como las habilidades humanas. Es especialmente efectivo para empresas en etapas tempranas que necesitan contrataciones multi-capaces.
¿Qué hizo que el mejor candidato destacara? El mejor rendidor obtuvo 96 en Calidad de Reporte de Bugs y 95.43 en Competencia Técnica, mientras también demostraba un fuerte comportamiento profesional con un 85. Completaron los 5 tickets y mostraron que podían operar en la intersección de la ingeniería y el éxito del cliente.