Cómo prevenir la discriminación en procesos de contratación automatizada
Es importante ser conscientes de esta posibilidad, y utilizar herramientas que detecten y prevengan dichos sesgos.
Por Dr. Vladimiro González Zelaya y Dra. Antonia Terán Bustamante*
Es importante ser conscientes de esta posibilidad, y utilizar herramientas que detecten y prevengan dichos sesgos.
El uso de herramientas de inteligencia artificial (IA) en decisiones que impactan en nuestras vidas se ha vuelto omnipresente. Estas herramientas son utilizadas para todo tipo de tareas, desde lo más trivial, como podría ser la recomendación de una película o serie que se ajuste a nuestros gustos hasta decisiones de alto impacto, como puede ser la aprobación de una línea de crédito, la admisión en una escuela e incluso la reducción en penas de prisión. Naturalmente, la toma de decisiones automatizada está presente en la contratación de personal por parte de las empresas.
Mecanismos como los mencionados hacen uso de algoritmos pertenecientes a una rama de la IA conocida como aprendizaje estadístico o machine learning (ML). Estos métodos “ajustan” un modelo con ejemplos positivos y negativos respecto a una tarea en particular —digamos contrataciones— de manera que identifique patrones que le permitan determinar si un candidato es viable para ser contratado. Los algoritmos de ML pueden tener un muy buen desempeño predictivo, pero esto dependerá de los datos: malos datos producirán malos resultados, un concepto conocido en computación como garbage in, garbage out o GIGO. Así, datos sesgados producirán un algoritmo sesgado: si al algoritmo se le entrena con pocos ejemplos de mujeres que hayan sido contratadas, probablemente detectará este sesgo y asociará el atributo “mujer” con la decisión de no contratar.
Además del género, otros atributos personales son también susceptibles a la discriminación, tales como edad, nacionalidad, raza o nivel de ingresos de los individuos; en la jerga legal, a estas variables se les conoce como atributos protegidos (PAs). La justicia algorítmica es un campo de investigación en IA con tres objetivos: definir qué significa que un algoritmo sea “justo”, detectar decisiones injustas y prevenir estos comportamientos mediante diversas técnicas correctivas.
Un caso ejemplar de estos algoritmos discriminatorios ocurrió en 2018 con Amazon [1], donde sus investigadores desarrollaron en 2014 un mecanismo de selección de candidatos mediante el análisis automatizado de los currículos (CVs) recibidos. Un análisis del algoritmo realizado por el mismo Amazon mostró que la presencia de la palabra “mujer” en un CV, por ejemplo, en “presidenta de la asociación de mujeres universitarias” causaba un notable descenso en el puntaje obtenido por un CV para la selección. Amazon aclaró que, aunque desarrolló dicho algoritmo, nunca lo utilizó para filtrar a los candidatos.
Ahora bien, ¿fueron los ingenieros que desarrollaron este sistema deliberadamente misógino, o qué causó el comportamiento discriminatorio en el algoritmo? La respuesta a este enigma, como casi siempre en el mundo del ML, está en los datos. El algoritmo desarrollado por Amazon fue entrenado con base en un conjunto de CVs donde la inmensa mayoría de las aplicaciones exitosas pertenecían a candidatos del género masculino. Esto es, los algoritmos no discriminan per se, sino que modelan un mundo en el que dicho sesgo ya está presente.
Una de las maneras en las que se puede corregir la discriminación es mediante el “remuestreo” de los datos con los que aprende el algoritmo: si tenemos una muestra en la que fueron contratados el 90% de los hombres y 20% de las mujeres, esto generará una regla de decisión en el que las mujeres sean desfavorecidas. Si en cambio incrementamos la proporción de mujeres contratadas en la muestra y reducimos la proporción de hombres contratados, el resultado será un algoritmo más justo, en cuanto a que disociará el atributo sexo con la decisión final.
Sin embargo, esta solución nos lleva a un dilema esencial en la justicia algorítmica: qué significa exactamente la “justicia”. Específicamente, existen dos posturas predominantes [2]: la igualdad de oportunidades y la igualdad de resultados. Mientras que la primera busca prevenir que un candidato que lo merezca sea rechazado —es decir, evitar que dos perfiles similares, solo distintos en su PA, reciban tratos distintos— la segunda busca una equidad en la proporción de candidatos contratados de acuerdo al PA seleccionado —por ejemplo, si el 50% de los candidatos son contratados, también deberían ser contratadas el 50% de las candidatas.
En conclusión, disponemos de las herramientas para evitar la discriminación automatizada en los procesos de contratación. Es importante ser conscientes de esta posibilidad, y utilizar herramientas que detecten y prevengan dichos sesgos. Sin embargo, es necesaria también una reflexión como sociedad, para llegar a un consenso sobre lo que significa la justicia y la igualdad.
*Los autores son académicos de la Facultad de Empresariales de la Universidad Panamericana
Nota del editor: Este texto pertenece a nuestra sección de Opinión y refleja únicamente la visión del autor, no necesariamente el punto de vista de Alto Nivel.
Referencias
[1] Jeffrey Dastin. Amazon scraps secret AI recruiting tool that showed bias
against women (2018). Revisado el 24 de marzo de 2023. https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G.
[2] Anne Phillips. Defending Equality of Outcome. En: Journal of Political Philosophy 12.1 (2004), págs. 1-19.
MÁS NOTICIAS:
- Grupo Peak: La estafa que desapareció 800 mdp en Nuevo León
- Esta es la historia de McDonald’s y de su dueño actual
- 5 pasos financieros para prepararte para el retiro
- Peso se aprecia 0.82%, a la espera de decisión de la Fed
- Bob Bakish renuncia como CEO de Paramount tras 27 años en el estudio
