Qué es la ética algorítmica
Un análisis sobre la necesidad de contemplar qué tipo de información se utiliza para nutrir los sistemas de inteligencia artificial que se emplean en la salud, la justicia y las finanzas, entre otros tantos ámbitos. La selección de datos puede replicar sesgos y prejuicios que podrían profundizar desigualdades e injusticias.
Desirée Jaimovich
djaimovich@infobae.com
Ni inocentes, ni neutrales ni perfectos. Los algoritmos son el fruto de una fórmula y una selección de datos que le marcan el rumbo. En el mundo del aprendizaje automático el contenido que se emplee para entrenar al sistema condicionará la forma en que ese programa verá el mundo. Y por ende, de las decisiones que tomará, de la forma en que filtrará o priorizará tal o cual contenido.
“Si alimentamos el sistema con sesgos entonces lograremos un sistema con sesgos. Es cuando el prejuicio humano se traduce al código”, dijo Micaela Mantegna, abogada y especialista en Derecho de Internet, durante la charla que ofreció esta semana en la Usina del Arte, en el marco del evento Deep Digital Training.
Su disertación puso el eje en la ética de las nuevas tecnologías. ¿Qué se tiene en cuenta a la hora de generar un algoritmo? ¿Acaso las máquinas son neutrales y nunca se equivocan? La respuesta es no. Un “no” contundente: las máquinas pueden fallar y la información en base a la cual aprenden y toman decisiones o generan un resultado no es irrefutable ni imparcial. Las máquinas son el resultado de fórmulas elaboradas e ideada por humanos.
“En los algoritmos a veces hay una caja negra donde no se sabe cuál es el criterio de desarrollo que se usó”, subrayó Mantegna. El problema es cuando estos algoritmos se utilizan para tomar decisiones que tendrán un impacto social, que afectará directamente en la vida de la gente.
Qué es la ética algorítmica
Se utilizan algoritmos en la justicia, en ciberseguridad, en las aseguradoras y para hacer diagnóstico médicos. Y hay varios estudios que muestran que esas evaluaciones distan de ser neutrales: están influenciadas por el tipo de datos seleccionados. El problema no es la información sino cómo se usa, cómo se filtra y correlaciones. Y es aquí donde se debería contemplar la ética algorítmica que, básicamente, consiste en tener en cuenta la dimensión ética a la hora de desarrollar sistemas de inteligencia artificial.
Si estos algoritmos van a guiar la vida de la sociedad, entonces hay que asegurarse de que sea equitativos y lo más justo posibles para evitar que automaticen y radicalicen diferencias en función de ingresos, etnia, edad o género. “No hay que dejar de lado el impacto social de las tecnologías que se desarrollan.Hay un interrogante ético que hay que contemplar”, remarcó Mantegna.
Algoritmos en la justicia
En la charla mencionó el caso de COMPAS, un software utilizado en algunos tribunales de Estados Unidos para evaluar los riesgos que existen de que un acusado pueda ser reincidente.
Este sistema es utilizado por el juez como una herramienta más a la hora de decidir la sentencia o si el acusado debería permanecer en prisión hasta el momento del juicio. En 2016, el sitio de investigación periodística ProPublica analizó las evaluaciones de COMPAS en el caso de más 7.000 detenidos en Broward, Florida, y publicaron una investigación alegando que el algoritmo tenía un sesgo en contra de la población afroamericana.
Según esta investigación, los afroamericanos tenían casi el casi el doble de probabilidades que los blancos de ser considerados como posibles criminales reincidentes.
La empresa Northpointe, desarrolladora del sistema, criticó la metodología utilizada por ProPublica y los resultados obtenidos. Luego, desde ProPública si hizo un nuevo informe donde se llegó a la conclusión de que Compas no era más preciso en las predicciones que una persona con poca o nula en materia penal.
Algoritmos en las finanzas
Hace unos días, Apple y Goldman Sachs quedaron en media de una polémica luego de que algunos usuarios, entre ellos Steve Wozniak y el emprendedor David Heinemeier Hansson se quejaran en Twitter respecto de que el algoritmo detrás de Apple Card tiene una configuración sexista porque, ante una misma situación financiera, les otorga mayor crédito a los hombres que a las mujeres.
A raíz de la viralización y otras denuncias que surgieron tras esta polémica, los reguladores financieros de Estados Unidos decidieron investigar las prácticas en las que se basa este instrumento financiero.
Pero lo cierto es que, salvo que se inicie una demanda formal, es difícil comenzar una investigación y anticiparse a una situación así. Para acceder a cómo funcionan las redes neuronales, habría que hacer ingeniería inversa, adentrarse en los datos y fórmulas creadas para desarrollar esos algoritmos y esto es parte de un secreto comercial. Por eso resulta difícil o casi imposible auditar esos sistemas, reflexionó Mantenga.
Algoritmos en el sistema de salud
Los algoritmos también dicen presente en el sistema de salud. Y hace poco también se publicó una investigación que cuestiona el uso de un algoritmo de atención médica que emplean varios prestadores y aseguradoras médicas en Estados Unidos.
Según el estudio, liderado por el profesor Ziad Obermeyer de la Universidad de California, y que fue publicado por la revista Science, este algoritmo hace que los pacientes afroamericanos sean bastante menos propensos a recibir tratamientos médicos de alta complejidad.
Las aseguradoras médicas o prepagas utilizan el algoritmo para evaluar a los pacientes y decidir a quién se le autorizará una asistencia extra, es decir a qué segmento de sus asociados se dedicarán recursos extra. El tema es que ese algoritmo, según el informe, parecería tener un sesgo que beneficia a los blancos y deja en desventaja a la población afroamericana.
¿Qué hay que hacer entonces? “Tenemos normas tratando de regular el ecosistema digital pero hay que tener en cuenta el aspecto ético desde el momento mismo de la concepción del producto”, destacó la abogada.
La inteligencia artificial seguirá avanzando y los sistemas de aprendizaje automático se continúan entrenando. La inteligencia artificial está hoy en día utilizándose para tomar decisiones que afectan a poblaciones enteras. Como ya se vio: se usan en el sistema financiero, judicial y médico.
Ante esta situación, es necesario comenzar a tomar en cuenta la dimensión ética a la hora de diseñar y emplear algoritmos para evitar que los sesgos se naturalicen y se reproduzcan acotando libertadas y profundizando las desigualdades existentes.
La inteligencia artificial es poderosa y puede resultar muy útil, a la hora de hacer que los procesos sean más eficientes, pero no se puede dejar de contemplar el impacto social que conlleva.
Como concluyó Mantegna, haciendo referencia al universo del Hombre Araña y dándole un poco de lugar a la cultura pop: “Hay que aplicar el principio Peter Parker: con grandes poderes vienen grandes responsabilidades”.
djaimovich@infobae.com
Ni inocentes, ni neutrales ni perfectos. Los algoritmos son el fruto de una fórmula y una selección de datos que le marcan el rumbo. En el mundo del aprendizaje automático el contenido que se emplee para entrenar al sistema condicionará la forma en que ese programa verá el mundo. Y por ende, de las decisiones que tomará, de la forma en que filtrará o priorizará tal o cual contenido.
“Si alimentamos el sistema con sesgos entonces lograremos un sistema con sesgos. Es cuando el prejuicio humano se traduce al código”, dijo Micaela Mantegna, abogada y especialista en Derecho de Internet, durante la charla que ofreció esta semana en la Usina del Arte, en el marco del evento Deep Digital Training.
Su disertación puso el eje en la ética de las nuevas tecnologías. ¿Qué se tiene en cuenta a la hora de generar un algoritmo? ¿Acaso las máquinas son neutrales y nunca se equivocan? La respuesta es no. Un “no” contundente: las máquinas pueden fallar y la información en base a la cual aprenden y toman decisiones o generan un resultado no es irrefutable ni imparcial. Las máquinas son el resultado de fórmulas elaboradas e ideada por humanos.
“En los algoritmos a veces hay una caja negra donde no se sabe cuál es el criterio de desarrollo que se usó”, subrayó Mantegna. El problema es cuando estos algoritmos se utilizan para tomar decisiones que tendrán un impacto social, que afectará directamente en la vida de la gente.
Qué es la ética algorítmica
Se utilizan algoritmos en la justicia, en ciberseguridad, en las aseguradoras y para hacer diagnóstico médicos. Y hay varios estudios que muestran que esas evaluaciones distan de ser neutrales: están influenciadas por el tipo de datos seleccionados. El problema no es la información sino cómo se usa, cómo se filtra y correlaciones. Y es aquí donde se debería contemplar la ética algorítmica que, básicamente, consiste en tener en cuenta la dimensión ética a la hora de desarrollar sistemas de inteligencia artificial.
Si estos algoritmos van a guiar la vida de la sociedad, entonces hay que asegurarse de que sea equitativos y lo más justo posibles para evitar que automaticen y radicalicen diferencias en función de ingresos, etnia, edad o género. “No hay que dejar de lado el impacto social de las tecnologías que se desarrollan.Hay un interrogante ético que hay que contemplar”, remarcó Mantegna.
Algoritmos en la justicia
En la charla mencionó el caso de COMPAS, un software utilizado en algunos tribunales de Estados Unidos para evaluar los riesgos que existen de que un acusado pueda ser reincidente.
Este sistema es utilizado por el juez como una herramienta más a la hora de decidir la sentencia o si el acusado debería permanecer en prisión hasta el momento del juicio. En 2016, el sitio de investigación periodística ProPublica analizó las evaluaciones de COMPAS en el caso de más 7.000 detenidos en Broward, Florida, y publicaron una investigación alegando que el algoritmo tenía un sesgo en contra de la población afroamericana.
Según esta investigación, los afroamericanos tenían casi el casi el doble de probabilidades que los blancos de ser considerados como posibles criminales reincidentes.
La empresa Northpointe, desarrolladora del sistema, criticó la metodología utilizada por ProPublica y los resultados obtenidos. Luego, desde ProPública si hizo un nuevo informe donde se llegó a la conclusión de que Compas no era más preciso en las predicciones que una persona con poca o nula en materia penal.
Algoritmos en las finanzas
Hace unos días, Apple y Goldman Sachs quedaron en media de una polémica luego de que algunos usuarios, entre ellos Steve Wozniak y el emprendedor David Heinemeier Hansson se quejaran en Twitter respecto de que el algoritmo detrás de Apple Card tiene una configuración sexista porque, ante una misma situación financiera, les otorga mayor crédito a los hombres que a las mujeres.
A raíz de la viralización y otras denuncias que surgieron tras esta polémica, los reguladores financieros de Estados Unidos decidieron investigar las prácticas en las que se basa este instrumento financiero.
Pero lo cierto es que, salvo que se inicie una demanda formal, es difícil comenzar una investigación y anticiparse a una situación así. Para acceder a cómo funcionan las redes neuronales, habría que hacer ingeniería inversa, adentrarse en los datos y fórmulas creadas para desarrollar esos algoritmos y esto es parte de un secreto comercial. Por eso resulta difícil o casi imposible auditar esos sistemas, reflexionó Mantenga.
Algoritmos en el sistema de salud
Los algoritmos también dicen presente en el sistema de salud. Y hace poco también se publicó una investigación que cuestiona el uso de un algoritmo de atención médica que emplean varios prestadores y aseguradoras médicas en Estados Unidos.
Según el estudio, liderado por el profesor Ziad Obermeyer de la Universidad de California, y que fue publicado por la revista Science, este algoritmo hace que los pacientes afroamericanos sean bastante menos propensos a recibir tratamientos médicos de alta complejidad.
Las aseguradoras médicas o prepagas utilizan el algoritmo para evaluar a los pacientes y decidir a quién se le autorizará una asistencia extra, es decir a qué segmento de sus asociados se dedicarán recursos extra. El tema es que ese algoritmo, según el informe, parecería tener un sesgo que beneficia a los blancos y deja en desventaja a la población afroamericana.
¿Qué hay que hacer entonces? “Tenemos normas tratando de regular el ecosistema digital pero hay que tener en cuenta el aspecto ético desde el momento mismo de la concepción del producto”, destacó la abogada.
La inteligencia artificial seguirá avanzando y los sistemas de aprendizaje automático se continúan entrenando. La inteligencia artificial está hoy en día utilizándose para tomar decisiones que afectan a poblaciones enteras. Como ya se vio: se usan en el sistema financiero, judicial y médico.
Ante esta situación, es necesario comenzar a tomar en cuenta la dimensión ética a la hora de diseñar y emplear algoritmos para evitar que los sesgos se naturalicen y se reproduzcan acotando libertadas y profundizando las desigualdades existentes.
La inteligencia artificial es poderosa y puede resultar muy útil, a la hora de hacer que los procesos sean más eficientes, pero no se puede dejar de contemplar el impacto social que conlleva.
Como concluyó Mantegna, haciendo referencia al universo del Hombre Araña y dándole un poco de lugar a la cultura pop: “Hay que aplicar el principio Peter Parker: con grandes poderes vienen grandes responsabilidades”.
