Cómo los algoritmos informáticos ayudan a difundir el sesgo étnico en la atención médica de los EE. UU.


Las personas pueden ser parciales, incluso sin darse cuenta, pero los programas informáticos no deberían tener ningún motivo para discriminar a los pacientes negros cuando prediciendo sus deyección de vitalidad. ¿Correcto?

Incorrecto, sugiere una nueva investigación.

Los científicos que estudian un cálculo ampliamente utilizado representativo del tipo de aseguradores de vitalidad que utilizan para tomar decisiones cruciales de atención para millones de personas han descubierto evidencia significativa de sesgo étnico cuando se comercio de predecir los riesgos para la vitalidad de los pacientes negros.

Los hallazgos, descritos el jueves en la revista Science, tienen implicaciones de holgado magnitud para la vitalidad y el bienestar de los estadounidenses a medida que dependemos cada vez más de las computadoras para convertir los datos en bruto. en información útil. Los resultados incluso apuntan a la raíz del problema, y ​​no es el software informático.

"No deberíamos culpar al cálculo", dijo la líder del estudio, la Dra. Ziad Obermeyer, investigadora de enseñanza obligatorio y vitalidad en UC Berkeley. "Deberíamos culparnos a nosotros mismos, porque el cálculo solo está aprendiendo de los datos que le damos".

Un cálculo es un conjunto de instrucciones que describen cómo realizar una determinada tarea. Una fórmula para brownies es un cálculo. Todavía lo es la cinta de giros para conducir a la fiesta de tu amigo.

Un cálculo de computadora no es diferente, excepto que está escrito en código en oficio de palabras. Hoy en día, se utilizan para orientar anuncios en andana, aceptar caras y encontrar patrones en conjuntos de datos a gran escalera, con la esperanza de convertir el mundo en un oficio más capaz y comprensible (y para las empresas, más rentable).

Pero aunque los algoritmos se han vuelto más potentes y ubicuos, la evidencia ha acumulado que reflejan e incluso amplifican los prejuicios y el racismo del mundo vivo.

Se descubrió que un cálculo utilizado para determinar las penas de prisión tenía prejuicios raciales, lo que predice incorrectamente un veterano peligro de reincidencia para los acusados ​​negros y un beocio peligro para los blancos. Se ha demostrado que el software de examen facial tiene sesgos de raza y variedad, identificando con precisión el variedad de una persona solo entre hombres blancos. Se ha descubierto que el cálculo publicitario de Google muestra trabajos de altos ingresos a los hombres con mucha más frecuencia que a las mujeres.

Obermeyer dijo que fue casi por percance que él y sus colegas tropezaron con el sesgo incrustado en el cálculo de atención médica. estudiando.

El cálculo se utiliza para identificar a pacientes con afecciones de vitalidad que pueden provocar complicaciones más graves y mayores costos en el futuro. Un gran hospital escolar lo había comprado para ayudar a identificar a los pacientes que eran candidatos para un software de coordinación de la atención, que brinda golpe a servicios tales como citas médicas aceleradas y un equipo de enfermeras que pueden hacer visitas domiciliarias o surtir recetas.

"Es poco así como un software VIP para personas que en realidad necesitan ayuda adicional con su vitalidad", dijo Obermeyer.

El objetivo es cuidar a estos pacientes antiguamente de que su condición empeore. Esto no solo los mantiene más saludables a holgado plazo, sino que incluso mantiene los costos bajos para el sistema de vitalidad.

Este tipo de algoritmos a menudo son propietarios, "lo que dificulta que los investigadores independientes los diseccionen", señalaron los autores del estudio. escribió Pero en este caso, el sistema de vitalidad lo proporcionó voluntariamente, unido con datos que permitirían a los investigadores ver si el cálculo predecía con precisión las deyección de los pacientes.

Los investigadores notaron poco extraño: pacientes negros que habían sido asignados la misma puntuación de detención peligro que los pacientes blancos tenían muchas más probabilidades de ver que su vitalidad se deteriorara durante el año posterior.

“A un nivel de peligro poliedro como lo ve el cálculo, los pacientes negros terminaron mucho más enfermos que pacientes blancos ", dijo Obermeyer.

Esto no tenía sentido, dijo, por lo que los científicos se centraron en la discrepancia. Analizaron los datos de vitalidad de 6.079 pacientes negros y 43.539 pacientes blancos y se dieron cuenta de que el cálculo estaba haciendo exactamente lo que se les había pedido que hicieran.

El problema era que las personas que lo diseñaron le habían pedido que hiciera poco incorrecto.

El sistema evaluó a los pacientes con almohadilla en los costos de vitalidad en los que incurrieron, asumiendo que si sus costos eran altos, era porque sus deyección eran altas. Pero la suposición de que los altos costos eran un indicador de una gran exigencia resultó ser errónea, dijo Obermeyer, porque los pacientes negros generalmente reciben menos dólares en atención médica (un promedio de $ 1,801 menos por año) que los pacientes blancos, incluso cuando son igualmente mal.

Eso significaba que el cálculo estaba alejando incorrectamente a algunos pacientes negros del software de coordinación de la atención.

Remediar esa disparidad étnico podría causar que el porcentaje de pacientes negros inscritos en el software de atención especializada Los científicos se dieron cuenta de que el aumento de 17.7% a 46.5%.

Luego de identificar el problema, una suposición humana defectuosa, los científicos comenzaron a solucionarlo. Desarrollaron un maniquí rotativo que se centró en los "costos evitables", como las visitas de emergencia y las hospitalizaciones. Otro maniquí se centró en la vitalidad, medido por el número de brotes de enfermedades crónicas durante el año.

Los investigadores compartieron su descubrimiento con el fabricante del cálculo, que luego analizó su conjunto de datos doméstico de casi 3,7 millones pacientes asegurados comercialmente, confirmando los resultados. Juntos, experimentaron con un maniquí que combinaba la predicción de vitalidad con la predicción de costos, reduciendo en última instancia el sesgo en un 84%.

Dr. Karen Joynt Maddox, cardióloga e investigadora de políticas de vitalidad de la Universidad Washington de St. Louis, elogió el trabajo como "una forma reflexiva de ver este problema emergente en realidad importante".

"Cada vez confiamos más en estos algoritmos y estos modelos de predicción de caja negra para decirnos qué hacer, cómo comportarse, cómo tratar a los pacientes, cómo dirigir las intervenciones", dijo Joynt Maddox, quien No participó en el estudio. "Es inquietante, en cierto modo, pensar si estos modelos que simplemente damos por sentado y que estamos utilizando están perjudicando sistemáticamente a grupos particulares".

La descompostura en este caso no fue con el cálculo mismo, pero con las suposiciones hechas mientras lo diseñaba, ella se apresuró a unir.

Obermeyer dijo que optaron por no destacar la compañía que fabricó el cálculo o el sistema de vitalidad que lo utilizó. Dijo que esperaban resaltar el papel de todo un corro de algoritmos de predicción de riesgos que, según estimaciones de la industria, se utilizan para evaluar aproximadamente 200 millones de personas al año.

Algunas personas han reaccionado a los descubrimientos de sesgos algorítmicos por sugiriendo que los algoritmos se descarten por completo, pero los algoritmos no son el problema, dijo Sendhil Mullainathan, un comprobado de la computación conductual en la Universidad de Chicago y autor principal del estudio.

De hecho, cuando se estudia y aborda adecuadamente, pueden ser parte de la posibilidad.

"Reflejan los sesgos en los datos que son nuestros sesgos", dijo Mullainathan. "Ahora, si puedes descubrir cómo solucionarlo … el potencial que tiene para desviarnos es en realidad resistente".

Un cálculo mejor puede ayudar a diagnosticar y tratar los artículos de las disparidades raciales en atención, pero no puede "curar" la disparidad en la raíz del problema: el hecho de que se gastan menos dólares en atención de pacientes negros, en promedio, que en pacientes blancos, dijo Ruha Benjamin, socióloga de la Universidad de Princeton que no era involucrados en el estudio.

"Los pacientes negros no 'cuestan menos', por mucho que se les valore menos", escribió en un comentario que acompaña al estudio.

Hay evidencia creciente ese sesgo étnico juega un papel importante en deslindar el golpe de los pacientes negros a una atención de calidad. Por ejemplo, un estudio encontró que los pacientes negros con cáncer de pulmón en etapa temprana tienen menos probabilidades de admitir tratamiento quirúrgico y terminan muriendo antiguamente que los blancos.

"A medida que los investigadores se basan en este observación, es importante que el ' el sesgo de los algoritmos no eclipsa el contexto discriminatorio que hace que las herramientas automatizadas sean tan importantes en primer oficio ”, escribió. "Si los individuos y las instituciones valoraran más a los negros, no 'costarían menos' y, por lo tanto, esta utensilio podría funcionar de guisa similar para todos".

La fijación de las fuentes de disparidad en el mundo vivo presenta un problema más profundo y mucho más complicado. desafío, dijeron los investigadores.

Finalmente, Obermeyer dijo, "es mucho más sencillo corregir el sesgo en los algoritmos que en los humanos".

Fuentes

Be the first to comment

Leave a Reply

Your email address will not be published.


*