Imagine descrever a sua dor a uma médica e ver os olhos dela deslocarem-se de si para um ecrã. O ecrã indica que o seu risco é baixo. O seu corpo diz o contrário. Entre os dois, tem que se acreditar num.
Os hospitais em todo o mundo estão a apressar-se a implementar algoritmos na prática clínica, desde verificadores de sintomas que fazem a triagem dos doentes até ferramentas de IA que auxiliam no diagnóstico. O argumento de venda é a eficiência, a coordenação e uma maior precisão.
Mas estes sistemas fazem algo que os folhetos raramente mencionam. Decidem discretamente qual o conhecimento que é credível, quais os sintomas que importam e como as palavras de um doente devem ser interpretadas.
Chamo a esta dinâmica «manipulação algorítmica».
Manipulação sem um manipulador
A «manipulação médica» descreve doentes cujos sintomas são ignorados ou reinterpretados pelos médicos, muitas vezes com base no género, na raça ou numa doença crónica.
Os críticos afirmam que o termo é mal utilizado, pois «manipulação psicológica» implica engano deliberado, e a maioria dos médicos que ignoram os sintomas não está a agir de forma calculista. Estão a agir com base em preconceitos implícitos, rotinas institucionais e hierarquias de especialização profundamente enraizadas.
Mas o dano não é definido pelo motivo. É definido pelo que acontece ao doente, que fica a duvidar das suas próprias perceções e privado das palavras de que necessita para dar sentido à sua experiência.
Os algoritmos tornam este aspeto impossível de evitar. Um software não tem intenções. Não pode conspirar nem enganar.
No entanto, pode sobrepor-se ao testemunho do doente com a autoridade de uma aparente neutralidade. Pode encaixar uma narrativa vivida em categorias rígidas. E pode deixar o doente com a sensação de que a sua própria experiência não é fiável.
Isso é manipulação psicológica sem quem a pratique.
A primeira é a violência dos dados. Os conjuntos de dados médicos tendem frequentemente a favorecer populações brancas, masculinas e socioeconomicamente privilegiadas. Os doentes que não se enquadram nesse padrão tornam-se estatisticamente invisíveis.
A dor no peito, por exemplo, apresenta-se frequentemente de forma diferente nas mulheres do que nos homens, mas os dados cardiovasculares refletem de forma desproporcional os perfis masculinos.
Os oxímetros de pulso, calibrados principalmente com base em doentes de pele mais clara, podem sobrestimar os níveis de oxigénio no sangue em doentes negros e ocultar níveis perigosamente baixos. Se as ferramentas de triagem tratarem essas leituras como verdade absoluta, o erro propaga-se a jusante.
A segunda é a opacidade. É possível contestar o raciocínio de um médico. Não é possível contestar uma pontuação cuja derivação lhe é desconhecida e, muitas vezes, também ao seu médico.
Considere o Epic Sepsis Model, um sistema de alerta proprietário utilizado em centenas de hospitais dos EUA. Um estudo externo concluiu que o seu desempenho era muito inferior ao alegado pelo seu criador, detetando apenas cerca de um terço dos casos de sépsis e produzindo falsos alarmes frequentes. Nem os médicos nem os doentes conseguiam perceber a lógica por trás de qualquer alerta específico.
O terceiro aspeto é a autoridade automatizada. Quando o algoritmo «diz o contrário», os doentes sentem-se pressionados a duvidar do seu próprio relato, e os médicos hesitam em ignorar uma recomendação supostamente objetiva.
Essa autoridade pode ultrapassar as provas. Documentos internos revelaram posteriormente que o Watson for Oncology da IBM, comercializado a nível mundial como uma ferramenta de apoio à decisão com grande credibilidade, produzia recomendações de tratamento inseguras e incorretas e tinha sido treinado, em grande parte, com base em casos hipotéticos.
O quarto fator é o ciclo de retroalimentação. Pacientes e profissionais de saúde aprendem quais descrições são consideradas «casos» legíveis e ajustam a forma como se expressam. Essas descrições ajustadas tornam-se, então, novos dados, consolidando precisamente as categorias que, inicialmente, não conseguiram captar a realidade do paciente.
Com o tempo, as pessoas deixam de descrever os seus sintomas tal como os sentem. Passam a descrevê-los da forma como a máquina os consegue «ouvir».
Por que razão isto não é uma falha
É tentador tratar tudo isto como um bug que uma melhor engenharia irá corrigir. O artigo defende o contrário.
Os algoritmos não se selecionam a si próprios. Os hospitais e os sistemas de saúde optam por adotá-los e, frequentemente, preferem informação padronizada e baseada em casos a narrativas humanas confusas, por razões de eficiência, responsabilidade e escala.
Este é um velho instinto administrativo. As instituições sempre favoreceram aquilo que conseguem ler, contar e auditar em detrimento do que não conseguem. O que é ilegível para o sistema é, num sentido real, incontrolável por este.
Portanto, o ponto em que a intenção entra na história situa-se a montante. Ninguém precisa de querer descreditar um doente em particular. Mas optar por substituir o testemunho do doente por dados padronizados é um ato deliberado de conceção, e alguém é responsável por isso.
Uma vez que os resultados algorítmicos são de natureza infraestrutural, os danos também não se limitam a uma única consulta mal conduzida. Repetem-se em vários casos e acumulam-se para os doentes que se encontram na intersecção de várias formas de marginalização, como, por exemplo, uma mulher negra com deficiência cuja condição e identidade estão ambas sub-representadas nos dados.
Comunidades inteiras que são repetidamente mal reconhecidas podem acabar por desconfiar do próprio sistema de saúde.
Existe também uma dimensão global. Num estudo qualitativo turco recente, diferentes modelos linguísticos forneceram orientações éticas notavelmente diferentes sobre os mesmos casos clínicos, diferindo em termos de sensibilidade cultural e profundidade interpretativa, mesmo quando invocavam os mesmos princípios.
Esses quadros de referência que são codificados não são neutros, particularmente para os doentes que se encontram longe do local onde estes sistemas são criados.
O que deve mudar
A resposta não é banir a IA da medicina. É deixar de tratar os doentes como fontes de dados e começar a tratá-los como sujeitos que sabem.
Isso significa, em primeiro lugar, conceder aos doentes o direito de contestar o resultado de um algoritmo, e não apenas de solicitar uma segunda opinião.
Devem poder questionar as categorias, os indicadores e os juízos de valor subjacentes. Devem também receber explicações que se relacionem com a sua própria experiência, em vez de uma leitura técnica dos pesos das características.
Em segundo lugar, a justiça epistémica tem de ser incorporada nos próprios sistemas. Isso inclui auditorias independentes aos dados de treino e aos resultados, com a participação de especialistas em ética e defensores dos doentes.
Isto implica envolver as pessoas mais suscetíveis de serem mal identificadas na fase de conceção, e não só depois de a arquitetura estar definida. E implica questionar, na fase de aquisição, se uma ferramenta incentiva a narrativa do doente ou se a reduz a simples caixas de seleção.
A conceção participativa não é uma panaceia, e o artigo é franco quanto a isso. Os fornecedores proprietários resistem ao escrutínio externo, os sistemas privatizados não têm um único financiador e os cuidados de emergência deixam pouco tempo para a conceção participativa.
Funciona melhor em contextos de cuidados crónicos e onde já existem organizações de doentes. Nos casos em que não é possível aplicá-lo na íntegra, medidas de salvaguarda mais leves são melhores do que nenhuma.
Em terceiro lugar, a responsabilidade tem de ser partilhada. Os programadores devem documentar os limites e conceber o sistema de forma a permitir a contestabilidade.
Os médicos devem ponderar os resultados algorítmicos em relação ao que o doente lhes diz. As instituições devem criar órgãos que monitorizem a implementação e resolvam litígios. As entidades reguladoras devem incorporar a justiça epistémica nas normas de cuidados de saúde.
É necessário fazer uma ressalva. O meu argumento é conceptual e ético. Não pretende medir a frequência com que estes danos ocorrem, e o trabalho empírico será essencial. Mas um problema que não se consegue identificar é um problema que não se consegue estudar.
A questão já não é se os cuidados de saúde serão mediados digitalmente. Serão, sem dúvida. A questão é saber se essa mediação irá alargar ou restringir o espaço em que os doentes são ouvidos.
Um sistema de saúde que não consegue acreditar na pessoa que tem à sua frente já não é um sistema de saúde. A medicina assenta na confiança e nenhum modelo, por mais preciso que seja, pode substituir a voz do doente.
