Para assegurar a confiabilidade das informações fornecidas por aplicações de Inteligência Artificial, é fundamental conhecer o funcionamento dos algoritmos, contudo a maioria das ferramentas atua como caixas pretas (black boxes), tornando opacos e nada transparentes os critérios que levaram a máquina a chegar em determinado resultado. Na área financeira, por exemplo, um sistema de IA deve ser desenvolvido de forma a permitir que as avaliações de crédito sejam transparentes e permitam rastreabilidade.

O conceito da “explicabilidade” ou “interpretabilidade” diz respeito à capacidade de compreender os detalhes por trás do funcionamento de determinado algoritmo, explicando seu processo decisório.

Para o campo da saúde, apesar das enormes promessas de aplicações de Machine Learning, é fundamental entender o que motivou uma determinada decisão. Não parece razoável que médicos e pacientes recebam sem questionar diagnósticos que não podem ser explicados. Neste caso, a preocupação e busca por soluções tecnológicas “interpretáveis” são fundamentais não só para dar transparência para médicos e pacientes, mas para todas as partes interessadas, inclusive aos órgãos reguladores (LIMA, 2022).

A Explainable Artificial Intelligence (XAI) está, portanto, ligada à responsabilidade algorítmica e à transparência de processos de aprendizado de máquina (NUNES; MORATO, 2021).

Na versão 4 do GPT, a máquina adquiriu a capacidade de citar as fontes utilizadas para a geração da resposta, mas como está disponível apenas para os assinantes do plano Plus, a maioria dos usuários ainda enfrenta grande dificuldade em explicar as informações geradas pela IA.

Para o SUS, é fundamental que os sistemas de inteligência artificial funcionem dentro de uma mentalidade de software livre, com o compartilhamento não apenas de seus benefícios, mas também de abertura do “código”, medida que propiciaria o aprimoramento das ferramentas, o controle social da IA na Saúde, além do desenvolvimento de aplicações específicas derivadas.

O ideal é que pesquisa e ferramentas que utilizam dados públicos possam compartilhar não apenas gráficos e textos de suas conclusões, mas também o código utilizado para tal, criando um ecossistema de partilha de benefícios entre atores privados e públicos (semicommons), neste caso com startups e healthtechs de um lado e o SUS do outro.

Publicado originalmente em: https://arthurwilliam.com.br/blog/explicabilidade-da-inteligencia-artificial/

REFERÊNCIAS:

LIMA, J. DA C. Desafios para a adoção de Inteligência Artificial pelo Sistema Único de Saúde (SUS): ética, transparência e interpretabilidade. Tese (Doutorado em Informação e Comunicação em Saúde) – Instituto de Comunicação e Informação Científica e Tecnológica em Saúde, Fundação Oswaldo Cruz, Rio de Janeiro, 2022.

NUNES, D.; MORATO, O. A explicabilidade da inteligência artificial e o devido processo tecnológico. Disponível em: https://www.conjur.com.br/2021-jul-07/opiniao-explicabilidade-ia-devido-processo-tecnologico. Acesso em: 25 abr. 2023.

SANTOS, A. W. C.. Inteligência Artificial Generativa, dados pessoais e Literacia Digital em Saúde: possibilidades, desigualdades e limites. Disponível em: https://arthurwilliam.com.br/wp-content/uploads/2023/05/Inteligencia-Artificial-Generativa-dados-pessoais-e-Literacia-Digital-em-Saude-Arthur-William-Cardoso-Santos.pdf. Acesso em: 31 mai. 2023.

Arthur William Cardoso Santos

Arthur William Cardoso Santos é doutorando em Saúde Pública na ENSP/FIOCRUZ, com orientação do Prof. Dr. Carlos Gadelha, onde pesquisa o subsistema de informação e conectividade do Complexo Econômico-Industrial da Saúde (CEIS), além de compartilhar os dados sobre o desenvolvimento de Inteligência Artificial em Saúde no site https://iasaudepublica.com.br dentro de uma ação de ciência aberta. Cursa ainda a pós-graduação de Ciência de Dados/Analytics na PUC-Rio, além de integrar o GT de Inteligência Artificial (IA) da SET. É pesquisador do Centro de Estudos Estratégicos da Fiocruz (CEE) e do Instituto de Comunicação e Informação Científica e Tecnológica em Saúde (ICICT/Fiocruz). Fez cursos presenciais em Harvard e Stanford sobre Inovação em parceria com o LASPAU e o Lemann Center, respectivamente. É mestre em Educação, Cultura e Comunicação (UERJ), pós-graduado no MBA de TV Digital, Radiodifusão e Novas Mídias de Comunicação Eletrônica (UFF), graduado em Comunicação Social / Jornalismo (PUC-Rio) e técnico em eletrônica (CEFET-RJ). Foi gerente executivo de Produção, Aquisição e Parcerias na EBC, além de gerenciar o setor de Criação de Conteúdos e coordenar as Redes Sociais da TV Brasil. Liderou também a área de Inovação/Novos Negócios na TV Escola. Atuou ainda na criação do Canal Educação e do Canal LIBRAS para o Ministério da Educação (MEC). Deu aulas em cursos de graduação e pós-graduação nas universidades UniCarioca, Unigranrio, FACHA, INFNET e CEFOJOR (Angola), além de integrar o conselho consultivo do Ministério das Comunicações para a escolha do padrão tecnológico do Rádio Digital no Brasil.

Receba novidades da IA na Saúde Pública (semanalmente)

Receba novidades da IA na Saúde Pública (semanalmente)

Assine nossa newsletter para ficar por dentro de todas as novidades da Inteligência Artificial no SUS.

Toda segunda-feira, você vai receber um email com o resumo da semana!