Antecedentes: La investigación en salud que utiliza inteligencia artificial (IA) predictiva y generativa está creciendo rápidamente. Al igual que en los estudios clínicos tradicionales, la forma en que se llevan a cabo los estudios con IA puede introducir errores sistemáticos. La traducción de esta evidencia basada en IA a la práctica clínica y a la investigación requiere herramientas de evaluación crítica para responsables de la toma de decisiones clínicas e investigadores.

Objetivo: Este estudio tuvo como objetivo identificar las herramientas existentes para la evaluación crítica de estudios clínicos que utilizan IA y examinar los conceptos y dominios que exploran dichas herramientas. La pregunta de investigación se formuló utilizando el marco Población-Concepto-Contexto (PCC). Población (P): estudios clínicos con IA; Concepto (C): herramientas de evaluación crítica y constructos asociados como calidad, notificación, validez, riesgo de sesgo y aplicabilidad; y Contexto (C): práctica clínica. Además, se incluyeron estudios sobre clasificación de sesgos y evaluación de chatbots.

Métodos: Se realizaron búsquedas en bases de datos médicas y de ingeniería (MEDLINE, Embase, CINAHL, PsycINFO e IEEE) desde su inicio hasta abril de 2024. Se incluyó investigación clínica primaria con herramientas de evaluación crítica. Las revisiones clásicas y las revisiones sistemáticas se incluyeron en la primera fase de cribado y se excluyeron en la segunda fase tras identificar nuevas herramientas mediante forward snowballing. Se excluyeron investigaciones no humanas, informáticas y matemáticas, así como cartas, artículos de opinión y editoriales. El cribado se realizó con Rayyan (Qatar Computing Research Institute). La extracción de datos fue realizada por dos revisores y las discrepancias se resolvieron mediante discusión. El protocolo se registró previamente en Open Science Framework. Se siguieron las directrices PRISMA-ScR (Preferred Reporting Items for Systematic Reviews and Meta-Analyses extension for Scoping Reviews) y la extensión PRISMA-S (PRISMA-Search) para la notificación de la literatura en revisiones sistemáticas.

Resultados: Se recuperaron 4393 registros únicos para el cribado. Tras excluir 3803 registros, se seleccionaron 119 para la revisión a texto completo, de los cuales se excluyeron 59. Tras la inclusión de 10 estudios por otros métodos, se incluyeron finalmente un total de 70 registros. Se identificaron 46 herramientas (26 guías para la notificación de estudios con IA, 16 herramientas de evaluación crítica, 2 para la calidad de los estudios y 2 para el riesgo de sesgo). Nueve artículos se centraron en la clasificación o mitigación del sesgo. Se identificaron 15 estudios de evaluación de chatbots o revisiones sistemáticas de estudios sobre chatbots (6 y 9, respectivamente), que constituyen un grupo muy heterogéneo.

Conclusiones: Los resultados dibujan un panorama de herramientas de evaluación de la evidencia en el que predominan las herramientas de notificación, seguidas de las de evaluación crítica, y con un número reducido de herramientas específicas para el riesgo de sesgo. La falta de correspondencia entre los sesgos en inteligencia artificial y en epidemiología debe tenerse en cuenta en la evaluación crítica, especialmente en lo relativo a la equidad y a la mitigación del sesgo en los sistemas de IA. Por último, los estudios de evaluación de chatbots representan un campo amplio y en rápida evolución, en el que el avance en el diseño, la notificación y la evaluación crítica es necesario y urgente.