Un nuevo estudio de gran envergadura, liderado por el profesor Tim Pleskac de la Universidad de Indiana, ha puesto de relieve las complejidades del proceso de revisión por pares en el ámbito académico, específicamente en lo que se refiere a la anonimidad de los autores. Este trabajo, realizado en colaboración con investigadores de Babson College, Carnegie Mellon University y la Universidad de Chicago, ha analizado la efectividad de los sistemas de revisión simple y doble ciego en la Conferencia Anual de la Sociedad para el Juicio y la Toma de Decisiones, un evento que agrupa a más de 1.800 académicos de diversas disciplinas.
Los resultados del estudio revelan que la cuestión de si mantener en secreto las identidades de los autores hace el proceso más equitativo es más compleja de lo que muchos podrían suponer. Mientras que las revisiones anónimas redujeron las disparidades para los autores asiáticos, las mujeres y los solicitantes en etapas tempranas de su carrera obtuvieron puntuaciones levemente inferiores. A pesar de las mínimas diferencias en la fiabilidad y validez entre ambos sistemas, el estudio subraya la cantidad de «ruido» inherente al proceso de revisión por pares.
Hallazgos del estudio
Los investigadores se sorprendieron por la cantidad de variabilidad entre los revisores, independientemente de si conocían o no la identidad del autor. Según Pleskac, «el efecto más significativo que medimos fue la variabilidad entre revisores». Esta observación pone de manifiesto la necesidad de reformular cómo se diseñan los sistemas de revisión. Aunque los investigadores recomendaron en última instancia la revisión anónima, sugirieron ajustes para mejorar la equidad y el rigor científico, como la implementación de un sistema de lotería que permita seleccionar aleatoriamente entre las mejores propuestas.
El estudio, titulado «Blinded versus Unblinded Review: A Field Study on the Equity of Peer-Review Processes», se publicó el 6 de agosto de 2025 en la revista Management Science. La Sociedad para el Juicio y la Toma de Decisiones ha comenzado a considerar algunas de las recomendaciones, incluyendo la adopción de revisiones anónimas.
A lo largo de la investigación, 112 revisores académicos evaluaron 530 propuestas para la conferencia, siendo asignados aleatoriamente a los sistemas de revisión anónima o no anónima. Para evaluar la fiabilidad de cada proceso, el equipo de investigación asignó un 10% de las presentaciones a revisores adicionales, lo que permitió un análisis más exhaustivo de la validez de ambos sistemas.
Entre los hallazgos, en el contexto de la revisión anónima, los autores asiáticos recibieron calificaciones más altas en comparación con el sistema no anónimo, sugiriendo que la anonimidad puede mitigar sesgos relacionados con la raza o la etnicidad. Sin embargo, en el caso de las autoras mujeres, las puntuaciones fueron más bajas en ambos sistemas, con una diferencia ligeramente mayor en el contexto anónimo. Esto podría reflejar disparidades de género en disciplinas académicas donde predominan temas tradicionalmente masculinos.
Por otro lado, el estatus del autor también jugó un papel significativo. Las presentaciones con coautores senior tendieron a recibir mejores puntuaciones en el sistema no anónimo, mientras que las propuestas lideradas por estudiantes de doctorado o investigadores en etapas tempranas tuvieron una puntuación inferior en el sistema anónimo. Este fenómeno sugiere que los revisores no anónimos pueden estar motivados a ofrecer más oportunidades a los investigadores novatos cuando su estatus es visible.
El estudio concluye que, si bien ambos sistemas presentan un grado de ruido, podría ser beneficioso abrazar esta incertidumbre mediante un sistema de selección aleatoria entre las propuestas mejor valoradas. Pleskac argumenta que «si el proceso es inherentemente ruidoso, deberíamos aprovechar eso», sugiriendo que la ciencia debe ser un campo de exploración que fomente la diversidad de ideas y perspectivas.
