Existen varias formas de evaluar los artículos científicos. El más sencillo de ellos consiste en que los editores de la revista seleccionen los artículos más interesantes. Este proceso es excesivamente subjetivo y puede estar sometido a grandes sesgos, estando actualmente en desuso. El tipo de revisión más empleada en las revistas científicas es el que se basa en el sistema de 'Peer-review' o revisión por pares. Este proceso de revisión por pares no debe ser confundido con la revisión técnica que realiza el equipo editorial. Dentro de esta revisión técnica se incluirían aspectos como la comprobación de que el artículo remitido cumple las normas requeridas por la revista en cuanto a extensión, número de figuras, formato de las referencias.... Además existe otro método 'mixto' que se sitúa a medio camino entre los dos previos, el denominado 'early editorial manuscript screening' o valoración inicial de los manuscritos por el equipo editorial. Consiste en que los editores tienen potestad para rechazar artículos sin que entren en el proceso de revisión por pares en el caso de que, haciendo una valoración cuando los trabajos entran en el sistema de revisión, consideren que son de una calidad inferior a la deseada. Se ha demostrado que el impacto de los artículos aceptados mediante este sistema no difiere del conseguido por la revisión por pares convencional. Sin embargo el número de días y el número de revisores que se requiere por término medio para cada artículo, se reducen significativamente. El porcentaje de aceptación sería similar al conseguido mediante revisión por pares.
La gran mayoría de las revistas científicas emplean el proceso de revisión por pares para la selección de artículos. Cuando se emplea este sistema, además del equipo editorial, es imprescindible la figura del revisor. Los revisores o evaluadores son personas expertas, ajenas al equipo editorial, que hacen una revisión crítica de los artículos. El proceso de revisión por pares consigue aumentar la calidad del artículo científico antes de ser publicado, detectar errores y orienta al editor hacia una decisión final. Es decir, la decisión de si un artículo va a ser publicado, aunque finalmente corresponde a los editores, es directamente influenciada por los evaluadores.
Cuando un artículo científico llega para ser evaluado a una revista y supera la supervisión técnica, pasa a ser manejado por el equipo de editores. Los editores se encargan de hacer una valoración inicial, evaluando si el artículo es acorde a los objetivos de la revista, su originalidad, los métodos empleados, la relevancia de los hallazgos y la presentación. Los editores intentan descartar la existencia de cualquier tipo de fraude como el plagio, la redundancia, la falsedad de datos o el incumplimiento de normas éticas, pero es importante destacar que los autores del trabajo son los únicos responsables del contenido del mismo.
Cada revista escoge el número de revisores que valora cada artículo. Ello varía en función de las posibilidades de la revista y de la dificultad técnica del artículo, siendo dos el número más frecuente. Los revisores son expertos en el tema que ocupa el trabajo aunque no es infrecuente que alguno de ellos pueda ser experto en epidemiología o metodología. Las revistas suelen tener un grupo de revisores clasificado en función de sus conocimientos y posibilidades, aunque suele ser una lista flexible. En algunas revistas, los propios autores son capaces de sugerir potenciales revisores y de solicitar que su trabajo no sea evaluado por determinadas personas, en base a tratar de evitar potenciales sesgos que pudieran influenciar en la evaluación más allá de los estrictamente científicos.
El revisor, al completar su evaluación, emite un informe que suele tener dos apartados. En uno de ellos el revisor hace todos aquellos comentarios que quiere hacer llegar a los autores del trabajo. Aquí caben todas aquellas sugerencias que ayuden a mejorar el manuscrito, felicitaciones y limitaciones que plantea el revisor a los autores. En otro apartado, el revisor puede escribir comentarios para el editor, sabiendo que estos son confidenciales y no serán leídos por los autores.
En cuanto a la selección de los revisores, se ha demostrado que cuando son seleccionados por el editor las revisiones no son de mayor calidad, no existe un ahorro de tiempo y es más probable que la decisión sea rechazar el trabajo que cuando los revisores son sugeridos por los autores. También se ha demostrado que la calidad de los artículos que llegan a ser publicados en una revista es similar si los revisores son seleccionados por los editores o sugeridos por los autores. Es, por tanto, responsabilidad del equipo editorial intentar buscar el mejor de los equilibrios a la hora de seleccionar los revisores para que las evaluaciones de los manuscritos sean científicamente justas. Otra cuestión que se plantea es cómo descubrir quiénes son los mejores evaluadores. Podemos encontrar trabajos que nos muestran que los revisores más jóvenes asociados a instituciones académicas, realizan las revisiones de mayor calidad. Por otra parte las mujeres jóvenes suelen ser las que tienen una mejor respuesta.
Un aspecto conflictivo es si debe existir anonimato y de qué tipo. En un modelo no anónimo el revisor conoce quienes son los autores del trabajo y los autores conocen quien ha hecho la evaluación. Otro modelo consistiría en que el revisor conoce quienes son los autores, pero los autores no saben quién ha evaluado su manuscrito. Este es el modelo más frecuente en las revistas de ciencias médicas. El tercer modelo sería, el modelo de anonimato total. En él, el revisor desconoce quiénes son los autores del trabajo y los autores no saben a quién ha correspondido evaluar el mismo. También existe debate acerca de si los revisores deben ser entrenados para desarrollar su papel o no, considerando que son expertos en el tema. Existen datos publicados que muestran que el entrenamiento de los revisores tiene poco impacto en la calidad de los artículos aceptados, no se consigue una mayor detección de errores graves aunque si aumentan las decisiones de rechazos de trabajos.
Los revisores suelen ser evaluados por el equipo editorial, teniendo en cuenta el número de trabajos que se les ha asignado, el tipo de trabajo para evaluar, el tiempo desde que son invitados a hacer una revisión y aceptan, el tiempo desde la aceptación al envío de la evaluación y la calidad de la evaluación. La mayor parte de los revisores no perciben remuneración económica por este trabajo, sino que lo hacen de forma completamente altruista. En algunas revistas se trata de premiar ese trabajo incluyendo a los revisores en listas de reconocimiento, en el comité editorial, otorgándoles créditos de formación o bien con algún nombramiento tipo 'revisor de élite'.
Ya se ha hablado anteriormente de las ventajas del proceso de evaluación por pares, pero este método también tiene limitaciones. Se trata de un método poco reproducible y muy subjetivo, ya que puede existir poco acuerdo entre los diferentes revisores. Por otra parte, se trata de un método que puede estar sometido a muchos sesgos personales. También tiene limitaciones a la hora de detectar defectos graves, es muy poco eficaz para detectar el fraude científico y supone una carga importante de trabajo por parte de los revisores. No elimina la posibilidad de que los que participan en el proceso cometan abusos y la limitación más importante: No es un método basado en la evidencia científica. Este último punto es paradójico, ya que el método empleado para publicar trabajos que serán la base de la evidencia científica, no está basado en la misma. Pese a ello, es el método más reconocido y empleado en la comunidad científica internacional.