El día 30 de mayo, tuvo lugar en la Facultad de Humanidades de la UNED un Seminario sobre evaluación de la actividad investigadora titulado Análisis de la investigación y la evaluación: desde los rankings hasta los indicadores, organizado por Thomson-Reuters, FECyT y el Consorcio Madroño. Puede verse un vídeo en Youtube de toda la jornada.

Tras un acto de introducción y presentación de la jornada, intervendrían como principales ponentes, Philip Purnell y Daniel Torres-Salinas.

1. Presentación de la Jornada.

Ianko López aseguró que sólo es posible mejorar lo que se puede medir.

Cristina González Copeiro, de la FECyT, proporcionó datos sobre la licencia nacional de la WoK: 208 instituciones en 2011 de las que 74 son universidades y 116 pertenecen al CSIC, que han realizado más de 8 millones de consultas; de las que 2.185.660 provenían de Madrid. La Universidad Autónoma, la Politécnica y la Complutense se encuentran entre las 10 primeras del ranking total. También subrayó el incremento de publicaciones españolas en WoS.

Sebastien Vellay, de Thomson, destacó cómo la WoK sirve para todos los estadios que consideró como parte del ciclo de la investigación: Buscar y descubrir --> Autoría y colaboración --> Publicación y presentación --> Análisis y evaluación. Destacó EndNote y ResearcherID (relacionados con el segundo estadio) y lo que llamó plataforma de análisis de la investigación (Research Analytics Platform) compuesta por InCites, Research in view y Custom Services.

2. Philip Purnell. News trends in tracking Research Output, Collaboration and Performance.

Philip nos proporcionó grandes cifras: 52 millones de papers, 900 millones de citas, 250 categorías, 115 años de cobertura. Comentó cómo se recogen revistas, proceedings, libros (que reciben citas de los anteriores) y patentes.

La mayor parte de las citas se dan en el 40% de las revistas. Ellos indexan los más importantes e influyentes, tras un proceso de selección en el que participan unas 2.500 revistas cada año, de las que entre el 10 y el 12% son aceptadas.

Menciona algunos criterios de calidad de las revistas que son tenidos en cuenta en esa evaluación, como las normas del editor (revisión por pares... muy importante que estén los datos bibliográficos en inglés), la diversidad (internacional, influencia regional de autores, editores...) y el análisis de citas (cuál sería el índice de impacto si se indizara: si se ubica en el tramo medio se acepta. Si es el primer número de una revista se analizan los autores y editores que participan).

Se recoge la producción en 31 idiomas, de más de 6.000 universidades. La presencia española es una de las que más se ha incrementado en los últimos 5 años: de 54 a 166 revistas y unos 857.888 trabajos en WoS.
Las fuentes de datos son todos los artículos, todos los autores y todas las direcciones. Lo que supone dar una consistencia mayor (que es la clave de la validez), lo que seguramente es la razón de que sea utilizada por muchas agencias de evaluación.
Con respecto a los autores, apunta cómo Medline durante mucho tiempo sólo utilizaba el primer autor.

El ranking español está encabezado por la Medicina Clínica, la Química, la Física y la Ingeniería; siendo las Ciencias Agrícolas la que más impacto tienen. Explica cómo las diferentes ramas no pueden analizarse entre sí, ya que el mismo número de citas en un área no tiene la misma importancia que en otra.

Nos indica que Incites sirve para:

• Identificar las fuentes de financiación.
• Ranking universitarios, con 560 universidades y hasta 100 indicadores, mostrando un ejemplo de la UCM para 2009.
• La evaluación de investigadores. Recuerda que las personas no tienen índice de impacto: son las revistas las que lo tienen. Por eso hay que mirar cada artículo.
  A través del ResearcherID, cuyo número sirve para el CV, podemos saber con quién trabaja, dónde se encuentran, quién los cita, desde dónde.
  Nos permite ver cuáles son los Departamentos más destacados.
• Conocer la colaboración internacional. España ha subido mucho en este aspecto, alcanzando el 50% y situándose en un ranking medio, que está encabezado por Dinamarca, Corea del Sur, Austria y Escocia.
  Con quien más colabora España es con Estados Unidos (10% en 2001-2010), Francia, Inglaterra, Alemania, Italia y Holanda.
• Preparar nuestros propios informes.

 Después hace menciones a:

• Book Citation Index, añadido hace 6 meses, que cierra el bucle con respecto a las fuentes incluidas.
• Research in View, que es un sistema de información sobre la investigación actual (CRIS: Current Research Information System) que permite incluir todas las actividades (60) de una persona en su entorno de investigación; recopilando todas las fuentes de datos del perfil del investigador (algo similara a un CV) pudiendo añadir la información desde ResearcherID. El sistema se vuelve más inteligente con un mayor uso [como la minería de datos que utiliza Google en sus búsquedas y otras compañías en us ámbito].
• CERIF (EuroCRIS), que proporciona plantilla específicas para departamentos, disciplinas...

 3. Daniel Torres-Salinas. Ranking I-UGR de Universidades.

Daniel Torres-Salinas nos presenta este ranking que no es sino el Ranking ISI de Universidades que había creado el Grupo EC3 de Granada y que cambia de nombre al mismo tiempo que añade algunas características. Sería lanzado (ya lo ha sido) el 7 de junio (como se ha podido comprobar en distintos foros).

Daniel nos va paulatinamente aclarando de qué trata este ranking (y por tanto de qué no), por ejemplo:

• Es un ranking de investigación (no sobre docencia, sobre transferencia de la investigación, o cualquier otra cuestión)
• Está basado en revistas (y no en ningún otro documento).
• Sólo obtiene los datos de universidades españolas: no aparecen apenas en los rankings internacionales.
• Que tiene en cuenta los campos y disciplinas científicos. Lo que hace este ranking totalmente diferente: no hay rankings nacionales que estudien las universidades por áreas temáticas. Ha hecho un intento IUNE con su beta.
  ¿Por qué tener en cuenta los campos y disciplinas? Porque tienen perfiles diferentes, con comportamientos diferentes, como las propias universidades.
• Que analiza los datos agrupados en quinquenios y décadas.
• Que utiliza como fuente de datos el WOK (Web of Knowledge) que reúne la WoS (Web of Science) que cuenta con 3 índices de cita y los JCR (Journal Citation Reports).
  Es tenida en cuenta por la CNEAI, también por la OCDE, NISTEP (Japón), NSF (USA), Reino Unido...
  También por algunos rankings universitarios internacionales como el de Shangai o THE.
  Siguen un proceso de selección riguroso, que recoge aproximadamente 12.000 revistas científicas de un total de unas 120.000.
• El índice es compuesto (IFQ²A), síntesis de 6 diferentes indicadores con dos dimensiones (cualitativa y cuantitativa), que han sido escogidos tras diferentes estudios sobre su comportamiento, con correlaciones, análisis de componentes principales... Por ejemplo se aprecia que no hay una correlación alta entre los cuantitativos y los cualitativos. Se compensan unos con otros.
  Además del índice se pueden analizar los índices de manera individualizada (para conseguirlo, ahora es necesario registrarse: se hace desde dentro de la aplicación cuando se están viendo los resultados globales, mediante un botón VER INDICADORES).
  Los indicadores son (en cursiva los cualitativos):  

• NDOC: Número de documentos
• NCIT: Número de citas
• H: Índice h
• TOPCIT: Inclusión entre el 10% más citados
• 1Q: Ubicación en el primer cuartil
• PCIT: Porcentaje de citas de documentos citables

Es necesario aclarar que al tomar los datos de la WoK los campos y disciplinas son los que aparecen en dicha fuente y no otros, con los mismos problemas por tanto al identificar campos como "Otras ciencias sociales". Ahora mismo tienen en cuenta 12 campos científicos y 37 disciplinas científicas (18 nuevas en la versión de 2012).

La consulta puede hacerse de diferentes maneras:

• Datos de todas las universidades españolas en un año. Suelen crear un documento exprofeso: el de 2012.
• Datos individuales de cada universidad: mostrará la posición de la universidad en cada campo y disciplina
• Comparación entre universidades: permite establecer una comparación entre dos, con varios pasos en los que se elige: universidades, campo o disciplina y periodo. Puede verse un ejemplo con dos diapositivas que utilicé dentro de un curso el año pasado.