El día 23 de noviembre de 2015 en el Centro de zona de la UNED Escuelas Pías, calle Tribulete, 14 de Madrid y organizado por la CRUE, Universidades Españolas, se celebró el Seminario "Ten en cuenta los rankings, nos están diciendo algo" . Acceso a la grabación del acto en la cuenta de Youtube de la CRUE

La jornada se estructuró en dos conferencias y una mesa redonda; la primera conferencia,  a cargo de Tia Loukkola, Directora de Desarrollo Institucional de la European University Association (EUA) y la segunda, por parte de Félix de Moya Anegón, investigador del Grupo SCImago. La mesa redonda estuvo moderada por Francesc Xavier Gray, de la Unversitat Rovira i Virgili y compuesta por Carmen Pérez Esparrells, de la Unversidad Autónoma de Madrid y Elías Sanz Casado, de la Unversidad Carlos III de Madrid y director del Instituto Interuniversitario "Investigación Avanzada sobre Evaluación de la Ciencia y la Universidad" (INAECU) (UAM-UC3M)

La jornada la inauguró Juan Juliá Igual, Vicepresidente Ejecutivo de CRUE que hizo una pequeña presentación del tema, los rankings universitarios. Según él, los rankings han venido para quedarse, aportan visibilidad y hay que tenerlos en cuenta, de ahí el título del seminario. Pero también hay que saber interpretarlos porque pueden tener distintas lecturas y se pueden interpretar de distintas maneras.

A continuación toma la palabra Francesc Xavier Gray de la Universitat Rovira i Virgili. En primer lugar da las gracias a la CRUE por encargarle la realización del seminario sobre este tema que le interesa mucho. Según él, a pesar de los defectos que se les pueden achacar, proporcionan una información muy interesante. Hay que tenerlos en cuenta porque es provechoso para nuestra universidad. Para él, lo importante para la universidad es ser relevante: tener impacto y de ello deriva todo lo demás.

También dicen unas palabras de presentación el Presidente de la CRUE, Manuel J. López y Alejandro Tiana, Rector de la UNED.

1ª Conferencia:

"Impacto de los principales rankings universitarios globales" Tia Loukkola. Modera Juan M. Viaño, Rector de la Universidad de Santiago de Compostela.

La presentación de Tia Loukkola se desarrolla desde la perspectiva europea con la presentación de los distintos  informes redactados por la UEA sobre los rankings universitarios.

En primer lugar recomienda leer y comprender bien la metodología y tener en cuenta algunas consideraciones: para los distintos grupos (estudiantes, responsables políticos, dirigentes universitarios, comunidad académica) los rankings tienen diferentes formas de impacto e independientemente de las críticas que puedan recibir, han hecho que prestemos más atención a las universidades. Han promovido la recopilación y publicación de datos nacionales en el ámbito de la educación superior y la búsqueda de definiciones comunes para los indicadores. Además, al no haber estudios europeos sobre universidades o sistemas universitarios, se usan con varios propósitos:

• Las instituciones de educación superior los usan para evaluaciones comparativas, benchmarking, para la realización de informes que apoyen la toma de decisiones institucionales, para desarrollar materiales de marketing, para promocionar la imagen institucional, el intercambio de estudiantes, etc.
• Para vigilar y supervisar estos rankings, se han creado unidades especializadas en ellos en las universidades, en general no como tarea a tiempo completo, sino combinadas con otros trabajos.
• También han servido para clarificar el perfil institucional y adaptar las actividades básicas, así como para mejorar la recopilación de datos institucionales, un tema importante en la universidad española que ha representado un gran esfuerzo en trabajo y tiempo. Al principio ni siquiera disponíamos de datos fiables.

Pero también los rankings han tenido resultados inesperados:

• Inmigración: en algunos países como Holanda o Dinamarca se prima a inmigrantes que procedan de universidades que tengan una buena posición en los rankings.
• Becas: concedidas por los gobiernos sólo a universidades bien clasificadas.
• Consorcios y asociación: por ejemplo, las universidades en la India sólo se asocian con instituciones también en buena posición.
• Otro aspecto ha sido la fusión en algunos países europeos de varias universidades con el propósito mejorar los puestos en los rankings (Francia, Finlandia).

En conclusion, según el informe "Rankings in Institutional Strategies and Processes (RISP) (2012-2015)"

• Las instituciones necesitan mejorar la capacidad para generar información y datos exhaustivos de alta calidad
• Los rankings pueden ser un ingrediente importante en la planificación estratégica pero es vital que las instituciones sigan siendo fieles a su misión.

El informe acaba con una guía de cómo deben usar los rankings las instituciones y dos reflexiones: hay que pensar bien el uso que se hace de los rankings y reflexionar sobre la necesidad  de un dataset común internacional o al menos europeo.

Las preguntas al final de la conferencia fueron variadas:

¿Por qué no se habla en los informes, ni ha mencionado en su conferencia Tia Loukkola los aspectos éticos ni las malas prácticas de varias universidades, pagando a investigadores de prestigio para que sus publicaciones aparezcan con sus siglas, comprando posiciones en los comités de expertos, etc.?

Loukkola contesta que lo decidieron así. Tenían que centrarse en un aspecto y el elegido fue la metodología, aunque han tenido significativas discusiones sobre los aspectos éticos. Por ejemplo, las instituciones proporcionan los datos con los que se elaboran los rankings pero luego hay que comprar los productos a las empresas que los realizan.

 Otra pregunta es por qué la EUA ha evitado hablar sobre las políticas universitarias de los países y no ha hecho informes que facilitaran el benchmarking, una de las razones por la que los rankings han suplido esta carencia. Ella está de acuerdo en ello y vuelve a explicar que decidieron centrarse en la metodología.

A la pregunta de cuál es el mejor ranking contesta que todos tienen fallos, por lo que pensaron hacer un ranking de rankings, pero al final la idea no se llevó a cabo.

2ª Conferencia:

"SCImago Institutions Ranking. La investigación en los rankings" Félix de Moya Anegón, Grupo SCImago Institutions Ranking. Modera Juan Gómez, Rector de la Universidad de Jaén.

Félix de Moya en primer lugar nos presenta SCImago y sus proyectos,  SCImago Journal & Country Rank (SJR) y SCImago Institutions Rankings (SIR).

Según Moya, al hablar de rankings hay que hacer unas consideraciones previas ya que los sistemas universitarios son muy heterogéneos, hay unas diferencias abismales entre ellos, así se debe distinguir entre:

• Rankings nacionales o regionales frente a los globales
• Rankings holísticos frente a especializados
• Caracterización frente a ranking

Surgen también problemas con la desambiguación y fiabilidad de los datos, así como con la homogeneización y la ponderación de los indicadores. Por ejemplo, es muy difícil aunar internacionalmente el término "profesores a tiempo completo" porque tienen consideración distinta según los países y contemplan escenarios muy diversos.

SCImago mide la excelencia y el liderazgo en un campo científico, país o institución. Caracteriza el resultado de la investigación y sus indicadores son representativos de las capacidades (impacto). Su foco es sólo la investigación e incluye todo tipo de instituciones de investigación, no sólo las académicas.

Por tanto los indicadores miden:

• Factor de investigación (tamaño, colaboración internacional, impacto normalizado, publicaciones de alta calidad, ratio de excelencia, etc.)
• Factor de innovación: el conocimiento innovador (la producción científica de una institución citada en patentes, algo muy importante ya que en España podemos patentar poco, pero nuestras publicaciones y conocimiento puede estar sirviendo para patentes en otros países e instituciones) y el impacto tecnológico
• Factor social: tamaño de la web (número de páginas asociadas a la URL de la institución de acuerdo con Google) y "Enlaces entrantes al dominio" (número de enlaces entrantes al dominio de la institución de acuerdo a ahrefs)

Mesa Redonda:

"Situación actual de las universidades españolas en los rankings globales" Moderó Francesc Xavier Grau y participaron Carmen Pérez Esparrells de la UAM y Elías Sanz Casado director del INAECU

Toma la palabra Carmen Pérez Esparrells y habla sobre "Reflexiones a la vista de la posición de las universidades españolas"

Su objeto es revisar la posición en los rankings globales de las mismas y analizar el puesto de las universidades españolas a lo largo de estos años.

Si en 2004 eran 10 universidades españolas las que se encontraban entre las 500 primeras universidades del mundo en los rankings ARWU y QS, en 2015 son 25 entre las 800 primeras de varios rankings: ARWU, THE y QS.

Después de presentarnos la evolución de las universidades españolas en los distintos rankings durante estos últimos 11 años llega a las siguientes conclusiones:

• Los rankings globales están centrando su atención en un mayor número de universidades (también las universidades privadas), aumentando la visibilidad de todo el Sistema Universitario Español.
• Se están utilizando para ver el posicionamiento de las universidades españolas en cada dimensión y poder hacer benchmarking con universidades semejantes.
• Caracterizan y reconocen la diversidad de las universidades españolas: destacan su desempeño y especialización docente, investigadora e innovadora.

En cuanto a los mismos rankings universitarios globales, Carmen Pérez Esparrells considera que están configurando el llamado "mercado global" de la educación superior, según ella:

• Hay más universidades y por tanto más competidores. Los que hacen los rankings más influyentes a nivel mundial están ampliando el abanico de universidades que "clasifican" y, por tanto, que compiten entre sí.
• La reputación se retroalimenta. Cuanto más relevancia, más destacan en medios de comunicación y más suben.
• Hay más consultoras, es decir más empresas que elaboran de rankings: hay más competencia entre ellas y nuevas metodologías.
• Aparecen más productos, más dimensiones y desagregaciones.

Por último, llega a las siguientes reflexiones:

• Las universidades españolas han conseguido estar mejor situadas que hace una década, con mayor número de universidades por debajo del Top-500.
• La educación superior ha pasado a ser un tema de primer orden en la agenda política de los países. Se compite por mantener un mayor número de universidades en las primeras posiciones.

A continuación toma la palabra Elías Sanz Casado, de la Universidad Carlos III de Madrid y director del INAECU.

Elías Sanz Casado nos presenta un análisis de las posiciones en los rankings globales de las universidades españolas: se sitúan en una posición superior a la media del 5 grupo en publicaciones recogidas en la Web of Science y una universidad en la media del grupo 1 y claramente inferior a la media del grupo 5 en presupuesto tanto total como en investigación. La financiación de las universidades españolas es muy baja pero son eficientes en su producción científica total y también en la de más prestigio, aunque la posibilidad de incluirse entre las 100 primeras por ejemplo en el ranking de Shanghai es baja, por el requisito de tener premios nobel, tanto entre sus alumnos como en su personal.

A pesar de ello, existen una serie de estrategias. Sus recomendaciones para mejorar el posicionamiento son las siguientes:

• Aumentar las publicaciones en las revistas Nature y Science y en las recogidas por la Web of Science.
• Mejorar la identificación de los autores y que estén correctamente vinculados con su universidad.
• Mejorar la colaboración nacional e internacional, atraer talento e incentivar al profesorado que publique en revistas de prestigio.

Se abre un turno de preguntas para los dos ponentes en el que se discuten distintos temas: la cuestionable metodología de los rankings (ambos están de acuerdo), la importancia de la transferencia del conocimiento en los mismos (aunque ha aumentado sigue siendo baja), cómo aumentar la reputación participando y formando parte de los entrevistadores e investigadores de prestigio empleados por los rankings (tema de difícil solución).

Como conclusión y a pesar de los aspectos negativos hay que tener en cuenta un aspecto muy importante. Por ejemplo, aunque Estados Unidos tenga universidades buques insignia que acaparan los primeros puestos en los rankings, sólo el 5% de sus universidades están el Top 500, mientras que en el mismo tramo, podemos encontrar el 25% de las universidades españolas.

Para finalizar, toma la palabra Francesc Xavier Gray de la Universitat Rovira i Virgili para presentar su publicación "Rankings : impacto científico y sistemas universitarios". CRUE, Universidades Españolas, 2015, que se puede consultar aquí:

http://www.crue.org/Publicaciones/Documents/MONO_RANKING_WEB.pdf