Zasca guapo a la CNEAI

La sentencia del Tribunal Supremo que insta a revisar los sistemas de evaluación de la Comisión Nacional Evaluadora de la Actividad Investigadora ha sido recibida como una oportunidad para contrarrestar la deriva mercantilista de la investigación universitaria. 

Aula universidad
Aula de una Universidad a la caída de la tarde. Foto de Juan Gallo.
Universidad de Extremadura

publicado
2018-08-29 18:30:00

Además de ser una persona de poca fe, gracias a Dios, también soy de los que le cuesta centrarse, que diría Casado. En fin, que llevo dándole vueltas hace algún tiempo para escribir mi reflexión, solo mía eso sí, sobre cuestiones que tienen que ver con liberar a las familias de la compra de libros de textos obligados por la industria editorial, sobre cambios en la Unión Europea en políticas de difusión de ciencia, y muy especialmente en temas de evaluación y valoración de la ciencia, que es en lo que ando ahora más “centrado” cuando me “centro”. Pero hay momentos en los que, sin esperarlo, te llega una alegría, te das cuenta de que existen otras personas en el planeta Tierra que piensan de forma parecida a la tuya, que se pueden ir cambiando las dinámicas y políticas en cuestiones que nos parecen injustas e injustificadas. Hay a quien le pone ganar un mundial de fútbol, como festividad colectiva, yo prefiero otras de contenido más mundanas, de las que llegan a las personas, o al menos, a un colectivo.

Y llego hoy, con mi existencia rutinaria, con los sinsabores que tradicionalmente me tocan, y me encuentro con un pellizco de alegría, con un revolcón intelectual. ¿Cuál? Una sentencia del Tribunal Supremo que da un “zasca guapo” a la CNEAI, y por extensión a la ANECA, y por más extensión a toda la política de evaluación actual que tenemos en este país, y por más más extensión a toda Europa. Quizá no sea para tanto, quizá sea sólo una pequeña batalla ganada, sin embargo creo que es una oportunidad para cambiar los mecanismos interesados y mercantilistas de la evaluación de la ciencia.

[...] creo que es una oportunidad para cambiar los mecanismos interesados y mercantilistas de la evaluación de la ciencia

Te pongo en antecedentes, por si eres nuevo en estos temas. La Agencia Nacional de Evaluación de la Calidad y la Acreditación (ANECA), que se encarga de aspectos relacionados con la evaluación de profesores para el acceso a los cuerpos docentes y es también quien valida los títulos universitarios a todos los niveles (incluidos los másteres de la Universidad Rey Juan Carlos I, examigo especial de Corinna, todo presuntamente), cuenta en su organigrama con una institución denominada CNEAI (Comisión Nacional Evaluadora de la Actividad Investigadora). La CNEAI se dedica, tal y como indica en su web, a realizar “la evaluación de la actividad investigadora de los profesores universitarios y del personal de las escalas científicas del CSIC, con el objeto de que les sea reconocido un complemento de productividad (sexenio)”.

Los sexenios son un complemento económico, y desde el cambio legislativo realizado por el innombrable ministro Wert, un elemento de discriminación, ya que, si un profesor no cuenta con un tramo “vivo” (tienen vigencia de seis años y se analiza con la producción científica de esos mismos años), se le condena a mayor carga de clases (por torpe, por no investigar o por no hacerlo con la “calidad” deseada, elige la lectura que más te guste). Además, desde el cambio realizado en la misma Ley, tener un número de tramos otorga una serie de prerrogativas, como poder presentarte a Rector u otras cuestiones en la organización cotidiana de la Universidad. Por lo tanto, los sexenios te dan, los sexenios te quitan.

¿Cómo se evalúan estos sexenios? A diferencia del acceso a los cuerpos docentes universitarios, en los que se analizan además otros parámetros, se tienen en cuenta la producción científica de seis años. La investigadora decide qué años presenta para ser evaluada, presentando toda la producción y destacando las cinco principales aportaciones que se consideran de mayor relevancia y “calidad”.

[...] la opacidad de cómo se generan estos índices de impacto los hacen sospechoso, teniendo presente además que son empresas privadas con intereses editoriales más que evidente

El problema, o el truco, viene en el cómo se determina la calidad de un trabajo. ¿Creen que la comisión evaluadora, que está especializada por áreas, analiza, lee, estudia los trabajos para determinar la calidad?. “Una ful de Estambúl”. En absoluto. La CNEAI, tras un estudio intenso y sesudo, generó una serie de documentos que marcan los criterios de evaluación para las diferentes áreas del conocimiento, los cuáles normalizan que para tal área se necesita tener un número determinado de publicaciones en revistas que estén presentes en los índices de citas que ellos consideran válidos, a saber: Web of Knowledge de la empresa privada Clarivate y Scopus de la distribuidora de revistas Elsevier (ya saben, lo de los zorros cuidando a las gallinas).

Estos índices cuentan con sesgos muy importantes, tales como que prácticamente te obligan a publicar en inglés al ser el idioma preponderante en las revistas indizadas, que las revistas presentes en estos listados son un número pequeño y exclusivo, donde existen temáticas que están significativamente excluidas (especialmente en Ciencias Sociales y Humanidades), y lo más importante es que se basan en el factor de impacto para determinar cuáles de éstas revistas son mejores o peores, es decir, que dependerá del número de citas recibidas por revista la que posicione a éstas en los índices. Y todo esto a priori, ya que la opacidad de cómo se generan estos índices de impacto los hacen sospechoso, teniendo presente además que son empresas privadas con intereses editoriales más que evidente (Scopus es de Elsevier, Elsevier es una distribuidora de revistas... ergo muchas de las revistas que están en Scopus son de Elsevier. Lógica proposicional de bachillerato).

Da para mucho el índice de impacto, muchos investigadores a favor y otros muchos detractores, pero parece que a los segundos se nos está comenzando a escuchar, en cierta manera. La filosofía open access derivaba de la publicación en línea, las nuevas licencias de distribución de contenidos, las tímidas políticas de difusión de la ciencia en formato abierto, hacen posible que el cambio esté en proceso, un proceso lento, pero en proceso. Declaraciones como las de San Francisco (DORA) ponen sobre la mesa la necesidad de cambiar los criterios de evaluación, de dejar el patrón “índice de impacto” como forma de valorar la calidad de los trabajos de investigación. Y comenzar a tener en cuenta otras formas de difusión más allá del artículo científico, tales como informes, tesis doctorales, actas de congresos, etc., y muy especialmente incluir las monografías, los libros de toda la vida, que quedan fuera de los índices de impacto actuales.

Y después de todo este camino, les cuento la alegría que, para mi sorpresa, me la ha dado el Tribunal Supremo del mismísimo Reino de España. Ojiplático. En sentencia firmada el 12 de junio (N1 de resolución: 986/2018), y enmendándole la plana al Tribunal Superior de Justicia de Madrid, dice literalmente “las aportaciones presentadas por los interesados, no pueden dejar de examinarse sólo por el hecho de que no se publicaran en las revistas o medios incluidos en los índices o listados identificados en la resolución... ni tampoco están excluidos por esa sola razón de la máxima valoración permitida por la Orden de 2 de diciembre de 1994. Dependerá de su contenido la evaluación que merezcan. Y a ello han de referirse el comité de expertos o los especialistas en los informes que emitan al respecto y en los que se fundamente la decisión de la CNEAI”. ¿No les emociona? ¿No se les ponen los pelillos de punta? El Tribunal Supremo le está diciendo a la CNEAI (véase además ANECA) que dejen “la regla” para medir la ciencia, que la fuente de publicación no puede ser el único elemento a tener en cuenta, que se lean los trabajos esos comités de expertos, que valoren si son relevantes o no para su disciplina. ¡Literatura pura hecha sentencia!

Sindicatos, colectivos de investigadores, asociaciones, profesores “solitarios”, hoy estamos de enhorabuena, ya que la tiranía del “factor de impacto” comienza a temblar; sólo nos falta comenzar a ver métodos alternativos de evaluación, fórmulas de difusión que garanticen que el Patrimonio Científico pagado con dinero público vuelva a la sociedad, y no a empresas/revistas privadas. Quizá la fórmula de la evaluación de la calidad la tenemos delante de nuestros ojos hace mucho tiempo, y es volver a la revisión de expertos (por pares, doble ciego, ciego simple, por comisiones, qué se yo), y busquemos alternativas y fórmulas consensuadas para generar políticas (a nivel europeo, estatal y autonómico) que nos den otras buenas noticias, y a ser posible, más a menudo.

5 Comentarios
Presidente de Comité CNEAI 15:26 11/10/2018

Es cierto que la evaluación por el JCR no es lo que debería hacerse. Pero es solo una forma económica de hacerlo. Si nos tuviéramos que leer la demencial cantidad de artículos que se prublican hoy en día, no acabaríamos nunca. Y las reclamaciones y recursos, como los de la enferma mental a que se refiere este entrada, lo único que consiguen es aumentar el trabajo valdío de todos (menos de los jurídicos que cobran).

Y al autor de este zasca, le recomendaría que perdiera menos tiempo en hacer este blog (o en reclamaciones) y más en escribir artículos científico-técnicos que pueda publicar en revistas de calidad.

Responder
1
0
Mariano Vázquez Espí 18:13 18/9/2018

Remito a la gente interesada a mi «Historia de un sexenio. Miserias de la evaluación científica en España» (2/6/2011) Valencia, IV jornadas internacionales sobre investigación en arquitectura y urbanismo, cuyas fuentes encontrará en esta página: http://habitat.aq.upm.es/gi/mve/

Lectura [v20110606 72kb]: http://habitat.aq.upm.es/gi/mve/valencia-20110602-presentacion-texto.pdf
Ilustraciones de la lectura [v20110606 135kb]: http://habitat.aq.upm.es/gi/mve/valencia-20110602-presentacion-ilustraciones.pdf
Texto ampliado de la comunicación [v20110608 714kb]: http://habitat.aq.upm.es/gi/mve/valencia-20110602-textocompleto.pdf

Soy uno de los que ha perdido el recurso contencioso-administrativo por no disponer de tiempo ni de dinero como para seguir recurriendo hasta el supremo. Problemas de la justicia lenta.

En los textos antedichos analizo mucho más en detalle el asunto de la "evaluación", pero quiero aportar aquí brevemente algunas ideas que me parecen claves.

En los viejos buenos tiempos de la Royal Society, la revisión por pares consistía en que por ejemplo Maxwell exponía los contenidos de un "paper" y Joule, Clausius y compañía se ponían a discutirlo (bajo la adusta mirada del ya viejo Faraday). No solo se leían los trabajos: ¡se discutían con el autor! Esta gente cuando va a comprar no mira el envoltorio (el impacto de la revista donde se publica el paper) sino el contenido del paper: ¡puro sentido común! (que, creo yo, no es incompatible con el rigor científico). Mientras esta idea no cale en el conjunto de la sociedad, no hay nada que hacer, ni sentencia que nos alegre la vida. Ni doble ciego ni tonterías semejantes: no sirven para mucho.

Yo mismo he argumentado en favor del número de citas de un artículo. Pero es un error: ¿por qué se cita un artículo? Por variadísimas razones: por ejemplo, para señalar un error. Y si el error ha prendido y se ha constituido en popular, y solo un reducido grupo de personas en el planeta pleita con él, el artículo considerado erróneo puede acabar siendo citadísimo, pero no en razón de su valor, sino de su error (aunque, bien que es cierto, que los errores son valiosísimos, si al final nos conseguimos librar de él).

Por último una idea que creo aplica la sociedad japonesa (maestros en copiar bien buenos inventos de otras sociedades). Puesto que la investigación en los centros y universidades españolas son en buena parte financiadas por la sociedad española ¿no debería exigirse como cosa primerísima que los artículos se publiquen en los idiomas del reino y en revistas editadas en España? Esto también pertenece al sentido común "social" (al menos al japonés): y esto creo que sí, de calar en la sociedad española y entonces en sus representantes partitocráticos, iniciaría un proceso de reconsideración de la evaluación científica en el país, con utilidad para la sociedad misma.

Responder
2
2
L.A.L 10:41 31/8/2018

Buenos días a todos.

Reviste gran interés la nota o comentario que El Salto ha publicado a colación de la sentencia del Tribunal Supremo respecto de los métodos de evaluación del trabajo científico implementados por la CNEAI; no sólo por la temática misma, que a todos los investigadores del Estado español concierne, sino también por el enfoque que se le ha imprimido en la exposición. Del mismo modo que el autor ha querido compartir sus impresiones con los lectores, así yo haré lo propio respecto de qué me han parecido sus palabras en este post.

Pese a lo que aquí se afirma, la sentencia aludida está lejos de constituir un punto de inflexión en lo que concierne a los procedimientos habituales de evaluación de la performance científica; y ni qué decir respecto de la "deriva mercantilista" (¡nada menos!) de la ciencia como tal. Comités de expertos y pares se apoyan progresivamente más, y no menos, en indicadores cuantitativos. Y hay una miríada de ellos, de diferente naturaleza y que miden diferentes parámetros. Que se inste a abandonar el JIF es, desde luego, importante, pero otros vendrán a ocupar su lugar. Las "article-level metrics" están ganando momento actualmente, y no por casualidad. La producción científica no deja de crecer en volumen (acicateada por exigencias de mayor productividad que la misma política científica pública introduce), y el análisis minucioso trabajo por trabajo resulta poco menos que imposible. Hasta el mismo proceso tradicional de peer-reviewing, que el autor de este texto presenta como el "non plus ultra" de la desmercantilización de la ciencia, está viéndose transformado por efecto de esta misma sobrecarga de artículos científicos. Plataformas como Publons o PubPeer así lo constatan. Las revistas ni siquiera necesitan ya un cuerpo de editores asociado a ellas (el llamado "comité científico") que mantener permanentemente movilizado; basta con colgar allí los trabajos, que alguien aparecerá para someterlos a evaluación. Si la sentencia del Supremo, en fin, impone algo, es una nueva traba, una ralentización del proceso de asignación de méritos para los trabajadores del CSIC que no tardará en sucumbir y superarse ante la urgencia de dar más velocidad, y no menos, a los sistemas de evaluación. Y el futuro no se presume más halagüeño que el presente. Mucho me temo que terminaremos por echar de menos el JIF en un tiempo no muy lejano.

El rumor de fondo de este artículo, la idea preconcebida que lo anima, es que la mercantilización de la actividad científica empieza y termina con el hecho de que las revistas científicas estén publicadas por empresas editoriales. Pero se da la circunstancia de que la inversión privada en I+D es mucho mayor que la pública en la mayoría de los países (incluído el Estado español), con una distribución en torno al 60 - 40 entre los dos grandes sectores de financiación. Más aún, las editoriales científicas (y la demoníaca base de datos ahora en poder de Clarivate) nacieron en la época gloriosa de la pingüe financiación pública de la ciencia, allá por los '50 y '60; la forma mercantil del conocimiento científico apenas ocupaba los intersticios de los sistemas nacionales de ciencia y tecnología. Hoy, en cambio, ha ocupado su centralidad. El trabajo científico (cuyo locus son universidades y centros de investigación) tiene por único fin el intercambio de sus productos. La financiación en base a proyectos constata palmariamente este particular. Convertidos en unidades productivas independientes, los Centros Públicos de Investigación quedan en la obligación de intercambiar, incluso con el Estado mismo (preponderantemente con él), para poder reiniciar cada vez el proceso de trabajo. Es el valor de cambio, y no el valor de uso, el que sirve de mediador generalizado de la producción científica. ¿Y qué papel juegan en todo esto las editoriales científicas? Uno bastante reducido, la verdad, por no decir insignificante.

Nada de lo anterior cae bajo el radar antimercantilista del autor, de ahí que su propuesta contra la mercantilización no sea más que una barrera exterior, y, como tal, muy frágil, a la constante penetración del capital en el proceso de trabajo científico, incluso en los CPI. Ni el Open Access, ni, desde luego, una mayor dotación de recursos públicos, va a cambiar tal designio (no lo están haciendo). Cuanto antes se comprenda este extremo, más rápidamente estaremos los trabajadores científicos armados para combatir las causas de la transformación del modelo de financiación de los SNCyT, y no sólo sus manifestaciones fenoménicas.

Responder
0
0
Rubén Alba 7:57 4/9/2018

Aparte de la "deriva mercantilista" y de los propios intereses, también del profesorado universitario...acaso conocéis algún sistema que pueda valorarlo mejor...

Según el Ministerio de Educación, Cultura y Deporte, en “Datos básicos del sistema universitario español del curso 2015-2016“, informe (último hasta la fecha) que con carácter anual desglosa las principales magnitudes de la universidad española, en lo que respecta a sexenios de investigación, el informe desglosa los datos por escala profesional y por ramas del conocimiento. En cuanto a lo primero, los principales datos recogidos en el estudio son:

Catedráticos: el 97,2% de los catedráticos de universidad tienen algún sexenio, la media es de 3,87 sexenios por catedrático.

Profesores titulares: en este grupo nos encontramos con que el 79,9% tiene algún sexenio, situándose la media en 1,71 sexenios por profesor. (podéis ver más información en el informe)

Creo que no son malos números, en cuanto al número de sexenios concedidos por profesor...¿o es que acaso quieren un sistema donde se le conceda a cada profesor su sexenio?

Recordemos también, que para que un artículo sea aceptado, debe pasar primero por un proceso de evaluación por pares (peer review), donde estas editoriales comerciales aceptan o no un paper... ¿acaso no es esto un criterio cualificable? o ¿y si la CNEAI hiciese también un sistema de evaluación por pares para hacerlo más cualificable?...¿acaso no surgirían suspicacias o conflictos de intereses de las diferentes comisiones de evaluación?

Responder
3
0
L.A.L. 12:59 10/9/2018

Aunque el artículo lo proponga como alternativa deseable a la "deriva mercantilista" que, presuntamente, introducen las revistas científicas por ser propiedad de empresas editoriales, el debate no se focaliza en el peer-reviewing, en si es mejor o peor procedimiento que los actuales (que, muy acertadamente, señalas que también se sostienen en base a ese mismo sistema), o en las implicaciones postreras de una (re)adopción masiva. Para el autor, esto está fuera de discusión, pues da por sentado que la constitución de comités de evaluación para los trabajos mejoran ostensiblemente el cifrar la decisión a los indicadores cualitativos. Esto es discutible, claro, pero ni siquiera es lo importante.

A mi juicio, el basamento teórico que anima este texto plantea dos graves problemas: 1) parte de una premisa falsa, a saber, que el problema de la "mercantilización" de la ciencia (sea lo que fuere para el autor, pues tampoco lo especifica) se circunscribe al predominio de cuatro grandes editoriales sobre el conjunto de las revistas científicas, y, por ende, sobre el sistema de diseminación científica formal, esto es, que emplea los medios tradicionales para poner en conocimiento los resultados de la investigación. Por eso es que habla de "zasca" (por cierto, vaya modo vulgar de expresarse...) y vaticina un futuro fulgurante para la academia gracias a la decisión judicial, liberada ahora del yugo de Elsevier, Springer, etcétera; 2) al no atender a la verdadera realidad del trabajo científico contemporáneo, ese futuro que preconiza es absolutamente quimérico. Si hasta las mismas revistas científicas están dando cada vez más uso de plataformas como Publons o PubPeer, a fin de ahorrarse los costes asociados a mantener una cartera de revisores a los que han de pagar... ¿acaso es posible creer que la CNEAI, o la ANECA, van a renunciar tan alegremente a los indicadores cuantitativos para informar sus decisiones? No es materialmente viable; no es posible poner a dos referees a analizar minuciosamente los cinco últimos trabajos de todos y cada uno de los investigadores que deseen obtener sexenios en todo el Estado español, en volumen creciente. No es que el peer-reviewing vaya a solucionar todos los problemas de la academia, es que el mismo sistema de pares, tal y como lo conocemos, está llamado a la extinción. Pretender cualquier otra cosa es, lisa y llanamente, un absurdo.

Saludos.

Responder
3
2

Destacadas

Huelga feminista
La campaña #8MJoTambéTallo denuncia la criminalización de la huelga feminista y llama a desobedecer ante las sanciones

Las multas a varias mujeres por acciones realizadas durante la huelga feminista en Catalunya ponen en alerta a algunos colectivos, que lanzan una campaña para “cortar” con la criminalización. El Espai Feminista de Sants pide el respaldo de las organizaciones que apoyaron la huelga feminista para hacer visibles las sanciones a las activistas. 

Historia
Un atentado en busca de autor: engaños sobre la bomba en la calle del Correo

La semana pasada, ETA asumió en su último boletín interno la autoría del atentado de la calle Correo. Una bomba que atentó contra civiles y —eso se supo más tarde— contra varios miembros de la Brigada Social del Franquismo. El régimen intentó involucrar al PCE en esa explosión.

Tribuna
Terminator y la distopía 4.0

La robotización o la digitalización pudieran aparecer como la solución a muchos de nuestros problemas, sin embargo, son presentadas, representadas, como auténticas amenazas con las que resulta inútil combatir.

Humor
Isa Calderón y Lucía Lijtmaer: “El ‘ofendidito’ es una categoría machista que se utiliza para ridiculizar la protesta”
Isa Calderón y Lucía Lijtmaer presentan, escriben, producen y financian Deforme Semanal, un show de humor que llena teatros con un espectáculo que tiene como palabras clave “feminismos” e “izquierda”.
Salarios
Dos millones de asalariadas cobran menos de 864 euros al mes

El empleo a tiempo parcial y la brecha salarial sitúan a más de un 40% de las mujeres trabajadoras en las tres décimas partes de asalariadas con peores sueldos. Desde el sábado 10 de noviembre las mujeres españolas trabajan “gratis” por la diferencia de retribución entre trabajadores y trabajadoras.

Racismo
Colectivos racializados encabezan la marcha del 11N contra el racismo institucional
Por segundo año, colectivos racializados encabezan una manifestación en denuncia del racismo institucional

Últimas

Cine
Festival L’Alternativa: 25 años de hermanamiento entre vanguardia formal y sensibilidad política

Los responsables del certamen de cine L’Alternativa, en Barcelona, llevan más de dos décadas abriendo ventanas a un cine aventurero y agitador de conciencias. A lo largo del camino han resistido a unos duros recortes presupuestarios que la presunta recuperación económica no ha revertido.

Fútbol
Goles por encima de la valla

Fundado en 2015 en Jerez, el club Alma de África está formado mayormente por inmigrantes que buscan su identidad a través del fútbol. Han conseguido dos ascensos y numerosos reconocimientos por fomentar la integración.

Educación pública
La comunidad educativa extremeña reclama medidas para climatizar las aulas

Tras la propuesta de Ley presentada por Podemos para acondicionar los centros educativos extremeños mediante técnicas bioclimáticas, las comparecencias de los colectivos y expertos del sector revelan deficiencias en los colegios e introducen medidas para combatir las temperaturas extremas.

Contaminación
Fosfoyesos, los lodos que contaminan Huelva
Huelva vive pendiente de la decisión que se tome acerca de las balsas de la discordia. La cuestión es si Fertiberia los va a retirar o los cubrirá con una capa de tierra.
Sindicatos
300 feministas piden la retirada de la demanda para ilegalizar el sindicato OTRAS
Amaia Pérez Orozco, Justa Montero, Elena Poniatowska o Isabel Coixet apoyan el manifiesto para pedir que se retire la demanda para ilegalizar OTRAS.