Indicadores de calidad en edición académica

Quality indicators in academic publishing

 

Anabel Bonilla-Calero

abonilla@aneca.es

http://orcid.org/0000-0003-2588-9769

Jefa del Programa de Sellos Internacionales de Calidad de ANECA

Miembro de la Comisión de Seguimiento del Sello de Calidad Académica (CEA-APQ)

David Carabantes-Alarcón

dcarabantes.ext@aneca.es

http://orcid.org/0000-0001-9897-4847

Secretario de la Comisión de Acreditación Eurolabels de ANECA

Evaluador del Sello de Calidad Académica (CEA-APQ)

Miguel Ángel Sastre-Castillo

msastre@aneca.es

http://orcid.org/0000-0003-0163-5692

Director de Evaluación de Enseñanzas e Instituciones de ANECA

Miembro de la Comisión de Seguimiento del Sello de Calidad Académica

 

Resumen

El Sello de Calidad de Edición Académica creado por ANECA, FECYT y UNE tiene como objetivo promover el uso de indicadores en los procesos de evaluación más ajustados a todas las características de las investigaciones de cada disciplina, así como estimular la calidad en la edición académica mediante el reconocimiento de las mejores prácticas dentro de la edición universitaria española y convertirla en un signo distintivo que, tanto las agencias de evaluación de la actividad investigadora como la comunidad académica y científica, puedan identificar fácilmente. Hasta la fecha 39 colecciones de 21 editoriales diferentes han obtenido el Sello en las dos convocatorias celebradas hasta el momento. Estos resultados deben mantenerse actualizados, teniendo en cuenta que el mundo de las monografías es muy dinámico.

Palabras clave

Edición académica, indicadores de calidad, acreditación profesorado.

Abstract

The label of Quality of Academic Edition created by ANECA, FECYT and UNE aims to promote the use of indicators in the evaluation processes more adjusted to all the characteristics of the investigations in each discipline, as well as stimulating quality in the academic edition by recognizing the best practices within the Spanish university edition and converting it into a distinctive sign that both the evaluation agencies of the research activity and the academic and scientific community can easily identify. To date, 39 collections from 21 different publishers have obtained the label in the two calls held so far. These results must be kept updated, taking into account that the world of monographs is very dynamic.

Keywords

Academic edition, quality indicators, teacher accreditation.

Recibido: 2/06/2019 Aceptado: 23/06/2019 DOI: https://dx.doi.org/10.5557/IIMEI10-N18-001028 Descripción propuesta: Bonilla-Calero, Anabel ; Carabantes-Alarcón, David ; Sastre-Castillo, Miguel Ángel, 2019. Indicadores de calidad en edición académica. Métodos de Información, 10(18), 1-28

 

Introducción

En este contexto se ubica el principal objetivo de este estudio: analizar la calidad en edición académica con el objetivo de poder incrementar su importancia en los procesos de evaluación, que se desglosa en los siguientes objetivos:

• Presentar el contexto de la calidad en edición académica.


• Mostrar el origen y criterios del Sello en Edición Académica para facilitar una guía que pueda utilizarse como soporte y asesoramiento por las editoriales que soliciten este Sello.


• Identificar los nuevos cambios establecidos en la tercera convocatoria tras la revisión de su procedimiento e indicadores por todos los agentes implicados en él.

La técnica empleada para el desarrollo de este trabajo ha sido la técnica de investigación documental sobre la calidad en edición académica, que comprendió la recolección de la información procedente de documentos publicados en revistas y presentados en páginas web, a través de la búsqueda en diferentes bases de datos bibliográficas internacionales. Las bases de datos seleccionadas para la consulta han sido las siguientes: DOAJ: Directory of Open Access Journals, que es un directorio internacional de revistas en acceso abierto creado y mantenido por Lund University Libraries de Suecia que recoge más de 600.000 documentos científicos a texto completo de Humanidades, Ciencias Sociales, Ciencia y Tecnología procedentes de 119 países <http://www.doaj.org/>; REDALYC, que es un repositorio Institucional internacional en línea en diferentes idiomas de libre acceso creado por la Universidad Autónoma del Estado de México que recoge más de 200.000 registros distribuidos en las áreas de Humanidades, Ciencias Sociales, Ciencias Naturales y Exactas <http://redalyc.uaemex.mx/>; SCOPUS, es una herramienta informática distribuida por la editorial Elsevier de acceso a resúmenes, referencias e índices de literatura científica, técnica y médica que alcanza más 45.000.000 registros procedentes de más 19000 revistas científicas en los siguientes ámbitos temáticos: Agricultura, Biología, Química, Geología, Economía, Negocios, Ingeniería, Salud, Ciencias de la vida, Matemáticas, Física, Psicología y Ciencias Sociales <http://www.scopus.com/> y WoS, una serie de bases de datos bibliográficas multidisciplinares con más de 6000 revistas científicas internacionales indexadas <webofknowledge.com>. Una vez realizadas las consultas de búsqueda bibliográfica relacionadas con los objetivos del presente trabajo en cada una de estas bases de datos, se han leído todos los documentos obtenidos en ellas. De éstos se citan aquellas fuentes de las que se han extraído ideas o reflexiones vinculadas directamente con los objetivos del estudio y que se exponen en el mismo.

La motivación que ha llevado a la publicación de este trabajo se debe a que tras su primera convocatoria realizada en 2017, el Sello, promovido por la Unión de Editoriales Universitarias Españolas (UNE) y avalado por la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) y la Fundación Española para la Ciencia y la Tecnología (FECYT), fue reconocido como indicio de calidad de las publicaciones para la evaluación de los méritos de la actividad investigadora. Dicho reconocimiento queda expreso en los criterios de evaluación de ANECA para el programa ACADEMIA (2017), de aplicación desde el 17 de noviembre 2017, y en la última edición de los criterios de evaluación de la Comisión Nacional Evaluadora de la Actividad Investigadora (2018).

La calidad en la edición académica

El centro de estudio del presente trabajo es la calidad de edición académica, un tipo de edición que publica fundamentalmente libros de interés para la comunidad científica, académica y/o universitaria o que trata de disciplinas científicas. Para hacer operativa esta definición y poder identificar qué editoriales españolas pueden clasificarse como académicas se puede partir de, al menos, tres análisis diferentes (Giménez-Toledo 2017):

1. Editoriales cuya producción editorial está clasificada (por los propios editores) mayoritariamente en disciplinas científicas y así lo hacen constar a través de sus metadatos de materia en la base de datos DILVE, la plataforma que permite la gestión y distribución de información bibliográfica y comercial del libro(metadatos) de forma centralizada y normalizada.


2. Editoriales que están vinculadas a instituciones científicas o académicas como las asociadas a la Unión de Editoriales Universitarias Españolas (UNE):
http://www.une.es/Ent/Orgs/OrganizationList.aspx>, que son 69 actualmente y las vinculadas a la Administración del Estado, en tanto que uno de sus objetivos es difundir la investigación. Sin embargo, no todas las editoriales de la Administración del Estado (hay 82 en total) publican libros científicos o de interés para la comunidad académica.<http://www.mpr.gob.es/servicios/publicaciones/Documents/Guiadeeditores.pdf


3. Editoriales que son percibidas como relevantes para los investigadores de un área y que pueden obtenerse de los rankings de prestigio de las editoriales como Scholarly Publishers IndIcators in Humanities and Social Sciences (SPI) <http://ilia.cchs.csic.es/SPI>. En SPI aparecen recogidas más de 500 editoriales académicas, sin diferenciar entre las generales y de especialidades.

Por lo tanto, la edición universitaria se integra, en cada país, dentro del conjunto más amplio de la edición científico técnica constituida por todas aquellas obras de investigación, consulta y divulgación, cuya finalidad es la de transmitir conocimientos organizados y sistematizados en cualquier parcela del saber y en cualquier tipo de soporte, así como por todas aquellas estructuras empresariales, legislativas, políticas, económicas y culturales que posibilitan su distribución y consumo (Cordón-García 2009).

La edición académica representa un componente sustancial en las actividades de cualquier universidad, por cuanto canaliza en gran parte la investigación que se produce en ella. No obstante, si nos centramos en las monografías, es un tipo documental escasamente considerado en los sistemas de acreditación (Cordón-García y Gómez-Díaz 2010), dado que no hay criterios de evaluación mundialmente establecidos (Giménez-Toledo et al. 2019; Williams, Grant 2018) a pesar de que este tipo documental es una de las actividades más importantes en el ámbito de la edición científica y objetivo prioritario en el sector de la edición universitaria, porque la función primordial de la monografía, es revelar, demostrar y argumentar con evidencia lógica y razonable la realidad científica de un hecho, a través de otros hallazgos relacionados con la temática estudiada, es decir, permite la integración, organización y evaluación de la información teórica y empírica existente sobre un problema, focaliza el progreso de la investigación actual y las posibles vías para su solución, a fin de poder explicar argumentos novedosos que aún no se han abordado anteriormente y sustentar teorías o refutar las ya existentes. Además, ayuda al investigador en la orientación y formación investigadora para delimitación de un problema, descubrir y reunir información adecuada, clasificar los materiales, establecer contactos con personalidades e instituciones académicas y de investigación, acceder a la información y ejercitar el espíritu crítico (Carlino 2003), aunque con importantes variaciones en cuanto a la temática, los soportes utilizados, los tipos de publicación, la edad literaria o los sistemas de colaboración (Cordón-García et al. 2011).

Si nos centramos en la temática de la producción científica, existe una correlación entre las disciplinas que difunden principalmente a través de las monografías y las que tienen menos producción científica indexada en las bases de datos Web of Science (WoS) <webofknowledge.com> y SCOPUS <http://www.scopus.com/>, que son las más valoradas en los procesos de acreditación de profesores e investigadores, al contar con indicadores objetivos de calidad fijados mundialmente a través del análisis de citas que reciben los documentos. A partir de éstas se establecen indicadores de calidad numéricos llamados “Factor de Impacto”, que clasifican las revistas según el número de citas que reciben entre el número de documentos que se publican en un determinado tiempo. En el caso de WoS, el indicador que se utiliza es Journal Citation Report (JCR) y el tiempo establecido para analizar las citas es de dos años y en Scopus, el indicador usado es Scimago Journal & Country Rank (SJR) y el período, tres años. Pero estas herramientas no se ajustan por completo a los hábitos de publicación de los resultados de investigación y de su citación de todas las disciplinas. Por ejemplo, en el área de humanidades son los libros, el tipo documental más leído y citado (Hicks 2004; Nederhof 2006; Wolfe-Thompson 2002; Glänzel, Schoepflin 1999), pero con una baja representación en estas bases de datos. Esto hace que no esté cubierta toda la producción científica de todas las disciplinas por el tipo de difusión o/e investigación o/e idioma en el que se publique, principalmente entre las que se encuentran las monografías y/o de investigación más aplicada y/o de impacto local y/o en un idioma de publicación diferente al inglés.

Otro inconveniente para las disciplinas con baja representación en las bases de datos WoS y Scopus es el hecho de que una base de datos haya indexado una revista, está directamente relacionado con la visibilidad de la revista, es decir, cuenta con mayores posibilidades de ser leída por investigadores de otros países y la consiguiente posibilidad de ser citada (Ren, Rousseau 2002; Gutiérrez-Puebla 1999; Román-Román, Giménez-Toledo 2010; Alcaín-Partearroyo, Román-Román, Giménez-Toledo 2008; Mendoza-Parra, Klijn 2006).

Por ello, las agencias de evaluación tienen en cuenta la presencia de las revistas en las bases de datos internacionales en los procesos de evaluación. La Agencia Nacional para la Evaluación de la Calidad y la Acreditación (ANECA 2017), la Comisión Nacional para la Evaluación de la Actividad de Investigación (CNEAI 2018) y la Agencia Nacional para la Evaluación y Prospectiva (ANEP) (Acero 2007) lo mencionan como un criterio de evaluación, especificando el número y el tipo de base de datos en la que se debe estar incluida una revista para considerarse una publicación de calidad. Asimismo, la convocatoria de la Fundación Española para la Ciencia y la Tecnología (FECYT) para promover la internacionalización de las revistas españolas incluye, como un aspecto a considerar en el proceso de evaluación, la indexación de la publicación por bases de datos nacionales e internacionales en la especialidad. Esto provoca que los grupos editoriales responsables de estas publicaciones acepten la necesidad de "indexar o desaparecer", tal como años anteriores los autores, la de "publicar o perecer" (Mendoza‐Parra et al. 2009).

Aunque hay que tener cuenta en la indexación de las bases internacionales los siguientes aspectos: 1) que los estudios sobre la evaluación de revistas científicas demuestran que la distribución de la frecuencia de la presencia de revistas en bases de datos se ajusta a la ley bibliométrica de Lotka, es decir, que pocas revistas se encuentran en muchas bases de datos y muchas revistas se encuentran en pocas bases de datos (Mañana-Rodríguez, Giménez-Toledo 2011) y 2) que suele tratarse con cierta simplicidad la presencia en las bases de datos internacionales, dado que solo se comprueba si una revista está presente o no en las bases de datos WoS y Scopus y en qué posición se encuentra dentro de estas bases de datos, dependiendo del número de citas que recibe la revista. Pero deberían valorarse otros detalles para tratarse este reconocimiento de manera más justa (Torrado-Morales, Giménez-Toledo 2012), porque las bases de datos no tienen criterios similares de selección. Se puede ingresar una revista en las base de datos simplemente solicitando su indexación o por pertenecer al campo científico cubierto por ésta o por el número de años que ha sido editada la revista, siendo las veteranas las que tienen más oportunidades de ser indexadas en estas bases de datos. Solo en algunos casos tienen que pasar por un proceso de selección riguroso en el que se evalúan diferentes parámetros de calidad.

Si nos centramos en las monografías, los inconvenientes de utilizar este tipo de documental como medio de difusión aumentan, dado que en la calidad en edición académica se debe tener en cuenta que aunque la actividad editorial responde a la necesidad universitaria de difusión de los resultados de la vida académica, estas necesidades académicas de publicación tropiezan muchas veces con la tendencia a disminuir los títulos que implican riesgos financieros, porque se dejan de publicar obras por razones económicas, aunque la solidez de una editorial universitaria depende, entre otras características, en tener como meta primordial la publicación de todas las obras académicas válidas, sin descartar aquellas en las cuales no se arriesgaría una editorial privada, obras significativas, originales, de interés, validez científica y bien escritas (ANAYA, 2010). Situación que se complica con la proliferación de monografías en formato digital, en los que el conocimiento del formato es vital para poder interpretar la información que contiene un objeto y sus propiedades (Moro-Cabrero 2018).

A lo largo de la historia de la Bibliometría se observa una ausencia de criterios de evaluación de las colecciones de monografías claros y específicos, que definan el prestigio del editor, identificando claramente qué significa “editor prestigioso”, a diferencia de las revistas. Desde principios de la década de los 80 el Consejo Superior de Investigaciones Científicas (CSIC) ha trabajado sobre la evaluación de revistas científicas, principalmente en las de disciplinas que tienen menor representación en las bases de datos de SCOPUS y WoS por su tipo de investigación más aplicada, local o con el español como su principal idioma de publicación. Los estudios realizados abarcan distintos aspectos: periodicidad y pervivencia, adecuación a las normas internacionales de publicación, difusión, presencia en bases de datos internacionales, etc. En 1999 España se incorpora al Sistema Regional de Información para América Latina, el Caribe, España y Portugal, LATINDEX <http://www.LATINDEX.org>. Este sistema define 33 criterios de “calidad editorial” para las revistas, que el CSIC incluyó en su estudio sobre 1300 revistas españolas de Humanidades y Ciencias Sociales, llevando a cabo una categorización de las mismas según el cumplimiento de criterios de calidad editorial.

En el año 2001, siguiendo la línea de trabajos anteriores, se realizó una investigación en la que se sometió a la consideración a profesores universitarios e investigadores un conjunto de 900 revistas de Ciencias Sociales y Humanas, con el fin de obtener una primera aproximación sobre la estima o valoración científica de éstas, según el juicio de los expertos.

A partir del año 2002 a través de proyectos subvencionados por la Dirección General Universidades, en el marco del Programa de Estudios y Análisis, se realizaron estudios sobre “Índices de impacto de las revistas españolas de Ciencias Sociales y Humanas a partir del análisis de las revistas mejor valoradas por los pares”, que completaron estudios anteriores encaminados a reunir suficientes indicadores de calidad para obtener de forma gradual las herramientas necesarias para establecer una categorización (Mañana-Rodríguez, Giménez-Toledo 2018). El objetivo de estos estudios es establecer indicadores comúnmente considerados en los distintos sistemas y plataformas de evaluación de revistas españolas:

• Años de vida de la revista, que permite valorar la continuidad de cada proyecto editorial,
• Cumplimiento o no de la periodicidad definida por la revista,
• Número de criterios LATINDEX cumplidos como indicador de calidad editorial,
• Información sobre la existencia o no de un proceso de selección de originales por revisores externos a la entidad editora,
• Índice de Valoración A + B (Iv A+B) calculado a partir de los valores obtenidos por las revistas expresados en los datos de las encuestas respondidas por el profesorado universitario, siendo la 100 la puntuación máxima que puede alcanzar una revista. Para la obtención de este índice se ha considerado sólo la suma de las categorías A (Muy buena. Fundamental para la disciplina) y B (Buena. Interesante para la disciplina),
• Índice de Impacto Medio (IIM) 1999-2003, promedio de los cinco índices de impacto anuales que refleja el uso que la comunidad científica hace de las revistas,
• Visibilidad internacional a través de la presencia sistemática de las revistas en bases de datos internacionales.

Los resultados obtenidos en estos estudios han dado lugar a iniciativas como:

• Citations in Economics (CitEc): analiza las citas que se recogen en los trabajos incluidos en Research Papers in Economics (RePEc). Ofrece información sobre el número de citas que recibe un autor o quién ha citado un determinado trabajo <http://repec.org/>.

• DICE (Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y Ciencias Sociales y Jurídicas): tiene el objetivo de facilitar el conocimiento y la consulta de algunas de las características editoriales e indicadores indirectos de calidad de las revistas españolas de Humanidades y Ciencias Sociales. Esta fuente de información es fruto de un convenio de colaboración entre el Consejo Superior de Investigaciones Científicas (CSIC) y la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA), entidad que financia su mantenimiento. Es una herramienta creada por el Grupo de Investigación Evaluación de publicaciones científicas en Ciencias Sociales y Humanas (EPUC) del Instituto de Estudios Documentales sobre Ciencia y Tecnología (IEDCYT) del Centro de Ciencias Humanas y Sociales (CCHS) del CSIC. ANECA utiliza esta base de datos como referencia de calidad de las publicaciones españolas, en sus procesos de evaluación de profesorado <http://epuc.cchs.csic.es/dice/>.

• ERIH (European Reference Index for the Humanities) PLUS: es un índice europeo de revistasacadémicas de humanidades y ciencias sociales. Es sucesor del anterior ERIH, vinculado a la European Science Foundation y cuyo ámbito abarcaba solo publicaciones de humanidades; el cambio de denominación, con la incorporación de «PLUS», hace referencia a esta ampliación en sus objetivos. Sin fines comerciales, en oposición a otras bases de datos como Scopus o Web of Science, tiene un ámbito europeo y depende del Ministerio Noruego de Educación e Investigación, a través del organismo público Norwegian Centre for Research Data (NSD), que lo gestiona desde 2014.
• <https://dbh.nsd.uib.no/publiseringskanaler/erihplus/about/index>.

• Google Libros (Google books): permite encontrar los documentos que citan un libro. Se pueden buscar las citas a través de los listados bibliográficos <https://books.google.es/>.

• Google Académico (Google Scholar): ofrece datos de citas de autores y de sus trabajos cuando procede. Busca tanto en artículos de revistas y en libros, como en capítulos de libros <https://scholar.google.es/>.

• IN-RECS (Factor de Impacto de las Ciencias Sociales de España): es un proyecto elaborado y mantenido por EC Grupo de Investigación: Evaluación de la Ciencia y de la Comunicación Científica de la Universidad de Granada. La base de datos IN-RECS se alimenta de las referencias bibliográficas citadas en los artículos publicados, desde 1994, en 146 revistas españolas de las principales disciplinas que conforman el dominio de las ciencias sociales: Antropología, Biblioteconomíay Documentación, Ciencia Política y de la Administración, Comunicación, Economía, Educación, Geografía, Sociología, Psicología y Urbanismo.
• <http://ec3.ugr.es/in-recs>.

• IN-RECJ: elaborado por el mismo equipo de IN-RECS, ofrece citas de autores de revistas jurídicas españolas <http://ec3.ugr.es/in-recj/>.

• IN-RECH: especializado en el ámbito de las Ciencias Humanas <http://ec3.ugr.es/in-rech/>.

• MIAR: base de datos que reúne información para identificar y evaluar revistas científicas de humanidades y ciencias sociales a las que asigna un índice de difusión (ICDS), tras analizar su presencia en repertorios especializados nacionales e internacionales, creado por la Universidad de Barcelona <http://miar.ub.edu/>.

• ModernitasCitas: base de datos de citas en español sobre Historia Moderna elaborada por el CSICy la Universidad Carlos III <moderna1.ih.csic.es>.

• RESH (Revistas de Ciencias Sociales y Humanas): es una fuente de información desarrollada en un proyecto de investigación en el que la valoración de los criterios de calidad editorial se ha realizado a partir de las declaraciones de las prácticas editoriales expresadas en las propias revistas. Esta herramienta ofrece un retrato estático de las revistas españolas de Humanidades y Ciencias Sociales y toma como referencia los documentos clave sobre procedimientos de evaluación de CNEAI, ANECA y Latindex. Pretende orientar a evaluadores, autores e investigadores sobre la calidad de las revistas españolas de Humanidades y Ciencias Sociales. RESH está desarrollado por el Grupo de Investigación de Evaluación de Publicaciones Científicas (EPUC) del Centro de Ciencias Humanas y Sociales (CCHS) / Consejo Superior de Investigaciones Científicas y por el Grupo Evaluación de la Ciencia y de la Comunicación Científica (EC3) de la Universidad de Granada <http://epuc.cchs.csic.es/resh/>.

• SCImago Journal & Country Rank: es un portal de evaluación de revistas y países basado en la información contenida en la base de datos Scopus (Elsevier). La plataforma debe su nombre al SCImago Journal Rank (SJR) desarrollado por el grupo de investigación Scimago. Tanto el ranking de revistas como el índice de impacto que ofrece esta plataforma se utiliza para evaluar y analizar las publicaciones científicas de cara a las acreditaciones y a la evaluación de la actividad investigadora <https://www.scimagojr.com/>.

• SNIP (Source Normalized Impact per Paper): es un factor de medición basado en la comparación de publicaciones dentro de sus campos temáticos, contabilizando la frecuencia con la que los autores citan otros documentos y la inmediatez del impacto de la cita. Se puede definir el indicador SNIP como el número de citas medio recibido por los artículos de una revista durante tres años (Raw impact per paper RIP) dividido entre la citación potencial del campo científico de la revista Relative database citation potential RDCP) <https://blog.scopus.com/topics/snip>.

A partir de estas iniciativas se han establecido indicadores que combinan algunas de éstas como la Clasificación Integrada de Revistas Científicas desarrollada en el trabajo de Torres-Salinas et al 2010. Esta clasificación tiene como raíz la presencia de las revistas en diferentes sistemas de evaluación de revistas científicas y bases de datos. Más específicamente, se consideran las siguientes fuentes: bases de datos integradas en Web of Science, Scopus, Scimago Journal Rank, IN-RECS, IN-RECJ, DICE, ERIH y el catálogo Latindex.

Por ello, con el objetivo de dar un paso más en promover el uso de indicadores en los procesos de evaluación más ajustados a todas las características de la investigación de cada disciplina, así como estimular la calidad en la edición académica mediante el reconocimiento de las mejores prácticas dentro de la edición universitaria española y convertirla en un signo distintivo que, tanto las agencias de evaluación de la actividad investigadora como la comunidad académica y científica, puedan identificar fácilmente, dado que hay ausencia de indicadores claros y objetivos en la evaluación de colecciones científicas a diferencia que las revistas, el 23 de septiembre del 2015 la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA), Fundación Española Para la Ciencia y la Tecnología (FECYT) y la Unión de Editoriales Universitarias Españolas (UNE) firmaron un convenio de colaboración para poner en marcha un proceso de evaluación que adjudique a las colecciones de libros de investigación, perfectamente identificadas y vigentes en el momento de la convocatoria, un Sello que avale su calidad, teniendo en cuenta los principios de publicidad, transparencia, concurrencia, objetividad, igualdad y no discriminación, al ser tres instituciones entre las que se encuentran las siguientes misiones:

• La Unión de Editoriales Universitarias Españolas (UNE), representar a la edición universitaria ante las administraciones públicas y velar por el prestigio y la buena imagen pública del libro universitario español <une.es>.
• La Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA), contribuir a la mejora de la calidad del sistema de educación superior mediante la evaluación, certificación y acreditación de enseñanzas, profesorado e instituciones <aneca.es>.
• La Fundación Española Para la Ciencia y la Tecnología (FECYT), impulsar la ciencia, la tecnología e innovación, promover su integración y acercamiento a la sociedad y dar respuesta a las necesidades del Sistema Español de Ciencia, Tecnología y Empresa <fecyt.es>.

El Sello de Calidad Académica (CEA-APQ) en Edición

3.1 Agentes implicados

A continuación se enumeran los diferentes agentes implicados en este proceso de evaluación:

• Comisión de Seguimiento del Sello de Calidad en Edición Académica (CEA-APQ), el órgano competente para la adopción de la resolución definitiva a partir del informe emitido por la Comisión de Evaluación, que se encarga de la revisión del procedimiento y criterios de evaluación. Está compuesta por representantes de ANECA, FECYT y UNE.


• Beneficiarios, las colecciones de monografías que se presentan a la convocatoria por las entidades responsables de su edición para someterse al proceso de evaluación establecido. Las entidades solicitantes deben contar con personalidad jurídica propia, tener sede física y estar legalmente constituidas en España en el momento de la presentación de la solicitud.


• Participantes, las entidades que presentan las solicitudes (tantas como estimen oportuno), pero una de cada colección científica. Es requisito indispensable que las colecciones de cualquier ámbito del conocimiento participantes cuenten con al menos cinco años de vida editorial continuada y dispongan del código International Standard Book Number(ISBN) en las publicaciones que incorporen.


• Comisión evaluadora, el órgano formado por dos expertos bibliométricos, dos expertos en Ciencias Sociales y Jurídicas, dos expertos en Arte y Humanidades, un experto en Ciencias Experimentales y un experto en Ciencias de la Salud. En la que actúa, como secretario, sin voto, un representante de la Unión de Editoriales Universitarias. Previamente a la evaluación de la Comisión se recaban dos informes de expertos de la especialidad científica y académica de la que trata la colección sometida a evaluación.

Proceso de evaluación

El proceso de evaluación incluye una evaluación de la calidad editorial y una evaluación de la repercusión científica con la finalidad de filtrar desde el inicio hasta el final del proceso las colecciones que serán consideradas como excelentes. En todo caso, es preciso obtener un resultado positivo en cada uno de los 15 indicadores (salvo el de disponibilidad electrónica que solamente se aplica a las colecciones digitales y el de autores extranjeros con el que se opta a la mención de internacionalidad) para poder completar el proceso de evaluación. Si alguno de dichos criterios no se cumple, la solicitud es evaluada negativamente. Los 15 indicadores tienen la misma relevancia y valor. La evaluación negativa de cualquiera de estos indicadores supone la imposibilidad de obtener el Sello. La Comisión de Evaluación es el órgano competente para la adopción de la resolución provisional para la obtención del Sello de Calidad que avala la excelencia científica de las colecciones académicas, una vez revisada la documentación aportada por el solicitante y analizada la información emitida en los informes técnicos independientes de dos expertos del área o áreas de conocimiento a la que pertenece la colección solicitante del Sello. Una vez publicada la resolución provisional, los solicitantes tienen un plazo máximo e improrrogable de 10 días naturales a contar desde la fecha de la publicación para exponer las alegaciones que estimen oportuno realizar. Examinadas las alegaciones, la Comisión de Evaluación elabora un informe final en el que se incluye una propuesta de resolución definitiva de concesión del Sello.

Criterios e indicadores

Los indicadores de evaluación se agrupan en los siguientes 4 bloques:

• Calidad informativa de la colección: en la que se valoran distintos aspectos sobre la comunicación, difusión y acceso de la colección como la identificación de la colección, la inclusión de metadatos y las reseñas en revistas científicas.
• Calidad de la política editorial: en la que se analiza la definición de la política editorial de cada colección y la identificación y prestigio del director de la colección y del comité asesor.
• Calidad sobre los procesos editoriales: en la que se evalúa la existencia de instrucciones detalladas para el envío de libros impresos y electrónicos, la información sobre el proceso de selección de manuscritos y la comunicación razonada de la aceptación o el rechazo de las obras.
• Reputacón y prestigio de la colección: en la que valora la publicación frecuente de autores externos a la institución editora y la capacidad de atracción de originales de autores extranjeros además de las citas y las reseñas recibidas.

En la Tabla 1 se enumeran los 15 indicadores de evaluación junto a los aspectos mínimos que se tienen que cumplir para ser valorados positivamente:

Criterios	Aspecto mínimos
Identificación de la colección. (Indicador nº 1)	a) Que la colección esté correctamente identificada en la página web de la editorial. b) Que se pueda acreditar (con un pantallazo) que los títulos de la colección están ligados a ésta en el registro de DILVE a través del campo “colección”. c) Que se pueda visualizar o tener acceso on line al índice o al sumario de cada monografía de la colección (preferentemente a través de la página web de la editorial).
Disponibilidad electrónica. (Indicador 2)	En las colecciones exclusivamente digitales se debe informar: a) La variedad de los formatos, b) La existencia de la información de la colección sobre la existencia o no de gestión de derechos digitales (DRM, del inglés digital rights management). c) Usos permitidos.
Inclusión de metadatos (Indicador 3)	Campos mínimos requeridos: Autores, título, colección, año, ISBN (del inglés  International Standard Book Number), materias, IBIC (del inglés  International Book Industry Categories) e identificación editorial.
Identificación del/a director/a de la colección (Indicador 4)	Campos del CVN mínimos requeridos: -Datos de Identificación y contacto. -Situación Profesional: Situación profesional actual. Cargos y actividades desempeñados con anterioridad. - Actividades científicas y tecnológicas: Publicaciones, documentos científicos y técnicos. Trabajos presentados en congresos nacionales o internacionales. Comités científicos asesores, sociedades científicas. Experiencia en organización de actividades de I+D+i. Experiencia de gestión de I+D+i. Pertenencia a sociedades científicas y asociaciones profesionales. Pertenencia a Consejos Editoriales. Carrera profesional y/o empresarial. - Resumen en el que se incluyan otras actividades de interés, en especial las referidas al campo editorial, y se ponga de manifiesto que el perfil académico del director de la colección está en consonancia con las líneas directrices de la misma.
Comité Científico (Indicador 5)	Documento que contenga la identificación de los miembros de la colección y una explicación detallada de las actividades que cada uno de ellos ha realizado con respecto a la colección: los informes que han realizado, las propuestas de libros y de revisores, etc. Se indicará también cómo funciona dicho comité y si las reuniones son presenciales o no.
Política editorial (Indicador 6)	Se exigirá una política editorial específica de la colección. Ha de ser pública. Además, deberá contemplar al menos los siguientes aspectos: - Temática y alcance de la colección. - Temas de investigación cubiertos. - Sistemas de revisión empleados. - Procesos que siguen los manuscritos. - Criterios editoriales para la publicación de manuscritos (como originalidad, actualidad, etc.). - Condiciones a los autores sobre el autoarchivo de su trabajo en repositorios institucionales o temáticos.
Regularidad en la producción (Indicador 7)	a) Que se haya editado al menos un título el año natural anterior al de la convocatoria que se esté evaluando. b) Que la colección no haya tenido dos años seguidos sin publicar ningún título en los cinco años que se someten a evaluación. c) Que en los cinco años evaluados se alcance un promedio mínimo de un título editado por año. d) Que a partir de 2018 se haya editado al menos un título al año.
Coherencia (Indicador 8)	Adecuación de los títulos a las líneas, contenidos y objetivos expuestos en la política editorial de la colección. El editor ha de justificar, en no más de 20 líneas (aprox.), la congruencia de las obras publicadas en la colección con respecto al título y a la política editorial específica de la misma. Del mismo modo, deberá justificar la publicación de aquellas obras que no se correspondan claramente con los objetivos de la colección. Se exigirá que las colecciones sean especializadas.
Instrucciones a los autores (Indicador 9)	Instrucciones claras, públicas y de fácil acceso para los autores que deseen publicar en esa colección sin necesidad de contactar previamente con la editorial. En el caso de que se requiera un registro previo, las instrucciones para realizarlo han de ser también sencillas y precisas. Además, se propone exigir los siguientes aspectos mínimos: - Formato, extensión y estilo de los manuscritos, con especial mención a tablas, figuras, ilustraciones, notas, referencias y bibliografía. - Sistema de revisión editorial. Proceso editorial que siguen los manuscritos y política editorial de aceptación. - Criterios editoriales para la selección y publicación de manuscritos: originalidad, actualidad, calidad metodológica, redacción y presentación. - Sistema de evaluación de originales. - Condiciones de autoría. - Responsabilidades éticas que deben tener en cuenta los autores.
Información sobre el proceso de selección de manuscritos (Indicador 10)	a) Documento informativo sobre el proceso de selección de originales y el proceso de edición. b) URL donde pueda localizarse la información pública que exista sobre el proceso de selección de originales. c) La información ha de ser pública y de fácil acceso.
Informes de evaluadores (Indicador 10)	Se adjuntarán los informes externos solicitados por la propia editorial en relación con uno de los dos últimos números publicados. En el caso de que los informes adviertan de la necesidad de correcciones o modificaciones, habrá que aportar las evidencias que permitan constatar que dichas mejoras y correcciones se han llevado a cabo. Deben aportarse los informes en un solo documento PDF junto con las evidencias de que se ha hecho un seguimiento del proceso de edición atendiendo a las recomendaciones incluidas en dichos informes, en el caso de que las hubiera.
Listado de revisores externos (Indicador 10)	60% mínimo de revisores externos a la institución editora. Para ser considerado externo, el revisor tampoco podrá ser miembro del Consejo de redacción/editorial de la colección.
Comunicación motivada de la resolución (Indicador 11)	a) Aprobación de los títulos sometidos a evaluación. b) Comunicación de la resolución a los autores.
Existencia de reseñas y citas (Indicador 12)	Se valorarán las reseñas en medios especializados dentro del ámbito de la colección así como las citas que hayan podido recibir las obras.
Apertura a autores externos a la institución (Indicador 13)	Umbral Mínimo Exigido: a) Un 45% de los autores han de ser externos a la institución de la editorial. En obras colectivas se calculará el porcentaje de participación de autores externos e internos. En las traducciones al español o cualquier otra lengua cooficial se tendrá en cuenta la filiación de quien realiza la traducción y sus comentarios. b) La presencia del director de la colección como autor/ editor/ coordinador no podrá superar al 30% de los títulos publicados por la colección en el periodo evaluado.
Atracción de autores extranjeros (mención optativa de internacionalidad) (Indicador 14)	Solamente se requerirá cumplir con esta parte del indicador si se pretende optar a la “mención de internacionalidad” del Sello CEA-APQ. El umbral mínimo establecido será de al menos un 40% de autores extranjeros. En caso de obras colectivas se calculará el porcentaje de autores extranjeros en cada obra.
Informes externos solicitados durante el proceso de evaluación del Sello CEA-APQ. (Indicador 15)	Previamente a la evaluación de la Comisión se recaban dos informes de expertos de la especialidad científica y académica de la que trata la colección sometida a evaluación.

Tabla 1: Indicadores de evaluación del Sello de Edición Académica

Fuente: (ANECA, UNE y FECYT, 2018)

Respecto a las convocatorias anteriores las novedades que se han incluido en estos criterios a la convocatoria 2019 al hacer una revisión de los indicadores, teniendo en cuenta las sugerencias recibidas de los distintos agentes implicados en el proceso, son las siguientes:

• Indicador 1: Identificación de la colección: se acuerda añadir 3 ítems como aspectos mínimos a cumplir a los dos ya existentes:

• Que en la página web de la editorial aparezca información sobre el autor de cada obra de la colección.
• Que se pueda visualizar o tener acceso al índice o al sumario de cada monografía de la colección.
• Que exista un resumen accesible suficiente de cada obra.

• Indicador 5: Comité científico: se decide aclarar en la documentación a presentar que el director de la colección, no el director de la editorial, emitirá el certificado identificando a los miembros del comité científico así como las actividades realizadas por cada uno de ellos.

• Indicador 6: Política editorial: se concluye exigir una política editorial específica de la colección que esté correctamente definida y que sea pública y accesible desde la página web de la editorial.

• Indicador 7: Regularidad en la producción: se acuerda añadir un requisito transitorio más, que consiste en que a partir de 2017 se va a exigir haber editado 1 título al año mínimo.

• Indicador 8: Coherencia: se decide redactar en la guía de una manera más específica la exigencia de que las colecciones deben ser congruentes y que sus títulos deben adecuarse a la temática reflejada en la política editorial de la colección y al título de la misma.

• Indicador 10a: Información sobre el proceso de selección de manuscritos: se concluye exigir que en el mismo documento se informe adicionalmente del número de originales recibidos, del número de originales de ese total que se han publicado y del número de originales que se han rechazado en el periodo evaluado, indicando el porcentaje de rechazo. Esta información se solicita como complemento al indicador y la Comisión podrá pedir evidencias de los rechazos indicados.

• Indicador 10b: Informes de los evaluadores: se acuerda exigir los dos informes de uno de los dos últimos títulos publicados, bien estructurados y fundamentados.

• Indicador 10c: Listado de revisores externos: se decide que los revisores externos no solo serán de fuera de la institución si no que tampoco podrán pertenecer al Consejo científico de la colección.

• Indicador 11: Comunicación motivada de la resolución: se concluye aclarar que sólo es necesario aportar un certificado con el extracto de las actas donde se aprueban los títulos sometidos a evaluación.

• Indicador 12: Existencia de reseñas y citas: se acuerda indicar en la redacción del indicador que se valorarán las reseñas en medios especializados del ámbito de la colección.

• Indicador 13: Apertura a autores externos a la institución: se decide aumentar a un 50% el número de autores que deberán pertenecer a una institución diferente a la que edita la colección, también que se aclarará que en caso de obras colectivas se calculará el porcentaje de autores internos y externos de cada obra.

• Indicador 14: Atracción de autores extranjeros: se concluye fijar el umbral mínimo establecido en un 20% de autores extranjeros. En caso de obras colectivas se calculará el porcentaje de autores foráneos en cada obra.

• Indicador 15: Informes externos solicitados durante el proceso de evaluación del Sello CEA-APQ: se elimina la presencia en bases de datos y en su lugar se incluyen los dos informes externos solicitados durante el proceso de evaluación como un indicador más, necesario para obtener el Sello de calidad. Se tendrá que aprobar al menos uno de los dos informes para poder optar a superar este indicador. En caso de que haya uno aprobado y otro suspenso, se calculará la media de las puntuaciones. La Comisión de Evaluación se reserva la opción de pedir un tercer informe en caso de gran discrepancia entre los dos solicitados.

3.4 Resultados

El reconocimiento de la calidad editorial y científica

Las colecciones que superan con éxito el proceso de evaluación obtienen un Sello de Calidad en Edición Académica (CEA-APQ) como reconocimiento de la calidad editorial y científica. Este reconocimiento se otorga por un periodo de 5 años desde la resolución definitiva, pudiendo ser renovado de nuevo tras la finalización de dicho periodo, y manteniéndose el reconocimiento hasta la resolución de la convocatoria inmediatamente posterior a la que deber haber concurrido para conservarlo, La relación de propuestas aprobadas son publicadas mediante anuncio en las páginas webs de ANECA, FECYT y UNE (http://www.aneca.es, http://www.fecyt.es, http://www.une.es )

En las dos primeras convocatorias un total de 39 colecciones han obtenido el Sello, 29 en la primera convocatoria y 10 en la segunda. Si analizamos las temáticas a las que están adscritas, predominan las áreas de conocimiento de Ciencias Sociales y Humanidades. Algunas de ellas dentro de éstas a una única disciplina y otras a más de una, de tal forma que 12 se ubican en Ciencias Sociales y Humanas en general, 10 en Historia, 6 en Filología, 3 en Geografía, 2 en Arqueología, en Derecho y en Política, 1 en Arquitectura, en Comunicación, en Ética y en Filosofía. Estas colecciones pertenecen a 21 editoriales: Universidad de Sevilla con 5 colecciones con Sello; CIS, Universidad del País Vasco, Universidad de Salamanca, Universidad de Valencia con 4 colecciones cada una, Centro de Estudios Políticos y Constitucionales, Universidad de Cantabria, Universidad de Huelva y Universidad de Zaragoza con 2 colecciones cada una; G9 Ediciones, Marcial Pons ediciones jurídicas y sociales, S.A, Universidad de Alcalá, Universidad Autónoma de Barcelona, Universidad de Barcelona, Universidad de Cádiz, Universidad de Castilla-La Mancha, Universidad de Granada, Universidad Jaume I, Universidad de Oviedo, Universidad Pompeu Fabra y Universitat Oberta de Catalunya (UOC) con 1 colección cada una.

Nombre de la colección	Universidad	Convocatoria	Mención internacionalización	Fecha expiración certificado
Documentos de Arqueología Medieval	Universidad del País Vasco	1ª	NO	25/07/2020
Historia Contemporánea	Universidad del País Vasco	1ª	NO	25/07/2020
Historia Medieval y Moderna	Universidad del País Vasco	1ª	NO	25/07/2020
Anejos e Veleia	Universidad del País Vasco	1ª	NO	25/07/2020
Lingüística	Universidad de Sevilla	1ª	NO	25/07/2020
Historia y Geografía	Universidad de Sevilla	1ª	NO	25/07/2020
Estudios Árabo-Islámicos de Almonaster la Real	Universidad de Sevilla	1ª	NO	25/07/2020
Spai Monografías Arqueología	Universidad de Sevilla	1ª	SÍ	25/07/2020
Monografías	Centro de Investigaciones Sociológicas (CIS)	1ª	NO	25/07/2020
Cuadernos Metodológicos	Centro de Investigaciones Sociológicas (CIS)	1ª	NO	25/07/2020
Opiniones y actitudes	Centro de Investigaciones Sociológicas (CIS)	1ª	NO	25/07/2020
Elecciones	Centro de Investigaciones Sociológicas (CIS)	1ª	NO	25/07/2020
Estudios Filológicos	Universidad de Salamanca	1ª	NO	25/07/2020
Estudios Históricos y Geográficos	Universidad de Salamanca	1ª	NO	25/07/2020
Obras de Referencia	Universidad de Salamanca	1ª	NO	25/07/2020
Textos recuperados	Universidad de Salamanca	1ª	NO	25/07/2020
Ciencias Sociales	Universidad de Zaragoza	1ª	SÍ	25/07/2020
Humanidades	Universidad de Zaragoza	1ª	SÍ	25/07/2020
Aldea Global	Universidad de Valencia (En coedición con U. Autónoma de Barcelona, Jaume I y U. Pompeu Fabra)	1ª	NO	25/07/2020
Desarrollo Territorial	Universidad de Valencia	1ª	SÍ	25/07/2020
Arcadia	Universidad de Castilla-La Mancha	1ª	SÍ	25/07/2020
Biblioteca de Filología Hispánica	Universidad de Oviedo	1ª	NO	25/07/2020
Ciencias Sociales y Humanidades	G9 Ediciones	1ª	SÍ	25/07/2020
Colección Histórica	Universidad de Granada	1ª	NO	25/07/2020
Bibliotheca Montaniana	Universidad de Huelva	1ª	NO	25/07/2020
Filosofía y Derecho	Marcial Pons, ediciones jurídicas y sociales, S.A.	1ª	SÍ	25/07/2020
Historia	Universidad de Cantabria	1ª	NO	25/07/2020
Instrumenta	Universidad de Barcelona	1ª	SÍ	25/07/2020
Estudios Constitucionales	Centro de Estudios Políticos y Constitucionales	1ª	NO	25/07/2020
Estudios Políticos	Centro de Estudios Políticos y Constitucionales	2ª	NO	06/07/2023
Història	Universidad de Valencia	2ª	NO	06/07/2023
Història i Memòria del Franquisme	Universidad de Valencia	2ª	NO	06/07/2023
Colección de Bioética	Universidad de Barcelona	2ª	NO	06/07/2023
Monografías de Humanidades	Universidad de Alcalá	2ª	NO	06/07/2023
Sociales	Universidad de Cantabria	2ª	SÍ	06/07/2023
Monografías. Historia y Arte	Universidad de Cádiz	2ª	NO	06/07/2023
DirCOM	Editorial UOC	2ª	NO	06/07/2023
Anejos Exenplaria Classica	Universidad de Huelva	2ª	SÍ	06/07/2023
Arquitectura, textos doctorado del IUACC	Universidad de Sevilla	2ª	NO	06/07/2023

Tabla 2: Resultados de la primera convocatoria y segunda de evaluación del Sello de edición académica

Fuente: ANECA, UNE y FECYT, 2018

Conclusiones

Con el objetivo de dar un paso más en promover el uso de indicadores en los procesos de evaluación más ajustados a todas las características de la investigación de cada disciplina, así como estimular la calidad en la edición académica mediante el reconocimiento de las mejores prácticas dentro de la edición universitaria española y convertirla en un signo distintivo que, tanto las agencias de evaluación de la actividad investigadora como la comunidad académica y científica, puedan identificar fácilmente, se implanta el Sello de Calidad de Edición Académica.

En las dos primeras convocatorias un total de 39 colecciones han obtenido el Sello, 29 en la primera convocatoria y 10 en la segunda. Estas colecciones pertenecen a 21 editoriales diferentes que han obtenido entre 1 a 5 sellos. Si analizamos las temáticas a las que están adscritas, predominan las áreas de conocimiento de Ciencias Sociales y Humanidades.

Es importante señalar que la validez de estos resultados tiene una limitación en el tiempo, dado que no hay que olvidar que las monografías tienen una vida paralela al desarrollo de las disciplinas en las que aparecen nuevas subdisciplinas o especialidades y otras desaparecen, pudiéndose afirmar que son las monografías un fiel reflejo del grado de desarrollo y de la evolución de cada campo del conocimiento. Es por tanto imprescindible mantener estos resultados actualizados en la medida que se pueda. El mundo de las monografías es muy dinámico, ya que constantemente aparecen nuevos títulos que, una vez consolidados, conviene evaluar. En resumen, es un trabajo que debe actualizarse periódicamente.

Referencias bibliográficas

ALCAÍN-PARTEARROYO, M.D., ROMÁN-ROMÁN, A y GIMÉNEZ-TOLEDO, E., 2008. Categorización de las revistas españolas de Ciencias Sociales y Humanas en RESH. Revista Española de Documentación Científica, 31(1), 85-95.

ANAYA, J., 2010. Editar en la universidad: paradojas y retros. Medellín: Editorial Universidad de Antioquía.

ACERO, JJ., 2007. Criterios de Calidad en la investigación en humanidades [en línea]. [Consulta: 20 de febrero de 2019]. Disponible en: http://webs.ucm.es/BUCM/der/doc18556.pdf

ANECA, 2017. Criterios de evaluación de ANECA para el programa ACADEMIA [en línea]. [Consulta: 20 de febrero de 2019]. Disponible en: http://www.aneca.es/Programas-de-evaluacion/Evaluacion-de-profesorado/ACADEMIA/Criterios-de-evaluacion-noviembre-2017

ANECA, UNE y FECYT, 2018. Guía de apoyo a la aplicación web e indicadores utilizados durante el proceso de evaluación del Sello de Calidad CEA-APQ [en línea]. [Consulta: 8 de marzo de 2019]. Disponible en: http://www.selloceaapq.es/Documentos/Convocatorias/DocumentacionGuiaEvaluacion/8_DocumentacionGuiaEvaluacion_220219091134.pdf

CARLINO, P., 2003. Alfabetización académica: Un cambio necesario, algunas alternativas posibles. EDUCERE, 6(20), 409-20.

CNEAI, 2018. Resolución de 14 de noviembre de 2018, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios específicos aprobados para cada uno de los campos de evaluación [en línea]. [Consulta: 28 de marzo de 2019]. Disponible en: https://www.boe.es/diario_boe/txt.php?id=BOE-A-2018-16138

CORDÓN-GARCÍA, J.A., et al, 2011. Las monografías en la edición científica y los perfiles de autoría y productividad en las universidades andaluzas [en línea]. Revista Cubana de Información en Ciencias de la Salud (ACIMED), 22(4). [Consulta: 9 de marzo de 2019]. Disponible en: http://eprints.rclis.org/16455/

CORDÓN-GARCÍA, J.A., y GÓMEZ-DÍAZ, R., 2010. Edición universitaria en el contexto de la edición científica: autoría, reconocimiento y valoración. El profesional de la información, 19(1), 28-34. DOI: 10.3145/epi.2010.ene.04

CORDÓN-GARCÍA, J.A., 2009. La edición universitaria en el contexto de la edición científica. In: Homenaje a Isabel de Torres Ramírez: Estudios de documentación dedicados a su memoria. Granada: Editorial Universidad de Granda, 115-130.

GIMÉNEZ-TOLEDO, E., et al, 2019. Taking scholarly books into account, part II: a comparison of 19 European countries in evaluation and funding. Scientometrics, 118(1), 233-251. DOI https://doi.org/10.1007/s11192-018-2956-7

GIMÉNEZ-TOLEDO, E., 2017. La edición académica española. Indicadores y características. Madrid: Federación de Gremios de Editores de España.

GUTIÉRREZ-PUEBLA, J., 1999. Las revistas internacionales de geografía: internacionalización e impacto. Boletín de la Asociación de Geógrafos Españoles, 27, 17-136.

GLÄNZEL, W. y SCHOEPFLIN, U.A., 1999. A bibliometric study of reference literature in the sciences and social sciences. Information processing and management, 35, 31-44.

HICKS, D., 2004. The four literatures of social science. In H. F. Moed, W. Glänzel, & U. Schmoch (Eds.), Handbook of quantitative Science and Technology Research: The use of publication and patent statistics in studies of S&T systems. Dordrecht: Kluwer Academic, 473-496

MAÑANA-RODRÍGUEZ, J y GIMÉNEZ-TOLEDO, E., 2018. Specialization and multidisciplinarity of scholarly book publishers: differences between Spanish University Presses and other scholarly publishers. Scientometrics, 114(1), 19–30. DOI https://doi.org/10.1007/s11192-017-2563-z

MAÑANA-RODRÍGUEZ, J y GIMÉNEZ-TOLEDO, E, 2011. Coverage of Spanish social sciences and humanities journals by national and international databases. Information Research, 16(4). Disponible en: http://informationr.net/ir/16-4/paper506.html

MENDOZA‐PARRA, S., et al, 2009. Visibility of Latin American nursing research (1959–2005). Journal of Nursing Scholarship, 41(1), 54-63. DOI https://doi.org/10.1111/j.1547-5069.2009.01251.x

MENDOZA-PARRA, S. y KLIJN. T.P. 2006. Origen, clasificación y desafíos de las revistas científicas. Investigación y postgrado, 2(1), 49-76. Disponible en: http://www.redalyc.org/articulo.oa?id=65821103

MORO-CABRERO, M., 2018. Identificación, caracterización y selección de formatos para la preservación del recurso digital, Métodos de información, 9(16), 5-46. DOI: http://dx.doi.org/10.5557/IIMEI9-N16-049090

NEDERHOF, A.J., 2006. Bibliometric monitoring of research performance in the social sciences and the humanities: A review. Scientometrics, 66(1), 81-100. DOI https://doi.org/10.1007/s11192-006-0007-2

REN, S. y ROUSSEAU, R., 2002. International visibility of Chinese scientific journals. Scientometrics, 53, 389-405. DOI https://doi.org/10.1023/A:1014877130166

ROMÁN-ROMÁN, A. y GIMÉNEZ-TOLEDO, E., 2010. Cómo valorar la internacionalidad de las revistas de Ciencias Humanas y su categorización en ERIH [en línea]. Revista Española de Documentación Científica, 33 (3), 341-377. [Consulta: 18 de febrero de 2019]. Disponible en: https://doi.org/10.3989/redc.2010.3.735

TORRADO-MORALES, S. y GIMÉNEZ-TOLEDO, E., 2012. British scholarly journals on Film Studies: study and evaluation of their internationality [en línea].. Journal of Scholarly Publishing, 44(1), 75-90.[Consulta: 20 de febrero de 2019]. Disponible en: https://doi.org/10.3138/jsp.44.1.75

WILLIAMS, K. y GRANT, J., 2018. A comparative review of how the policy and procedures to assess research impact evolved in Australia and the UK. Research Evaluation, 27(2), 93-105.

WOLFE-THOMPSON, J., 2002. The Death of the Scholarly Monograph in the Humanities? Citation Patterns in Literay Scholarship. Libri,52(3), 121-136.