Fatores de impacto, outros índices bibliométricos e desempenhos acadêmicos

Harley E. A. Bicas, Edna Terezinha Rother, Maria Elisa Rangel Braga

Temas complementares ao das indexações e bases de dados, abordados em nossos dois últimos editoriais, são os de índices bibliométricos; que não teriam muitas repercussões para além de estudos biblioteconômicos não fôsse a importância que lhes têm sido atribuidas por instituições balisadoras da produção científica no Brasil: Universidades e agências de fomento à pesquisa (FAPESP, CNPq, CAPES e outras). De fato, a adoção de tais critérios por instituições formuladoras das políticas científicas nacionais imprime uma inequívoca orientação aos elementos que dela dependem, direta ou indiretamente, sobre como proceder em seus trabalhos. Entre tais índices, o mais famoso é o fator de impacto (I.F.), uma criação do Institute for Scientific Information (I.S.I.) e gerado pelo Science Citation Index (SCI), uma base de dados multidisciplinar em ciência e tecnologia, para avaliar a repercussão que um artigo publicado poderia apresentar sobre a comunidade científica. Por definição, o fator de impacto num dado ano vem a ser o número de vezes que os artigos de uma revista cientifica, publicados nos dois anos anteriores, aparecem citados, dividido pelo total de artigos por ela publicados, no mesmo período das citações examinadas pelo S.C.I. Esses dados gerados pelos índices de citações são agregados ao Journal Citation Report (JCR), servindo também como fator para análise das revistas referidas, e que determina o fator de impacto de tais publicações na comunidade científica. Por exemplo, para cálculo do I.F. de uma revista em 1995, toma-se o total de citações (nas publicações desse ano acompanhadas pelo S.C.I.) aos artigos daquele periódico analisado, vindos à luz em 1993 (e.g. 28697) e 1994 (e.g. 23204), dividido pelo número de seus artigos em 1993 (e.g., 990) e 1994 (e.g., 927), isto é: (28697 + 23204) / (990 + 927) = 27,07.

Há, ainda, dois outros padrões propostos pelo ISI: o do índice de "imediação" (immediacy index"), calculado pelo número de citações aos artigos durante o mesmo ano em que eles são publicados, representando a idéia da rapidez com que são referidas as produções daquele órgão; e o da vida média de citações, dado pelo número de anos retrospectivos em que o número de citações se reduz à metade de seu total inicial, dando assim a noção de quanto tempo os artigos dessa revista continuam sendo citados, após suas publicações. Mas dos três, o mais usado e, por isso, importante, é o "fator de impacto", que calcula essecialmente o número de vezes que um artigo, ou uma revista é citado, e que embora proposto para quantificar a influência ou a qualidade da publicação (artigo ou revista), passou a ser aplicado à avaliação da produção de autores, cursos e instituições.

Obviamente, órgãos de maior divulgação e visibilidade são mais lidos, daí originam mais referências, criando competição de autores para neles verem publicados seus trabalhos e, portanto, ganharem maiores oportunidades de serem citados. De fato, para um autor, vencer numa competição dessas já seria motivo de orgulho pelo reconhecimento da qualidade de seu artigo. A maior visibilidade garante-lhe, além disso, o possível prestígio de citações e de "impacto". A tendência é o fechamento de um círculo vicioso sobre a qualidade (e, pois, demanda) desses periódicos. Por outro lado, índices de impacto variam em função de enorme série de condições, tais como o idioma da publicação, a natureza do assunto (artigos sobre métodos ou técnicas, ou de atualizações, costumam ter índices mais altos) e, pois, do próprio órgão de publicação (os de pesquisa básica e pura geralmente mostram I.F. mais altos que os de artigos em áreas especializadas e de aplicação), sua atualidade, o número médio de autores num artigo (o que também se relaciona ao assunto), além do próprio prestígio de seus autores ou instituições, assim como da difusão, do número de artigos publicados e importância da revista. Claro, também, que o fator de impacto não depende, necessariamente, da boa qualidade do artigo (citações podem ser para contestá-lo). Uma outra crítica negativa que se faz ao I.F. é a do uso exclusivo das citações de um único banco de dados (o S.C.I.).Além disso, diferentes áreas do conhecimento possuem perfis peculiares para referências, de maneira que I.F., índice de imediação e de vida-média variam muito entre elas, na dependência do modo como os conhecimentos evoluem, nelas.

Revistas muito específicas, concentradas sobre aspectos de uma especialidade, por isso monopolizando atenções e atraindo novos artigos sobre o assunto de interesse, tendem a possuir impactos maiores que as de espectros mais abrangentes. Suponha-se que existam três assuntos bem delimitados (A, B, C) cada um tendo a sua revista própria (que recruta, por hipótese, 2/3 dos artigos referentes à matéria), enquanto para uma revista genérica da especialidade (Z) cabe o terço restante de cada produção específica. Suponha-se que as revistas possuam idênticas quantidades de artigos publicados num ano (por exemplo 120, sendo pois 240 o denominador do I.F.), cada um com 9 referências bibliográficas, isto é, 2160 citações em cada periódico sob análise. Suponha-se ainda que todos os artigos por elas publicados nos dois anos precedentes sejam igualmente citados no período em que o fator de impacto está sendo analisado. Assim, na revista do assunto A, das 2160 citações 2/3 correspondem a artigos publicados na própria revista (1440), enquanto um terço é do assunto A na revista Z. O índice de impacto "próprio" dessa revista A é 1440/240 = 6. O mesmo ocorre para as revistas B e C. Já na revista Z, das 2160 citações sob análise, 720 são de cada assunto (A, B, C), em cada qual 2/3 (isto é, 480) referem-se a artigos publicados na revista específica e um terço (isto é, 240) corresponde aos aparecidos no próprio órgão Z. Assim, o índice de impacto "próprio" dele (Z) será (240x3)/240 = 3. Por que Z teria um impacto tão mais baixo, quando todos os artigos foram considerados identicamente "impactantes" em quaisquer dos órgãos? O problema, obviamente, é de metodologia de cálculo do I.F., uma condição que ficaria ainda mais evidente se também os outros periódicos fossem considerados. Então, o I.F. de Z em cada um dos específicos (A, B, C) seria 720/240 = 3, e, portanto, seu total passaria a (3x3) + 3 = 12 ou seja (ver Tabela) 2880/240 = 12. Enquanto o de cada órgão específico (A, B ou C) em Z seria de 480/240 = 2 e o total, para cada um deles, ficaria 2 + 6 = 8, ou seja (ver Tabela) 1920/240 = 8. Uma estranhíssima inversão de valores: os periódicos antes considerados mais impactantes seriam agora menos! Logicamente, não se mede a "qualidade" da revista no que tange à sua capacidade de penetração na comunidade e de influência sobre ela mas, tão somente, uma das peculiaridades técnicas do periódico (sua abrangência, ou sua especificidade temática).

O número médio de autores num artigo é também causa influente. Suponha-se que dois autores (a e b) produzam, separadamente, dois artigos, enquanto dois outros (c e d) publiquem, em co-autoria, mais dois artigos. Se um novo trabalho citar os quatro artigos anteriores, sua contribuição para a formação do fator de impacto de cada autor (a, b, c, d) seria o dobro para os dois últimos (c e d) quando em relação aos dois primeiros. Claro! pode-se argumentar, quem produziu "mais" deve ter impacto maior do que quem produziu "menos" (na verdade, um argumento sofístico já que, aritmeticamente, c e d deveriam ser considerados como produzindo meio trabalho em cada uma das suas duas publicações). Mas, então, mesmo se esse argumento fosse aceito, o fator de impacto passaria a um índice quantitativo (dependente do número de trabalhos em que o nome do autor aparece) e não qualitativo (a importância do trabalho na construção do conhecimento). Mais, ainda, se considerar a probabilidade de auto-citações num trabalho, sabidamente maior do que a de referências ao amplo universo de outros autores (ou seja, é mais provável que um trabalho apareça referido em artigo subseqüente do mesmo autor, do que no de outra pessoa). Operações esdrúxulas, como a multiplicação de "número de trabalhos" por "fator de impacto" para se aquilatar um novo possível índice da influência científica de um autor, seriam meras redundâncias.

Em suma, os índices bibliométricos (principalmente o I.F.), cujo exagero de uso e atribuições de importância para além de suas aplicações originais têm recebido reiteradas críticas de vários setores da comunidade científica, se e quando aplicados, devem sê-lo apropriada e refletidamente, levando-se em conta inúmeras outras variáveis.