Qualidade da produção científica é tema do Centro de Estudos
Como determinar a qualidade de um artigo, de uma publicação ou de uma produção científica? Quais fatores são referências para uma adequada análise sobre a importância de uma produção? Que áreas devem determinar essas referências? Estas foram algumas das questões levantadas na última edição do Centro de Estudos do Instituto Oswaldo Cruz (IOC), realizado no dia 9 de junho.
A pesquisadora Letícia Strehl, mestre em Comunicação e Informação e graduada em Biblioteconomia pela Universidade Federal do Rio Grande do Sul (UFRGS), expôs sua pesquisa sobre o tema e levantou questões e avaliações sobre o Fator de Impacto do ISI , sistema atualmente utilizado por entidades de pesquisa como o CAPES e o CNPQ para qualificar a produção científica e, consequentemente, direcionar o financiamento público das pesquisas.
O Fator de Impacto (FI) determina o número de vezes que uma publicação é citada em um período de dois anos, dividido pela quantidade de artigos publicados. O sistema foi idelaizado por Eugene Garfield e desenvolvido pelo Information Sciences Institute (ISI).
O trabalho produzido por Letícia na área de física - O Fator de Impacto do ISI e a avaliação da produção científica: aspectos conceituais e metodológicos - abordou os tipos de indicadores bibliométricos de impacto, tendo como fonte de informações as citações feitas a trabalhos científicos. A premissa da pesquisadora é a de que trabalhos importantes são frequentemente citados na literatura. Além disso, trabalhos que geram outras publicações importantes, mesmo que não tenham tantas citações, também considerados de grande relevância.
Há aproximadamente 75 anos, jornais e revistas são avaliados por bibliotecários e cientistas que atuam na área de difusão de informações científicas. O ISI, fundado em 1960 e atualmente com o nome de Thomson Scientific (www.isinet.com), tornou-se um referencial em serviços de banco de dados bibliográficos. Durante sua palestra, Letícia retomou algumas das ferramentas criadas por Garfield (www.garfield.library.upenn.edu).
Alguns dos serviços oferecidos são o ISI Citation Indexes (anos 50) , o Journal Citation Reports (JCR, dos anos 70) e o ISI Impact Factor (1963), mencionado anteriormente . O chefe do Laboratório de Genética Humana do IOC e moderador do debate, Pedro Cabello, ressaltou a relevância do Fator de Impacto. "O sistema é de extrema importância, porque poderá ser aplicado no Instituto Oswaldo Cruz e permitirá a avaliação da produtividade das pesquisas e determinar seu financimanto", resume. Apesar disso, Pedro observou que o FI possui limitações de classificação e precisa ser desenvolvido de acordo com as necessidades do IOC e de cada uma de suas áreas científicas..
Letícia explicou que o FI-ISI pretende recuperar artigos de um determinado assunto e identificar o impacto de publicações científicas por meio de métodos como a indicação de citação imediata (que mede a rapidez), a permanência de determinada citação (que mede a consistência, conhecido como Cited half-life ) e os fatores citados anteriormente, como o JCR e o FI.
Um dos problemas apontados pela palestrante, é o de que muitos dos artigos submetidos às revistas científicas passam por uma revisão e a versão editada acaba por ser apontada nos indicadores de fator de impacto como os principais, em detrimento dos documentos originais. A própria pesquisadora, que mostra simpatia pelo indicador do ISI, questiona: "Como comparar áreas que têm padrões de produtividade distintos?"
Sistema de classificação ainda causa polêmica
Entre as sugestões ao Fator de Impacto do ISI, Letícia observou que determinadas áreas precisariam de período maior para indicar relevância. Além disso, outros pesquisadores presentes apontaram a disparidade entre áreas distintas (como Neurologia e Física) e também entre subáreas dentro da mesma área científica que não são corretamente observadas pelos índices do ISI.
Alguns dos artigos mais destacados, de acordo com o ISI, não são os apontados como mais importantes nem mesmo pelos autores. Além disso, Pedro Cabello ressaltou que a classificação serve inicialmente a editores, biblioteconomistas e anunciantes. "A intenção de Garfield foi avaliar, categorizar e classificar as publicações científicas por meio de uma análise quantitativa, permitindo uma comparação entre as publicações. Apesar de útil, o FI-ISI necessita de outros fatores de correção para áreas diferentes", dispara.
Entre as divergências expostas durante a discussão, houve pelo menos um consenso: qualquer que seja a avaliação acadêmica, ela deve atender (e entender) as especificidades das subáreas. Além disso, o IOC poderá desenvolver uma metodologia própria e, consequentemente, influenciar outras instituições de pesquisa e de fomento.
Gustavo Barreto, junho de 2006
Instituto Oswaldo Cruz /IOC /FIOCRUZ - Av. Brasil, 4365 - Tel: (21) 2598-4220
| INTRANET IOC| EXPEDIENTE
Manguinhos - Rio de Janeiro - RJ - Brasil CEP: 21040-360
