“Tamanho não é documento”: nossas universidades produzem milhares de pesquisas, mas impacto global é pequeno

Marcelo Hermes-Lima é pesquisador e professor de bioquímica na Universidade de Brasília (UnB). Tem mais de 5,8 mil citações em revistas científicas internacionais, e é meu amigo também! 🙂

Nos primeiros meses de 2019, publiquei uma série de artigos nos quais apresentei a lastimável situação do impacto da ciência nacional. Acostumamo-nos a ouvir os governos do PT alardearem que o Brasil estava em 13º lugar no ranking de produção científica mundial. Essa posição foi, de fato, alcançada em 2009/2010 – época de grande “júbilo” de nossa ciência aos olhos da extrema-imprensa e do governo. O problema é que essa imensa quantidade de publicações científicas, por si só, não tem qualquer significado. Passamos de 18,5 mil artigos em 2002 para 68,7 mil em 2015 – um aumento de 270%. No ano seguinte, foram 72,1 mil artigos, mas caímos para a 14º posição mundial. Ao analisarmos o ranking de impacto científico medido em citações por publicação (ou CPP, citations per paper), a história é outra. Posicionamo-nos em 2016 no 53º lugar no ranking CPP de 66 países com pelo menos 3.000 publicações. O Brasil apresentou um impacto (CPP=2,12) 55% menor que o da Suíça, 1ª colocada (CPP=4,68). Nossas pesquisas envolveram investimentos de 1,3% do PIB (em 2016), percentual similar ao de diversos países com CPP substancialmente maior, como Portugal, Espanha, Itália, Irlanda e Estônia.

Qual a origem de boa parte da produção científica nacional? As universidades federais e as 3 universidades estaduais paulistas. Players secundários, em termos de quantidade, são a Embrapa, os institutos de pesquisa do MCTI, ITA, outras universidades estaduais e universidades privadas. Ora, se grande parte da nossa ciência vem das universidades, seria proveitoso avaliar como elas estão no ranking mundial de impacto da produção científica. Nesse sentido, o Leiden Ranking*, é excelente, pois classifica 938 universidades por quantidade de publicações ou por impacto. Ao olharmos para o ranking 2013-2016, o mais recente (divulgado em 2018), verificamos que a USP está em 8º lugar mundial em quantidade de publicações, com 16,1 mil artigos indexados no Web of Science (veja tabela abaixo). Em 1º lugar está Harvard, com 33 mil artigos. A Unesp, com 5,8 mil publicações, é a 2ª colocada do Brasil, e a 150ª no ranking mundial, seguida pela Unicamp e UFRGS – 186ª e 208ª, respectivamente.

Volume de publicação

Ranking por quantidade de publicações acadêmicas

Universidade Papers P (top 10%) PP (top 10%)
1º Harvard (EUA) 33.045
7.305 22,1%
2º Toronto (Canadá) 22.151
3.088 13,9%
3º Zhejiang (China) 20.876
2.005 9,6%
4º Shanghai Jiao Tong (China) 20.406
1.773 8,7%
5º Michigan (EUA) 18.348
2.806 15,3%
6º Tsinghua (China) 16.929
2.120 12,5%
7º Johns Hopkins (EUA) 16.831
2.698 16,0%
8º USP (Brasil) 16.120
955 5,9%
9º Nacional de Seul (Coreia do Sul) 15.468
1.217 7,9%
10º Stanford (EUA) 15.364
3.441 22,4%

À primeira vista é um resultado que deveria nos orgulhar, pois o Brasil tem uma universidade em 8º lugar. Porém, ao analisar o impacto acadêmico, tudo muda. O Leiden ranking realiza essa medida de duas maneiras distintas. Uma delas é pela quantidade absoluta de artigos de uma universidade que estão entre 10% mais citados do mundo (é o ranking top-10 absoluto). Assim, 955 artigos da USP estavam entre os 10% mais citados do planeta, assim como 7.305 artigos de Harvard. No ranking de impacto absoluto, Harvard continua em primeiro lugar, mas a USP cai para a 90º posição (confira tabela abaixo); Unicamp e Unesp despencam para 347º e 379º, respectivamente.

Impacto

Ranking de impacto, por quantidade de publicações acadêmicas no Top10 de citações recebidas

Universidade Papers P (top 10%) PP (top 10%)
1º Harvard (EUA) 33.045 7.305
22,1%
2º Stanford (EUA) 15.364 3.441
22,4%
3º Toronto (Canadá) 22.151 3.088
13,9%
4º Michigan (EUA) 18.348 2.806
15,3%
5º Oxford (Reino Unido) 14.505 2.732
18,8%
6º Johns Hopkins (EUA) 16.831 2.698
16,0%
7º MIT (EUA) 10.408 2.616
25,1%
8º Califórnia (Berkeley) (EUA) 11.811 2.557
21,6%
89º Boston (EUA) 6.095 961
15,8%
90º USP (Brasil) 16.120 955
5,9%

Na maior parte dos rankings que conhecemos –o Times Higher Education (THE),o Shanghai e o QS Ranking* – a USP está entre as 300 mais influentes universidades do mundo (posições nos rankings: 250-300º, 101-150º e 118º, respectivamente). Essas três empresas utilizam dados do tipo top-10 absoluto como um importante componente de cálculo dos rankings. Contudo, não nos esqueçamos: a USP é uma das maiores universidades do mundo. Publica milhares de artigos que recebem outros milhares de citações (62 mil citações em 2013-2016), o que faz com que muitos desses artigos apareçam na lista top-10 dos mais influentes do mundo. Nesse sentido, é fundamental utilizar uma métrica de impacto independente do tamanho das universidades.

Para isso, pensemos em nosso PIB, um dos maiores do mundo. Mas quando calculamos o PIB per capita, caímos para o 80º lugar do ranking do FMI. Assim, é crucial medir o impacto científico per capita, não de habitantes, mas por publicações. Analogamente, quando o Leiden ranking mede o impacto não pelo número absoluto de publicações top-10, mas pela proporção de artigos top-10 em relação ao total da universidade (o que gera um percentual de artigos top-10),há uma alteração radical na posição das universidades brasileiras. Essa é a segunda forma de cálculo de impacto.

Observa-se que os 7,3 mil artigos top-10 de Harvard que asseguravam o 1º lugar no ranking “top-10 absoluto” representam 22,1% do total de 33 mil publicados por esta universidade. Porém, de acordo com o ranking %top-10, Harvard cai do 1º para a 5ª colocação. A 1º colocada nesse ranking é a pequena Universidade Rockefeller, com apenas 1.002 publicações em 2013-2016, penúltima colocada em número de artigos no Leiden ranking. Porém, 316 desses artigos da Rockefeller estão entre os 10% mais citados do mundo, o que representa 31,5% das suas publicações (%top-10 = 31,5%). O MIT aparece em 2º lugar neste ranking, seguido por Princeton e Stanford (veja a tabela abaixo).

Impacto proporcional

Ranking de impacto, em % de publicações Top10 (citações recebidas) em relação ao total da universidade.

Universidade Papers P (top 10%) PP (top 10%)
1º Rockefeller (EUA) 1.002 316 31,5%
2º MIT (EUA) 10.408 2.616 25,1%
3º Princeton (EUA) 5.274 1.188 22,5%
4º Stanford (EUA) 15.364 3.441 22,4%
5º Harvard (EUA) 33.045 7.305 22,1%
6º Califórnia (Berkeley) (EUA) 11.811 2.557 21,6%
7º Caltech* (EUA) 5.215 1.088 20,9%
8º LSHTM** (Reino Unido) 2.022 409 20,2%
9º Instituto Weizmann (Israel) 2.526 501 19,8%
708º Guilan (Irã) 2.001 137 6,8%
709º Tabriz (Irã) 1.256 86 6,8%
710º UFSC (Brasil) 2.416 164 6,8%

*Caltech: Instituto de Tecnologia da Califórnia. **LSHTM: Escola de Higiene e Medicina Tropical de Londres.

Vejamos agora as universidades do Brasil no ranking %top-10. No caso da USP, apesar da autoria de 955 artigos entre os top-10 globais, eles representam apenas 5,9% do total da universidade (%top-10 = 5,9%). Isso faz com que a USP caia para de 90º para a 780º posição mundial ranking %top-10. Entre as universidades brasileiras, cai para a 8ª posição nessa classificação. A UFSC, em 710º lugar no mundo e com 164 artigos top-10 (%top-10 = 6,8%), é melhor posicionada entre as instituições do Brasil, sendo seguida pela UFSCar, 733º. A UnB, onde trabalho, ficou na 852º colocação global.

O Leiden ranking mostra 21 universidades brasileiras**: 16 federais, USP, Unesp, Unicamp, UERJ e Univ. Estadual de Maringá. Dez dessas instituições ficaram entre as posições 700 e 800 no ranking %top-10, e outras dez entre 800 e 900 (uma ficou abaixo de 900). Foram gerados 65,3 mil artigos por essas 21 universidades em 2013-2016, mas apenas 3.693 entraram na lista top-10 (%top-10 = 5,6%). Na média, 1 de cada 18 artigos de nossas universidades está entre os 10% mais citados do mundo. Comparativamente, no caso de Harvard, 1 de cada 4,5 artigos (%top-10 = 22,1%) está na lista top-10 – uma diferença de 4 vezes entre Harvard e a média de nossas universidades.

Em relação à UFSC, críticos dirão que é impossível que uma universidade pouco conhecida do público e relativamente pequena (2,4 mil publicações em 2013-2016) possa estar na frente da USP em impacto científico. Se esse resultado é “impossível”, toda nossa análise está equivocada. Mas os dados que mostramos estão em impacto relativo, que é quando normalizamos o efeito do tamanho das instituições. Assim, os 164 artigos top-10 da UFSC representam mais para essa universidade (%top-10 = 6,8%) que os 955 da USP (%top-10 = 5,9%).

Quando avaliamos as universidades em citações por publicação (CPP), verificamos resultados semelhantes aos doranking %top-10. A UFSC (CPP=4,08) é 1ª colocada em CPP das 21 universidades brasileiras na lista de Leiden. Já a USP (CPP=3,85) foi a 4ª colocada do Brasil em CPP. Os resultados de Rockefeller e Harvard são: CPP=21,4 e CPP=12,9, respectivamente. A diferença do CPP de Harvard para a USP, de 3,4 vezes, foi semelhante à diferença dos valores de %top-10 entre as duas universidades: 3,7 vezes. Outras comparações podem ser feitas entre CPP e %top-10 mas os resultados serão semelhantes. Dessa forma, o indicador %top-10 é comparável com o CPP – que utilizo há 15 anos. Ambos mostram que o impacto internacional (impacto relativo) de nossas universidades é realmente pífio.

Claro que existem excelentes pesquisadores em nossas universidades, que inclusive tiveram estudos entre os top 1% mais citados do mundo, a alta elite da ciência. A USP, por exemplo, obteve 75 publicações de alta elite em 2013-2016 (0,5% das publicações USPianas), comparado com 164 de Princeton (3,1%) e 353 de Oxford (2,4%).

As 21 universidades brasileiras que aparecem no Leiden ranking são custeadas por dinheiro público. O custo orçamentário dessas 21 instituições, somadas, foi de 38 bilhões de reais em 2017, valor elevadíssimo que resulta em uma contribuição mínima para a “ciência das descobertas” no âmbito global. De fato, apenas 5,6% das publicações (3.693 artigos, 2/5 pertencentes às três estaduais paulistas) tiveram relevância mundial e participaram da lista top-10.

Em resumo: gastamos muito e descobrimos pouco. Quando afirmo que “gastamos muito”, também me refiro ao tempo. Nossa pesquisa é feita muito lentamente – mesmo nos melhores laboratórios – devido a inúmeros entraves burocráticos (em especial para a importação de materiais de pesquisa) e absurdas ineficiências estruturais de nossas universidades. Por outro lado, muitos professores universitários fazem pesquisa de baixa qualidade e trabalham na ciência apenas por obrigação de oficio. Enchem seus currículos de publicações inócuas e inflacionam a produção nacional com lixo acadêmico. Para piorar, a universidade pública é “socialista”, pois um pesquisador que produz ciência ruim, que não é citada, recebe o mesmo salário que um cientista citado 500 vezes por ano – qual o estímulo para a excelência científica? Há muito para ser mudado, e radicalmente, seja no âmbito dos gestores, seja no dos pesquisadores. Isso caso desejemos sair da lanterninha mundial da ciência. Alô Bolsonaro! Alô MEC!

Observação: Agradeço ao Prof. Dr. Ricardo da Costa (UFES) pela revisão deste artigo

Publicações X citações recebidas

Confira abaixo, pelo desempenho de algumas universidades, como a posição no ranking pode mudar de acordo com o número de publicações e citações recebidas:

*Rankings:

Leiden: http://www.leidenranking.com/ranking/2018/list

THE: https://www.timeshighereducation.com/world-university-rankings

QS: https://www.topuniversities.com/qs-world-university-rankings

Shanghai: http://www.shanghairanking.com/

Volume de publicação no Brasil

As 21 universidades brasileiras que constam na lista do Leiden Ranking, ordenadas por quantidade de publicações

Sudeste Sul Nordeste Centro-Oeste

Universidade UF Papers P (top 10%) PP (top 10%)
1º USP SP 16.120
955 5,9%
2º Unesp SP 5.817
298 5,1%
3º Unicamp SP 5.336
331 6,2%
4º UFRGS RS 5.040
306 6,1%
5º UFRJ RJ 4.631
277 6,0%
6º UFMG MG 3.864
226 5,9%
7º UFSP SP 3.047
134 4,4%
8º UFSC SC 2.416
164 6,8%
9º UFPR PR 2.051
100 4,9%
10º UFPE PE 1.969
97 4,9%
11º UFScar SP 1.710
111 6,5%
12º UnB DF 1.603
81 5,1%
13º UFV MG 1.554
79 5,1%
14º UFCE CE 1.548
91 5,9%
15º UFSM RS 1.502
70 4,7%
16º UFF RJ 1.441
85 5,9%
17º UFRN RN 1.247
67 5,4%
18º UEM PR 1.211
58 4,8%
19º UERJ RJ 1.167
43 3,7%
20º UFBA BA 1.062
66 6,2%
21º UFGO GO 1.037
54 5,2%

Clay Zeballos

Um cara único no mundo, pelo menos no jeito de pensar e agir.

Comente aqui!

%d blogueiros gostam disto: