Науковці об'єднуються з видавцями, щоб боротись з зловживаннями імпакт-факторами

Scientists join journal editors to fight impact-factor abuse

http://blogs.nature.com/news/2013/05/scientists-join-journal-editors-to-fight-impact-factor-abuse.html

Більше 150 вчених та 75 наукових організацій підписали Сан-Франциську декларацію щодо оцінки наукових досліджень ( San Francisco Declaration on Research Assessment (DORA) ). 

В цій декларації проголошується, що деякими наукометричними показниками, зокрема імпакт-фактором журналів, зловживають як швидким засобом оцінки результатів діяльності науковців та якості наукових статей.  

Зосередження на імпакт-факторах змінило стимули для вчених - вони здебільшого намагаються опублікуватись у журналах з високим імпакт-фактором, замість того, щоб намагатись проводити якісні дослідження.

Навіть компанія Thomson Reuters, яка розраховує імпакт-фактори журналів, застерігає щодо його бездумного використання.

Декларація містить 18 рекомендацій для фінансуючих організацій, дослідників, видавців та організацій, які розраховують наукометричні показники.

General Recommendation

1. Do not use journal-based metrics, such as Journal Impact Factors, as a surrogate measure of the quality of individual research articles, to assess an individual scientist's contributions, or in hiring, promotion, or funding decisions.

For funding agencies

2. Be explicit about the criteria used in evaluating the scientific productivity of grant applicants and clearly highlight, especially for early-stage investigators, that the scientific content of a paper is much more important than publication metrics or the identity of the journal in which it was published.
3. For the purposes of research assessment, consider the value and impact of all research outputs (including datasets and software) in addition to research publications, and consider a broad range of impact measures including qualitative indicators of research impact, such as influence on policy and practice.

For institutions

4. Be explicit about the criteria used to reach hiring, tenure, and promotion decisions, clearly highlighting, especially for early-stage investigators, that the scientific content of a paper is much more important than publication metrics or the identity of the journal in which it was published.
5. For the purposes of research assessment, consider the value and impact of all research outputs (including datasets and software) in addition to research publications, and consider a broad range of impact measures including qualitative indicators of research impact, such as influence on policy and practice.

For publishers

6. Greatly reduce emphasis on the journal impact factor as a promotional tool, ideally by ceasing to promote the impact factor or by presenting the metric in the context of a variety of journal-based metrics (e.g., 5-year impact factor, EigenFactor [8], SCImago [9], h-index, editorial and publication times, etc.) that provide a richer view of journal performance.
7. Make available a range of article-level metrics to encourage a shift toward assessment based on the scientific content of an article rather than publication metrics of the journal in which it was published.
8. Encourage responsible authorship practices and the provision of information about the specific contributions of each author.
9. Whether a journal is open-access or subscription-based, remove all reuse limitations on reference lists in research articles and make them available under the Creative Commons Public Domain Dedication [10].
10. Remove or reduce the constraints on the number of references in research articles, and, where appropriate, mandate the citation of primary literature in favor of reviews in order to give credit to the group(s) who first reported a finding.

For organizations that supply metrics

11. Be open and transparent by providing data and methods used to calculate all metrics.
12. Provide the data under a licence that allows unrestricted reuse, and provide computational access to data, where possible.
13. Be clear that inappropriate manipulation of metrics will not be tolerated; be explicit about what constitutes inappropriate manipulation and what measures will be taken to combat this.
14. Account for the variation in article types (e.g., reviews versus research articles), and in different subject areas when metrics are used, aggregated, or compared.

 For researchers

15. When involved in committees making decisions about funding, hiring, tenure, or promotion, make assessments based on scientific content rather than publication metrics.
16. Wherever appropriate, cite primary literature in which observations are first reported rather than reviews in order to give credit where credit is due.
17. Use a range of article metrics and indicators on personal/supporting statements, as evidence of the impact of individual published articles and other research outputs [11].
18. Challenge research assessment practices that rely inappropriately on Journal Impact Factors and promote and teach best practice that focuses on the value and influence of specific research outputs.

Stefano Bertuzzi, executive director of the American Society for Cell Biology (ACSB):  “The best of all possible outcomes would be a cultural change where papers are evaluated for their own scientific merit.” (Найкращий з можливих результатів - зміни в культурі, коли статті будуть оцінюватись за їхньою науковою цінністю).

Цікаве зауваження:

Борьба c злоупотреблением Импакт-факторами журналов « : Май 27, 2013, 12:01 » вышла любопытная статья "Scientists join journal editors to fight impact-factor abuse". http://blogs.nature.com/news/2013/05/scientists-join-journal-editors-to-fight-impact-factor-abuse.html"...more than 150 scientists and 75 science organizations are hoping for today, with a joint statement called the San Francisco Declaration on Research Assessment (DORA)". Видимо в своем CV теперь можно давать ссылку на эту декларацию с припиской, что мол, делал только качественную науку и печатал в подходящих журналах с хорошей репутацией, а не гнался за огромными импакт-факторами путем спекуляций, унижений, ужимания, выхощивания и подгонки статьи под формат журналов, приписыванием в авторы левых авторитетных ученых, и прочих манипуляций, что могли понизить качество работы.

Як використовують міжнародні наукометричні бази

Схоже, що багато людей розуміють наукометричні бази як впорядковані списки "схвалених" кимось статей.

Насправді, факт включення журналу чи статті до такої бази не означає її якості, "схваленості", наявності чи якості рецензування чи ще чогось - крім власне включення до цієї бази та "видимості" (Visibility) для користувачів цієї бази.

Якщо стаття опублікована у збірнику чи журналі, який є "невидимим" - це не означає її неякісності, це означає, що з точки зору інформаційного простору вона просто не існує в природі. Публікація у збірнику-віснику-мурзилці з точки зору інформаційного простору практично еквівалентна підготовці статті і розміщенні її у власному комп'ютері чи столі. Я знаю багато прикладів, коли результат, опублікований в мурзилці, пізніше був перевідкритий або просто скопійований з мурзилки без посилання, і опублікований в нормальному журналі. Нещодавно ми були дуже вражені, побачивши посилання одного білоруського вченого на статтю іншого білоруського вченого 70-х років - цей результат ми добре знали з статті західних вчених кінця 70-х з сотнями цитувань, без посилання на цього білоруського вченого. Тобто результат публікації в мурзилці - невідомість справжнього автора.

Зараз світ сильно змінився, і пріоритет разом з видимістю для фізико-математичних статей забезпечується публікацією на препрінтному сервері arXiv.org. Для інших наук ситуація може бути іншою, але, у будь-якому випадку, публікація в мурзилці фактично не закріплює пріоритет автора.

Вчені використовують наукометричні бази для пошуку за прізвищами, ключовими словами, посиланнями (цікаво, хто ще посилається на статтю яка вас цікавить - так можна побачити, чи хтось ще пропонував розвиток цієї теми). Деякі бази надають для конкретної статті списки подібних статей чи статей з тими ж ключовими словами.

Редактори журналів використовують ці бази для пошуку можливих рецензентів (авторів подібних статей, авторів цитованих статей).

Рецензенти використовують наукометричні бази для того, щоб визначити, чи процитовані всі адекватні джерела, чи отримав хтось такі ж результати раніше (публікації, яких не видно в цих базах, вони не побачать, і повторений результат з "мурзилки" буде опублікований як новий), чи не є стаття "самоплагіатом" (чи не публікували автори ці ж результати раніше).

Виконання вимог наказу МОН №1112 2012 року автоматичної "видимості" (Visibility) досягнень дисертантів не дає - для дисертації достатньо публікацій у будь-яких "невидимих" зарубіжних журналах. Тобто його мета, схоже, зовсім не видимість результатів українських вчених для міжнародної наукової спільноти, а забезпечення потоку публікацій і грошей аспірантів до платних російських мурзилок, і унеможливлення вчасного захисту для багатьох (тобто в результаті - платний захист). До речі, українські ВАКівські журнали цілком "видимі" для  Google Scholar (та і є вимога наявності сайтів та резюме і назви англійською).

Наукометричні бази використовуються також для наукометричних досліджень. Наведемо кілька
цікавих прикладів наукометричних досліджень на основі наукометричної бази Web of Science

Найбільш популярні галузі дослідження у 2013 році

Research Fronts 2013

Звіт "100 найбільш пріоритетних галузей науки та гуманітарних досліджень"
http://img.en25.com/Web/ThomsonReutersScience/1002571.pdf
(посилання взяте з http://forum.maidanua.org/T-Research-Fronts-2013)

Для кожної з 100 галузей наведені списки найбільш цитованих статей.

"Thomson Reuters generates data on “research fronts.” these specialties are defined
when scientists undertake the fundamental scholarly act of citing one another’s work, reflecting
a specific commonality in their research — sometimes experimental data, sometimes a
method, or perhaps a concept or hypothesis. As part of its ongoing mission to track the world’s
most significant scientific and scholarly literature, Thomson Reuters surveys patterns and groupings
of how papers are cited—in particular, clusters of papers that are frequently cited together.
when such a grouping attains a certain level of activity and coherence (detected by quantitative
analysis), a research front is formed, with the cocited papers serving as the front’s foundational
“core.”
Research front data reveal links among researchers working on related threads of
scientific inquiry, but whose backgrounds might not suggest that they belong to the
same “invisible college.” for example, within this report, you’ll read about how one of the
highlighted research fronts, representing the combined fields of mathematics, computer
science, and engineering, came together because of its underlying problem set, which required
interdisciplinary input."

Українських публікацій в переліку публікацій в "передових галузях" немає. (Але Молдова згадується).

Вплив розвалу СРСР на математику в США

http://www.nber.org/papers/w17800.pdf
THE COLLAPSE OF THE SOVIET UNION AND THE PRODUCTIVITY OF AMERICAN
MATHEMATICIANS
George J. Borjas, Kirk B. Doran

Навіть якщо ви зовсім не знаєте англійської, рекомендую подивитись - там багато графіків. Та й можна оцінити масштаб можливих досліджень з застосуванням наукометричних баз.

Висновки:

"Our empirical analysis unambiguously documents that the typical American mathematician whose research agenda most overlapped with that of the Soviets suffered a reduction in productivity after the collapse of the Soviet Union. Based solely on the pre-1992 age-output profile of American mathematicians, we find that the actual post-1992 output of mathematicians whose work most overlapped with that of the Soviets and hence could have benefited more from the influx of Soviet ideas is far below what would have been expected. The data also reveal that these American mathematicians became much more likely to switch institutions; that the switch entailed a move to a lower quality institution; that many of these American mathematicians ceased publishing relatively early in their career; and that they became much less likely to publish a “home run” after the arrival of the Soviet émigrés. Although total output declined for the pre-existing group of American mathematicians, the gap was “filled in” by the contribution of Soviet émigrés."

Дослідження було проведене для "традиційно радянських" та "традиційно американських" галузей математики.

How are new citation-based journal indicators adding to the bibliometric toolbox? Як нові показники на основі цитувань впливають на набір бібліометричних інструментів?

http://arxiv.org/abs/0909.4457

Loet Leydesdorff

(Submitted on 24 Sep 2009)

The launching of Scopus and Google Scholar, and methodological developments in Social Network Analysis have made many more indicators for evaluating journals available than the traditional Impact Factor, Cited Half-life, and Immediacy Index of the ISI. In this study, these new indicators are compared with one another and with the older ones. Do the various indicators measure new dimensions of the citation networks, or are they highly correlated among them? Are they robust and relatively stable over time? Two main dimensions are distinguished -- size and impact -- which together shape influence. The H-index combines the two dimensions and can also be considered as an indicator of reach (like Indegree). PageRank is mainly an indicator of size, but has important interactions with centrality measures. The Scimago Journal Ranking (SJR) indicator provides an alternative to the Journal Impact Factor, but the computation is less easy.

Порівнюються наукометричні показники бази Web of Science (імпакт-фактор та інші) з показниками Scimago Journal Ranking, Scopus та Google Scholar.

*******************
Приклад пропозиції щодо нового наукометричного показника

http://arxiv.org/ftp/arxiv/papers/1305/1305.6026.pdf