неділю, 24 березня 2013 р.

Нова хвиля агітації за імпакт-фактори як критерій істини

Андрій Гусак. Університетська наука в країні уявних величин

"Якщо ми хочемо стати нормальною країною, то повинні відмовитися від вітчизняних критеріїв оцінки наукового рівня вишів, академічних інститутів чи окремих науковців і перейти ВИКЛЮЧНО НА МІЖНАРОДНІ КРИТЕРІЇ. Вважаю, що критерієм НАУКОВОГО рівня університету повинна бути не кількість спецрад і навіть не кількість докторів і кандидатів наук, а виключно НЕЗАЛЕЖНА МІЖНАРОДНА оцінка наукового продукту. Для природничих фундаментальних і гуманітарних наук — це індекс цитування (сумарний і середній на одного співробітника індекс Гірша), а також сума добутків кількості статей співробітників на імпакт-фактори журналів, де вони публікуються (середня цитованість на одну статтю). Для технічних наук — сказав би "економічний ефект", якби не знав дечого про традиції приписок економічного ефекту ще з часів СРСР — хай тут краще визначаться самі "технарі". Хоча модний нині індекс Гірша, як і будь-який інший критерій, не є ідеальним (до нього теж починають пристосовуватися), він, проте, залишається найзручнішим і порівняно об'єктивним критерієм, бо створюється роками, його не купиш за гроші, не підвищиш по блату. Якщо із часом наукометрія винайде щось краще, можна буде перейти на інший критерій — головне, щоб він був незалежний і міжнародний."

Міжнародний досвід і міжнародні наукометричні бази

Міжнародний досвід оцінки наукової діяльності буває двох сортів.
1. Адекватний - з різнобічною оцінкою та дотриманням етичних стандартів
2. І досвід багатьох країн, що розвиваються - коли активні персонажі накручують собі захмарний рейтинг з використанням різних майже законних прийомів.

У нас ситуація набагато гірша ніж в тих країнах - їхні президенти і голови парламентів не доктори-проффесори-академіки (якщо вони не отримали ті звання задовго до політичної кар'єри), масштаби дописування кого попало до статей далеко не такі, в їхніх університетах повно людей з справжньою, зокрема, західною освітою, професори та навіть асистенти не мусять жити  на жебрацьку зарплату і працювати в корупційному середовищі, мають гроші на журнали, відвідування конференцій та стажування... Попадалися мені  досить таки пихаті професори з сотнями статей та десятками аспірантів  - але все ж вони добре знають англійську, розуміють що в їхніх статтях написано, аспірантами самі реально керують (навіть якщо пишуть вони щось на рівні університетських домашніх завдань для студентів) - але до такого там дуже далеко.  Хоча фабрик вчених ступенів повно де завгодно - але ці фабрики працюють в основному для тих, хто хоче повісити диплом в рамку в вітальні, а не для зав. кафедрою чи вищих чиновників. Покупець такого диплому за спробу його використати, як правило, матиме серйозні проблеми. Є, звісно, окремі аферисти які під своїм ім'ям вивішували в arXiv.org чужі препрінти, а після викриття змінили одну літеру в прізвищі і продовжують в тому ж дусі.
Так от - з нашими переважаючими етичними стандартами в науці найбільші імпакт-фактори (якщо це введуть у якості вагомого критерію) матимуть саме адміністратори і аферисти. Може, правда, критерії трохи підправлять, щоб цим категоріям було простіше, і можна було рахувати якісь фіктивні статті чи статті в платних англомовних журналах, які друкують що завгодно.

Знову ж таки - слово "міжнародний" в умілих руках може означати що завгодно. В тому числі публікації в стилі останнього російського дисертаційного скандалу.

Імпакт-фактор - це хороший приблизний критерій (горизонтальних наукових зв'язків та включеності у світовий науковий простір - НЕ ЯКОСТІ!!!!) до того моменту, поки він офіційно встановлений як критерій владою типу нашої. Перш ніж їх застосовувати, непогано розібратись, що це таке - навіть безвідносно до наших конкретних умов.

В коментарях до процитованої на початку статті народ збирається групуватись і щось розробляти. Це все вже було в різних масштабах - з початку 2005 року, коли народ різко повірив в можливість реформ. В наших умовах є кілька проблем з будь-якими критеріями оцінювання:
1. Ніхто, як і тоді, громадськість не питав і не питатиме. "Керівники" не розуміють що до чого в тих імпакт-факторах, воно їм непотрібне і вони максимум щось змавпують з Росії. Хоча корисне (наприклад, автоматичне визнання дипломів і ступенів найкращих світових університетів) чомусь не мавпують.
2. "Керівники" підсвідомо бояться тих, хто розумніший, і поки що активно працює механізм негативного природного відбору, іншим пробиватись дуже важко.
3. Реальна наука і науковці владі непотрібні - атомна бомба непотрібна, у вічну молодість силами вітчизняних вчених вони (на відміну від Сталіна) не вірять, те що потрібно для спецслужб - десь куплять. Подумайте (для цього досить проаналізувати урядові законопроекти про вищу освіту), що потрібно владі - потоки грошей від освіти + слухняні ректори, викладачі і студенти.
4. Наш науковий Титанік вже зустрів свого айсберга... За чутками, деякі інститути в центрі Києва вже одержали накази звільнити приміщення до певної дати.

Трохи футурології

За всієї моєї надзвичайно глибокої поваги до Андрія Гусака і ще декількох людей, які героїчно працюють на міжнародному рівні в українських провінційних вузах - введення "міжнародних" критеріїв в умовах наших низьких етичних стандартів цілком може означати:
1. Завдання для здатних на щось викладачів писати статті в міжнародні журнали для видання за підписом начальства.
2. За посилання статті за кордон без дозволу (і авторства кого треба) - стаття за шпіонаж-порушення авторського права університету-продаж результатів за кордон чи як мінімум звільнення...
3. Потоки низькоякісних статей з України поганою англійською, зведення на рівень плінтуса репутації навіть тих вузів та інститутів які її мають зараз.
4. Історії в стилі el-Naschie, правда, наші кадри на відміну від Ель-Наші в суди на іноземних журналістів не подаватимуть, бо їм ніхто про такі публікації не доповість, а самі вони, знову ж таки, на відміну від Ель-Наші, англійською не читають.
5. Масові публікації в низькоякісних платних зарубіжних журналах (в тій же Росії настворювали повно такого, та й росіяни в Німеччині та Америці заснували кілька варіантів такого самвидаву) - які цілком можуть індексуватись в таких же міжнародних наукометричних базах чого завгодно.
Звісно, автори таких журналів  будуть у виграші - що дасть більший показник за "міжнародними критеріями" - швидкі гарантовані публікації - чи необхідність тривалого рецензування в журналі з пристойною репутацією?
5. Слабенький біологічний журнал має, як правило вищий рейтинг, ніж дуже хороший математичний, а чиновники в тому не розбиратимуться.
6. Накручування імпакт-факторів та індексів цитування - цілком реальний та алгоритмічний процес, а шустрих громадян в цій галузі багато. Різним одіозним персонажам за відносно невеликі гроші організують скільки завгодно статей в журналах з імпакт-фактором - і реальні вчені на їхньому фоні виглядатимуть блідо, і нинішня ситуація здаватиметься раєм.
7. "Міжнародні критерії" наші чиновники можуть перетворити на що завгодно та бюрократичний жах - див. досвід нашого болонського процесу, який ніякий не болонський процес.
8. Не будемо називати прізвища, але такі критерії люблять організовувати та пропагувати люди, яких вже звинувачували в штучному накручуванні  показників їхніх журналів та дописуванні до робіт аспірантів з паралельним гнобленням непокірних аспірантів... За будь-яких умов, в нашій країні така оцінка має хоч найменший сенс лише для людей, які не мають жодного стосунку до адміністративних посад чи редакцій журналів.

Реально - стаття в журналі з імпакт-фактором - це певна ймовірність якості, але ніяка не гарантія. Аналогічно - секретний дисер та/або захищений в Росії людиною, яка працює в Україні - це майже гарантовано фуфло, але звісно не 100% гарантія фуфла. Та й багато старих українських заслужених мурзилок вже мають ненульові імпакт-фактори типу 0,01. І що? Як не було там справжнього рецензування, так і нема. Скопус точно ніякого рецензування не вимагає, і за переважне самоцитування журналу з рейтингу не виключає.

Що робити

Пріоритетним має бути дотримання етичних стандартів. Імпакти з хіршами - це другорядне.

А критерії треба формувати для себе, щоб розуміти самим що до чого і хто чого вартий. Навіть як неформальний критерій - імпакт-фактори статей та індекс цитування окремої людини може застосовуватись тільки в комбінації з оцінкою діяльності в цілому. Не треба офіційних критеріїв - сформуйте неформальні критерії і пропагуйте. Формуйте горизонтальні зв'язки з іншими адекватними людьми, не підписуйте позитивні відгуки на всяке фуфло, намагайтесь просувати на посади і всіляко підтримуйте нормальних людей. Робіть свої сайти та сторінки - хоча б сторінки в Гуглсколарі та Рісерчгейті. Допоможіть зробити або зробіть сторінки хорошим літнім вченим які самі то не зроблять... І звичайно, треба вчити англійську і пояснювати молоді, що без знання англійської ніякої науки бути не може.

А якщо хочеться за щось радикально боротись - у нас треба боротись за етичні стандарти в науці. Які і є міжнародними стандартами, на відміну від імпакт-факторів і похідних коефіцієнтів, які є просто технічними показниками і для кожного конкретного вченого чи конкретної статті не означають нічого визначеного.

Один простий - зрозумілий - міжнародний - чисельний - об'єктивний -безумовний критерій оцінки наукової діяльності

До речі, у нас можна застосувати ще один простий і дійсно міжнародний критерій здатності займатись науковою діяльність - знання англійської. Вільне, з можливістю читати і писати статті з спеціальності "без словника".  Так, в тому числі для педагогів і шевченко- (і пушкіно-) знавців... Беремо бали IELTS та TOEFL, які вимагають середні британські, канадські та американські університети для аспірантів відповідних спеціальностей, з певним коригуючим коефіцієнтом на вік наукового співробітника чи викладача (для початку 2% за рік, тобто для 50-річного досить 50% від балу для аспіранта). Об'єктивно, справедливо, міжнародно. Звісно, це не гарантія здатності до наукової діяльності - але, дисертація людини, яка не знає англійської (треба знати, а не "здати кандидатський екзамен") - не відповідає вже діючим українським стандартам, бо ця людина в принципі не може знати сучасного стану своєї галузі. Звісно, це ніяка не гарантія від історій типу Ель-Наші і деяких знайомих професорів з країн, що розвиваються - але хоч щось.

Очевидно, що більшість людей вважатиме застосування такого критерію абсурдом, тим більше для гуманітаріїв. Але іноземних вчених більше за все дивує масове незнання англійської серед наших вчених, а не імпакт-фактори журналів. Та й до якості наукової роботи цей критерій має приблизно такий же стосунок, як і індекси цитування та імпакт-фактори журналів, де опубліковані статті...

стаття + коментарі Імпакт-фактори українських наукових журналів - 2011
стаття + коментарі http://maidanua.org/arch/arch2006/1146924442.html
http://maidanua.org/static/mai/1142492963.html
стаття + коментарі http://maidanua.org/arch/oldosvita/1142688133.html

вчені протестують проти абсолютизації імпакт-факторів
http://blogs.nature.com/news/2013/05/scientists-join-journal-editors-to-fight-impact-factor-abuse.html
Сан-Франциська декларація щодо оцінки наукових досліджень http://am.ascb.org/dora/

Немає коментарів:

Дописати коментар