(Bu yazı, Toraks Bülteni’nin Eylül 2016 sayısında yayımlanmıştır. )
Nobel ödülü bilim dünyasının en saygın ölçütlerden biri, ancak herkes Nobel alamayacağına göre bilimsel performansı değerlendirmek için (öğretim üyesi alımı, akademik yükseltme, vs. açısından) başka bazı ölçütleri kullanma gereksinimi vardır. Bilim insanlarının performansını izlemek, bilimsel üretkenlik/etkinlik açısından ölçmek ve değerlendirmek için pek çok ölçüt geliştirilmiştir. Bu anlamda mükemmel diyebileceğimiz bir ölçüt –henüz- olmamasına rağmen, günümüzde kullanılan ölçütler içerisinde tutarlı olması ve genel bir bir değerlendirme sunması nedeniyle h-indeksin farklı bir yeri bulunmaktadır. Neden böyle bir indekse ihtiyaç duyulduğunun biraz arka planını irdeleyip, h-indeksi tanımladıktan sonra, eksik kalan yönlerine değinmeye çalışacağım.
Önce, 1980 yapımı “Caddyshack” filminde geçen bir diyalogu aktarmak istiyorum:
Filmdeki Judge isimli karakter Ty isimli oyuncuya,
“Bugün kaç sayı yaptın, Ty?”, diye sorar.
Ty: “Yapma Judge, biliyorsun ben skoru saymam”, der.
Judge, “Peki, kendini diğer golfçülerle nasıl kıyaslıyorsun?”, diye sorunca,
Ty, “Boyumla !” diye karşılık verir.
Bu diyalogdan çıkarılacak mesaj şudur: Değerlendirmede kullanılacak ölçüt, ilgili konuyla bağlantılı bir ölçüt olmalıdır.
Bilimsel Yayın Performansının Değerlendirilmesinde Sıkça Kullanılan Ölçütler
1. Toplam Yayın Sayısı: Üretkenliği göstermesi açısından önemli bir ölçüt. Ancak yapılan yayının önemi ve etkinliği konusunda bilgi vermediği için tek başına yeterli bir ölçüt değildir.
2. Toplam Atıf Sayısı: Yapılan çalışmaların ne kadar etkin olduğunu göstermesi açısından “atıf” önemli bir ölçüttür. Bir çalışmadan ne kadar bahsediliyor, ne kadar kaynak olarak gösteriliyorsa o denli önemlidir denebilir. Atıf mekanizmasının fikir babası, “Thomson Reuters” şirketinin önemli bir bileşeni olan “Institute of Scientific Information (ISI)”nin de kurucusu olan Eugene Garfield’dir (1). Tek başına kullanılması durumunda, toplam atıf sayısı eşit iki akademisyenin bu sefer de toplam yayın sayıları hakkında bilgi sahibi olma şansımız olmayacaktır. İkisi bir arada ele alındığında ise atıf sayısının yayınlarının tamamından mı, yoksa sadece belirli bir kısmından mı (örneğin çok atıf alan çok merkezli bir çalışma ya da derleme yazısı) kaynaklandığını anlama şansımız olmayacaktır. Önemli bir gösterge olmasına karşın, yapılan bilimsel çalışmaların değerini tam olarak yansıtma şansı yoktur. Ayrıca bir yayının çok atıf alması her zaman için o yayının çok nitelikli olduğu anlamına gelmeyebilir. Yayın, olumsuz bir yönü nedeniyle dikkat çekmiş ve çok sayıda atıf almış da olabilir.
3. Yayın Başına Düşen Atıf Sayısı: İlk iki ölçütün bir arada değerlendirilmesine olanak sağlayan bir ölçüttür. Yayın sayısı çok olan kıdemli bir akademisyen ile, kariyerinin henüz başında olan ve yayın sayısı az olan genç bir akademisyeni karşılaştırma olanağı sağlaması en önemli avantajıdır. Bir yayının atıf alması ortalama beş yıllık bir süreç gerektirdiğinden, bazen üretken bir akademisyenin (paydada çok sayıda yayın olması nedeniyle) değerlendirmesinde olumsuz sonuç verebilmektedir..
4. Nitelikli Yayın Sayısı: Sadece belirli bir sayının üzerinde atıf alınan yayınların dikkate alındığı bir ölçüttür (5’in üzerinde atıf alan çalışma sayısı gibi). Bu ölçütün kullanılması ile ilgili en önemli sorun, eşik değerin rastgele belirleniyor olmasıdır.
Resim 1. H indeks: En az h sayıda atıf alan h sayıda yayın.
H indeks
Yukarıda belirttiğimiz ölçütlerin eksik yönleri dikkate alınarak, Jorge E Hirsch tarafından 2005’te geliştirilen bir ölçüttür (2). H indeks, en az h sayıda atıf alan h sayıda yayını olduğu anlamına gelmektedir (Resim 1). Örnek verecek olursak h-indeksi 10 olan bir akademisyenin, 10 tane en az 10 atıf alan yayını varken, h-indeksi 5 olan bir başka akademisyenin ise 5’in üzerinde atıf alan en az 5 yayını var anlamına gelmektedir. Bir akademisyenin h-indeksinin bir puan artması için, örneğin 5’ten 6’ya çıkması için hem ilk beşte yer alan yayınlarının atıf sayısının 6 ve üzerine çıkması hem de ilk beşte yer almayan başka bir çalışmasının en az 6 atıf alması gerekmektedir. Örneklerden de görülebileceği gibi tek başına yayın sayısının artması, ya da sadece bazı yayınların çok sayıda atıf alması gibi faktörler h-indeksini kolayca etkileyememektedir. Artış için çalışmaların birbirine paralel olarak atıf almaya devam etmesi gerekmektedir. O yüzden de yapılan yayınların önemli ve nitelikli olduğunu kümülatif olarak daha iyi yansıtan bir ölçüttür. Yapılan bir çalışmada Nobel ödülü alanların %84’ünün h-indeksinin en az 30 olduğu görülmüştür.
Diğer ölçütlere göre daha tutarlı olması nedeniyle Web of Science (Thomson Reuters), Scopus (Elsevier) ve Google Scholar (Google) veri tabanları tarafından hesaplanmaktadır. Taranan dergi sayıları farklı olduğu için bu indekslerde farklı h-indeks değerleri hesaplanabilmektedir. Web of Science, indekse sadece etki değeri (impact factor) yüksek dergileri seçtiği için burada hesaplanan h-indeks değeri daha düşüktür (ama daha değerlidir). Daha çok sayıda dergiyi taradığı için Google Scholar’a ait h-indeks en yüksek değere sahiptir. Objektif değerlendirme açısından h-indeksi verirken hangi veri tabanının kullanıldığı da belirtilmelidir. H-indeks bilimsel dergilerin performansını değerlendirmek için de kullanılmaktadır.
H-indeksin Eksik Yönleri ve Diğer Ölçütler
H-indeks artışı, eş zamanlı olarak yayın sayısı ve atıflarının artışına bağlı olduğu için farklı disiplinlerde yer alan akademisyenlerin karşılaştırılmasında kullanılmaması gerekmektedir. Bazı bilim dallarında daha güncel konularda daha çok yayın yapıldığı için, doğal olarak atıf alma şansları da artmaktadır. Farklı disiplinleri karşılaştırmak için normalizasyon kriteri geliştirilmiş olsa da iç içe geçen disiplinler nedeniyle zorluk hala devam etmektedir. Yine genç akademisyenlerin kıdemli olanlarla karşılaştırılmasında çok uygun değildir. Bunun da üstesinden gelmek için “m-indeks” denilen başka bir indeks geliştirilmiştir; hesaplanmasında h-indeks, ilk yayın ile son yayın arasındaki süreye bölünmektedir. H-indeks ile ilgili bir sorun da çok atıf alan (yani listenin üstünde kalan) yayınları yansıtmamasıdır. Örneğin h-indeks 5 ise, teorik olarak en az 25 atıf (makale başına 5) var anlamına gelmektedir. Ancak en çok atıf alan ilk beş yayın toplamda 1000’den fazla atıf alsa da, 25 atıf alsa da h-indeks yine 5 olacaktır. Bu iki durumu birbirinden ayırt etmek için ise “g-indeks” geliştirilmiştir (3). G indeks, g2 kadar atıf alan g kadar sayıda yayını olduğunu göstermektedir. Yukarıda h-indeks 5’in ve h indeks 10’un ne anlama geldiğini belirtmiştim. Aynı örneği g-indekse uyarlayacak olursak, g-indeks 5 demek 25 tane (5’in karesi kadar) atıf alan 5 yayını, g indeks 10 demek, 100 (10’un karesi kadar) tane atıf alan 10 yayını olduğu anlamına gelmektedir. H-indeksteki gibi son yayının 10’un üzerinde olması gerekmemektedir (en az bir atıf almış olması yeterlidir).
Değişen teknoloji ile birlikte standartlar da hızla değişiyor. Son geliştirilen ve yakında adını daha sık duyacağımız Altmetric (4) atıf sistemini sil baştan değiştirebilir. Altmetric’te yapılan çalışmaların gazetelerde, sosyal medyada ve özellikle profesyonel platformlarda (Mendeley gibi) ne kadar bahsedildiği, bloglarda yer verilip verilmediği gibi birçok faktör göz önüne alınarak değerlendiriliyor ve yayının eş zamanlı çıkan yayınlar arasındaki yeri, kendi alanındaki değeri ile ilgili etki değerleri hesaplanıyor (Resim 2).
Resim 2. Altmetric: Sosyal medya gibi farklı platformların da göz önüne alındığı atıf sistemi
Kaynaklar
1.Garfield E. Citation Indexes for Science: A New Dimension in Documentation through Association of Ideas. Science, 1955; 122 (3159): 108–111.
2.Hirsch JE. An index to quantify an individual’s scientific research output. PNAS, 2005; 102 (46): 16569-16572.
3.Egghe L. Theory and practise of g-index. Scientometrics 2006; 69 (1): 131-152.
4.https://www.altmetric.com
Kategoriler:Akademi(k), Her Şey
GÜNLÜK 
Sayın hocam… 15 yıldır hemen hemen tek bir örümcek cinsinin taksonomisi üzerine çalışıyorum. Bu örümcek cinsinin coğrafi dağılımı “ağırlıklı olarak” Avrupa, Anadolu ve Kafkaslar.
Benim haricimde aynı cins üzerine çalışan Dünya üzerinde 6-7 kişiyiz. Şimdi ben mükemmel bir yayın yapsam; alacağım atıf sayısı belli. Çünkü atıf yapma olasılığı olan kişiler belli. Temel bilimlerde bir de böyle bir sıkıntı var… 🙂
Bu arada araştırmacılar için uygulanmasını candan istediğim bir indeks daha var. İnsanlık indeksi.
Sevgiler, kolaylıklar…
BeğenLiked by 1 kişi