Kör hakemlik süreci: tek kör ve çift kör değerlendirme nasıl kurulur

Kör hakemlik, yazar ile hakemin kimliklerinin birbirinden gizlendiği akran değerlendirmesi yöntemidir: tek kör modelde yazar hakemi tanımaz, çift kör modelde hakem de yazarı tanımaz. Sağlıklı bir süreç için dört unsur birlikte kurulmalıdır: dosyaların gerçekten anonimleştirilmesi, çıkar çatışmalarının ayıklanması, doğru hakemin atanması ve kararın gerekçeli bir geri bildirimle yazara iletilmesi. Bu rehber, akademik dergiler ve kongreler için her unsurun nasıl tasarlanacağını anlatıyor.

Tek kör ve çift kör hakemlik arasındaki fark nedir?

Tek kör hakemlikte hakem yazarın kim olduğunu bilir, yazar ise hakemin kimliğini öğrenmez. Uygulaması kolaydır, çünkü dosyaların anonimleştirilmesi gerekmez; ancak hakemin yazarın kurumu, kıdemi ya da önceki çalışmaları hakkındaki bilgisi, farkında olmadan değerlendirmeyi etkileyebilir.

Çift kör hakemlikte iki taraf da birbirini tanımaz. Bu model kişiye değil çalışmaya odaklanan bir değerlendirmeyi amaçlar ve birçok akademik dergi ile kongrenin tercih ettiği yöntemdir. Bedeli, anonimleştirmenin titizlikle yapılması gerekliliğidir; tek bir dosya adı ya da teşekkür paragrafı yazarın kimliğini açığa çıkarabilir.

Kimliklerin paylaşıldığı açık hakemlik gibi modeller de vardır, ancak bu yazı kör modellere odaklanıyor. Hangi model seçilirse seçilsin, yazarlara ve hakemlere önceden duyurulmalı ve derginin ya da kongrenin yazılı yayın politikasında yer almalıdır.

Dergi ve kongre hakemliği aynı ilkelere dayansa da ölçeği ve temposu farklıdır. Dergide tek bir makale birkaç tur boyunca aylarca değerlendirilebilir; kongrede ise yüzlerce özet birkaç hafta içinde tek turda karara bağlanır. Bu nedenle kongrelerde atamanın ve hatırlatmaların otomatikleşmesi, dergilerde ise revizyon turlarının düzenli kaydı daha kritik hale gelir.

Kör hakemlik bir niyet değil, bir süreç tasarımıdır; kimlik ancak her kanalda gizlendiğinde gizli kalır.

Anonimleştirme nasıl yapılır?

Anonimleştirme, kapak sayfasındaki yazar adlarını silmekten ibaret değildir. Kimlik; dosya adında, belge özelliklerindeki yazar alanında, teşekkür bölümünde, fon bilgisinde, etik kurul onayında ve yazarın kendi önceki çalışmalarına yaptığı atıflarda da görünebilir.

• Yazar adları, kurumları ve iletişim bilgileri ana metinden ayrı bir kapak sayfasına alınmalıdır.
• Yüklenen dosya sistem tarafından yeniden adlandırılmalı ve orijinal dosya adı hakemle paylaşılmamalıdır.
• Belge özelliklerindeki yazar ve kurum alanları temizlenmeli, izlenen değişiklikler ve yorumlar kaldırılmalıdır.
• Teşekkür, fon ve etik kurul bilgileri değerlendirme sürümünden çıkarılıp kabulden sonra eklenmelidir.
• Yazarın kendi çalışmalarına yaptığı atıflar üçüncü şahıs diliyle yazılmalı ya da gerektiğinde gizlenmelidir.
• Hakeme giden e-postalarda yazar adı, kurumu ya da e-posta adresi yer almamalıdır.

Bu adımların bir kısmı yazarın sorumluluğundadır, ancak sistem de üzerine düşeni yapmalıdır. Hakem ekranının yazar kimliğini hiçbir koşulda göstermemesi, dosyaların hakeme anonim adlarla iletilmesi ve otomatik e-postaların kimlik bilgisine karşı denetlenmesi, insan hatasını telafi eden güvencelerdir.

Editörün de bir kontrol adımı olmalıdır. Ön incelemede dosyanın anonim olup olmadığına bakılması ve gerekirse yazara düzeltme için geri gönderilmesi, değerlendirme başladıktan sonra fark edilen bir kimlik sızıntısından çok daha az maliyetlidir.

Çıkar çatışması nasıl kontrol edilir?

Çıkar çatışması, hakemin tarafsız değerlendirme yapmasını zorlaştıracak her türlü ilişkidir: aynı kurumda çalışmak, yakın zamanda birlikte yayın yapmış olmak, danışman ile öğrenci ilişkisi, rakip bir proje yürütmek ya da kişisel bir yakınlık. Kör hakemlik bu ilişkileri ortadan kaldırmaz, yalnızca görünmez kılar.

İlk savunma hattı otomatik kontroldür. Hakem ile yazarların kurum bilgileri ve e-posta alan adları karşılaştırılarak aynı kurumdan yapılacak atamalar engellenebilir. Hakemin kendi bildirisini ya da yazarı olduğu makaleyi değerlendirmesi ise sistem düzeyinde tamamen kapatılmalıdır.

İkinci hat hakemin beyanıdır. Davet e-postası çalışmanın başlığını ve özetini içermeli, hakemden daveti kabul etmeden önce bir çıkar çatışması olup olmadığını bildirmesi istenmelidir. Değerlendirme sırasında fark edilen bir ilişkinin editöre bildirilmesi için de kolay bir yol bulunmalıdır.

Editör de bu kurala tabidir. Editörün yazarı olduğu bir makale ya da bildiride karar yetkisinin başka bir editöre devredilmesi, yayın etiği açısından beklenen asgari uygulamadır.

Hakem ataması nasıl yapılmalı?

Doğru hakem; konuya hâkim, zamanı olan ve çıkar çatışması bulunmayan kişidir. Bu üç koşulu aynı anda sağlamak için hakem havuzunun yapılandırılmış olması gerekir: her hakemin uzmanlık alanları, anahtar kelimeleri, dil tercihleri ve o anda üzerinde kaç değerlendirme bulunduğu kayıtlı olmalıdır.

Yük dengesi çoğu zaman göz ardı edilir. Aynı güvenilir hakemlere sürekli iş göndermek kısa vadede kolay görünür, ama gecikmelere ve özensiz değerlendirmelere yol açar. Atama sırasında hakemin açık iş sayısını görmek ya da yükün sistem tarafından dağıtılması bu sorunu baştan önler.

Kongrelerde yüzlerce bildiri kısa bir sürede değerlendirilir; bu yüzden alt temaya göre otomatik atama, çıkar çatışması kontrolü ve yük dengelemenin birlikte çalışması büyük kolaylık sağlar. Akademik dergilerde makale sayısı daha azdır ama her atama daha özenli yapılır; editör hakem önerilerini görüp davet gönderir ve davetlerin kabul ya da ret yanıtlarını izler.

Hakemin yalnızca kendisine atanan çalışmaları görebilmesi de atamanın bir parçasıdır. Hakem ekranı başka çalışmaları, diğer hakemlerin yorumlarını ya da karar sürecinin ayrıntılarını göstermemelidir.

Editör kararı nasıl verilir?

Hakem bir öneride bulunur, kararı editör ya da bilim kurulu verir. Bu ayrım önemlidir: iki hakem birbirine zıt öneriler yaptığında editör yorumların gerekçesine bakar, gerekirse üçüncü bir hakem atar ya da kendi uzmanlığına dayanarak karar verir.

Kararın biçimi önceden tanımlı olmalıdır. Akademik dergilerde genellikle kabul, küçük düzeltme, büyük düzeltme ve ret seçenekleri kullanılır; kongrelerde ise kabul, düzeltme sonrası kabul ve ret çoğu zaman yeterlidir. Her kararın ardından yazara giden karar mektubu, kararın gerekçesini ve hakem yorumlarını içermelidir.

Revizyon turları aynı kayıt üzerinde ilerlemelidir. Yazarın düzeltilmiş sürümü ve hakem yorumlarına yanıt mektubu önceki turla birlikte görülebilmeli, hakem ikinci turda kendi yorumlarının nasıl karşılandığını değerlendirebilmelidir.

Yazarın karara itiraz edebileceği bir yol da tanımlanmalıdır. İtirazın kime, hangi süre içinde ve hangi gerekçelerle yapılabileceği yayın politikasında yazılı olduğunda, hem yazar adil bir sürece güvenir hem de editör her itirazı tek tek pazarlık konusu yapmak zorunda kalmaz. İtirazı değerlendiren kişinin ilk kararı veren editörden farklı olması, sürecin tarafsızlığını güçlendirir.

Hakem geri bildiriminin kalitesi nasıl artırılır?

İyi bir hakem raporu, yazarın çalışmasını nasıl geliştireceğini anlatır. Yalnızca «kabul edilebilir» ya da «yetersiz» diyen raporlar ne editöre karar için yeterli bilgi verir ne de yazara yol gösterir. Raporun niteliği büyük ölçüde değerlendirme formunun nasıl tasarlandığına bağlıdır.

• Değerlendirme formu özgünlük, yöntem, bulgular ve sonuçlar için ayrı ölçütler içermelidir.
• Yazara iletilecek yorumlar ile yalnızca editörün göreceği notlar ayrı alanlarda toplanmalıdır.
• Hakemden önerisinin gerekçesini birkaç cümleyle açıklaması istenmelidir.
• Yorumlar kişiyi değil çalışmayı hedeflemeli, saygılı ve somut bir dille yazılmalıdır.
• Editör, raporu yazara iletmeden önce kimlik açığa çıkaran ya da uygunsuz ifadeler içerip içermediğini kontrol etmelidir.

Hakemlerin emeğinin görünür kılınması da kaliteyi etkiler. Yıllık hakem listesi yayımlamak ya da hakemlere değerlendirme belgesi vermek, gönüllülük esasına dayanan bu işin takdir edildiğini gösterir.

Kısa ve net bir hakem yönergesi de raporların niteliğini yükseltir. Yönergede değerlendirme ölçütleri, beklenen rapor uzunluğu, teslim süresi, gizlilik yükümlülüğü ve çıkar çatışması durumunda izlenecek yol anlatılmalıdır. İlk kez hakemlik yapan genç araştırmacılar için örnek bir rapor paylaşmak, beklentiyi somutlaştırmanın en kolay yoludur.

Editoryal süre istatistikleri de düzenli izlenmelidir. Gönderimden ilk karara ve kabulden yayına kadar geçen süreler süreçteki darboğazları gösterir ve yazarlara gerçekçi bir takvim sunmanızı sağlar.

Sık sorulan sorular

Çift kör hakemlik tek kör hakemlikten daha mı güvenilirdir?

Çift kör model, hakemin yazarın kimliğinden etkilenme olasılığını azaltmayı amaçlar ve bu nedenle birçok dergi ve kongre tarafından tercih edilir. Ancak güvenilirliği anonimleştirmenin ne kadar titiz yapıldığına bağlıdır; kimliği kolayca anlaşılan bir dosya, çift kör etiketini anlamsız kılar.

Hakem yazarın kim olduğunu tahmin ederse ne yapmalı?

Küçük araştırma alanlarında hakemin yazarı tahmin etmesi mümkündür. Bu durumda hakemin tahminini editöre bildirmesi ve tarafsız kalamayacağını düşünüyorsa davetten çekilmesi beklenir; editör de gerekirse başka bir hakem atar.

Bir makale için kaç hakem gerekir?

Akademik dergilerde yaygın uygulama en az iki bağımsız hakemdir; görüşler ayrıştığında üçüncü bir hakem atanır. Kesin sayı derginin yayın politikasında belirtilmeli ve başvurulacak indekslerin beklentileriyle tutarlı olmalıdır.

Hakem yorumları yazara olduğu gibi iletilmeli mi?

Yorumların özü değiştirilmeden iletilmesi esastır, ancak editör kimlik açığa çıkaran ifadeleri ve kişisel ya da kırıcı dili ayıklamalıdır. Yalnızca editöre yönelik yazılmış notlar hiçbir zaman yazara gönderilmemelidir.

Hakem davetine yanıt vermezse ne yapılmalı?

Davet için makul bir yanıt süresi belirlenmeli ve bu süre dolmadan bir hatırlatma gönderilmelidir. Yanıt gelmezse davet geri çekilip havuzdan başka bir hakem davet edilir. Yanıt vermeme durumlarının kayıt altında tutulması, gelecekteki atamalarda daha gerçekçi seçimler yapmanıza yardımcı olur.

Kuralları sistemin kendisine emanet etmek

Kör hakemliğin kalitesi, yazılı politikanın her adımda gerçekten uygulanmasına bağlıdır. Politikanızı yazın, anonimleştirme ve çıkar çatışması kurallarını yazar ve hakem yönergelerine ekleyin, ardından bu kuralları ekiplerin dikkatine değil sistemin kendisine emanet edin. Yılda bir kez süreci gözden geçirmek, yani anonimleştirme hatalarını, geciken değerlendirmeleri ve itirazları birlikte incelemek, politikanın kâğıtta kalmadığını gösterir.

Doğru kurulmuş bir süreçte editör zamanını dosya ayıklamaya değil bilimsel karara ayırır. Bir Web Ajans olarak bu kuralları akademik dergiler için Nova JournalPort'ta, kongreler için Nova CongressPort'ta yazılımın içine yerleştiriyoruz; çift kör modda hakemler yazar kimliğini görmüyor ve her hakem yalnızca kendisine atanan çalışmalara erişiyor.