Sahte Bilimsel Makalelere Karşı Yeni Bir Algoritma
Yapay zeka teknolojilerinin, özellikle de ChatGPT gibi modellerin gelişimiyle birlikte, sahte bilimsel makalelerin sayısında önemli bir artış gözlemleniyor. Bu durum, bilim dünyasında ciddi bir sorun haline gelmiş durumda. New York Eyalet Üniversitesi’nde araştırma görevlisi olan Ahmed Abdeen Hamed, bu soruna çözüm olarak yüzde 94 doğruluk oranıyla sahte makaleleri tespit edebilen bir makine öğrenimi algoritması geliştirdi. Bu algoritmaya xFakeSci adını verdi.
Veri Madenciliğinden İki Kat Daha Başarılı
xFakeSci’nın, internette veri kazıma tekniği olan veri madenciliğine göre neredeyse iki kat daha başarılı olduğu kaydedildi. Hamed, “Ana araştırmam biyomedikal bilişim üzerine yoğunlaşırken, tıbbi yayınlar, klinik deneyler, çevrimiçi kaynaklar ve sosyal medya madenciliği ile uğraşıyorum. Bu nedenle, her zaman yayılan bilgilerin gerçekliğine dair endişelerim vardı.” şeklinde açıklamalarda bulundu.
50 Sahte Makale Oluşturuldu
Scientific Reports dergisinde yayımlanan yeni bir çalışmada, Hamed ve Çin’deki Hefei Teknoloji Üniversitesi’nde profesör olan iş ortağı Xindong Wu, üç popüler tıbbi konu -Alzheimer, kanser ve depresyon- üzerine toplamda 50 sahte makale oluşturdu. Bu sahte makaleler, aynı konulardaki gerçek makalelerle karşılaştırıldı. Bir dizi deneyin ardından, xFakeSci’nın makalelerin yazım şekillerine dair iki temel özelliği analiz edecek şekilde programlandığı belirtildi. Bu özelliklerden biri, “iklim değişikliği”, “klinik deneyler” veya “biyomedikal literatür” gibi sıkça birlikte görülen ikili sözcüklerin sayısını incelemekti. Diğeri ise bu kelimelerin metindeki diğer ikili sözcüklerle ve kavramlarla nasıl ilişkilendirildiğini araştırmaktı.
Önemli Kelimelerle İkna Etmeye Çalışıyor
Hamed, “ChatGPT gibi yapay zeka sistemlerinin bilgisi hala sınırlı olduğundan, kullanıcıları en önemli kelimeleri kullanarak ikna etmeye çalışıyorlar. Ancak bir bilim insanının görevi, ikna edici bir argüman sunmak değildir. Gerçek bir araştırma makalesi, bir deney sırasında neler olduğu ve kullanılan yöntemin dürüstçe sunulması gereklidir. ChatGPT, belirli bir noktada derinlemesine bilgi verirken, gerçek bilim geniş bir perspektife sahip olmalıdır.” dedi.
xFakeSci gibi araçların geliştirilmesi, bilimsel literatürün bütünlüğünü sağlamak ve araştırmaya yönelik kamu güvenini korumak açısından son derece önemli bir adım. Yapay zekanın ürettiği yanlış bilgilere karşı mücadele devam ederken, xFakeSci gibi araçlar bilimsel iletişimin gerçekliğini ve güvenilirliğini korumada kritik bir rol oynamaya devam edecektir.
