Times Higher Education (THE) World University Rankings (WUR) 2025 yang dirilis pada awal Oktober 2024 telah mengguncang kepercayaan publik dan meragukan kredibilitas pemeringkatan institusi India berdasarkan kualitas penelitian. Institusi penelitian terkemuka di India yang tak terbantahkan selama beberapa dekade adalah Indian Institute of Sciences (IISc), Bangalore, menduduki peringkat ke-50 dengan skor 51,5. Yang mengejutkan, institusi seperti Chitkara Chandigarh University, Saveetha Institute Chennai, Shoolini Solan University, Lovely Professional University Phagwara dan Thapar Patiala Institute menempati posisi lima besar dengan skor masing-masing 88.9, 88.6, 87.2, 84.7 dan 83.3. Khususnya, empat dari lima lembaga ini terkonsentrasi di wilayah geografis kecil di Chandigarh, Punjab dan Himachal Pradesh, sehingga menimbulkan pertanyaan tentang metodologi dan keadilan pemeringkatan.
Pengumuman tersebut telah memicu kontroversi mengenai evaluasi lembaga-lembaga India, dan timbul pertanyaan mengenai objektivitas dan kredibilitas sistem pemeringkatan. Yang semakin memperburuk kekhawatiran ini adalah beberapa institusi terkemuka di India, termasuk Institut Teknologi India (IIT) yang tertua dan yang lebih baru, tidak ikut serta dalam pemeringkatan tersebut. Sikap abstain mereka dilatarbelakangi oleh kekhawatiran mengenai transparansi dan keadilan proses evaluasi THE, yang mereka yakini dapat menyebabkan pemeringkatan yang bias dan sewenang-wenang. Kemunduran kolektif ini menggarisbawahi skeptisisme yang lebih luas seputar efektivitas dan keakuratan sistem pemeringkatan universitas global.
Kontradiksi
THE World University Rankings 2024 mengevaluasi lebih dari 2.000 institusi dari 115 negara dan wilayah. Metodologi ini mengevaluasi kinerja dalam lima bidang utama: pengajaran (lingkungan belajar); lingkungan penelitian (termasuk volume, pendapatan dan reputasi); kualitas penelitian; perspektif internasional (meliputi staf, mahasiswa dan penelitian); dan industri (transfer pengetahuan). Tiga kategori pertama masing-masing memiliki bobot sekitar 30%, sedangkan kategori keempat dan kelima masing-masing menyumbang 7,5% dan 4%.
Klasifikasi penelitian didasarkan pada dua bidang utama: lingkungan penelitian dan kualitas penelitian. Lingkungan penelitian mencakup faktor-faktor seperti reputasi penelitian, pendapatan, dan produktivitas, sedangkan kualitas penelitian dievaluasi melalui dampak kutipan, kekuatan penelitian, keunggulan, dan pengaruh. Reputasi penelitian memiliki bobot 18%; kutipan berdampak pada 15%, dan faktor lainnya, yaitu kekuatan penelitian, keunggulan, dan pengaruh, masing-masing menyumbang sekitar 5%.
Premis mendasarnya adalah bahwa lingkungan penelitian yang kuat adalah landasan untuk mencapai kualitas penelitian dan menjamin keunggulan secara keseluruhan. Kedua aspek ini berkorelasi kuat. Namun premis ini dipertanyakan ketika skor dari lima universitas teratas dalam peringkat kualitas penelitian diperiksa, yang ternyata ternyata sangat rendah: masing-masing 11,4, 16,0, 21,3, 14,6 dan 13,9.
Sebaliknya, IISc yang menempati peringkat ke-50 dalam kualitas penelitian menempati posisi pertama dalam lingkungan penelitian dengan skor 50. Peringkat ini tidak dapat disangkal karena IISc diakui sebagai pemimpin dalam mendorong lingkungan penelitian yang kuat. Nilai rendah dari lima universitas teratas dalam hal kualitas penelitian semakin menunjukkan bahwa tidak satupun dari institusi tersebut terkenal dengan lingkungan penelitiannya.
Pengamatan ini menunjukkan bahwa mencapai kualitas penelitian yang tinggi tanpa lingkungan penelitian yang kuat akan melemahkan kredibilitas sistem klasifikasi THE, sehingga menjadikannya bahan cemoohan di kalangan masyarakat dan pemangku kepentingan terkait. Situasi ini menimbulkan pertanyaan penting mengenai objektivitas, kredibilitas dan keadilan sistem. Selain itu, metrik yang digunakan untuk mengukur kualitas penelitian tampaknya memiliki kelemahan dan rentan terhadap manipulasi.
Fokus pada publikasi, dampak kutipan.
Faktor utama yang berkontribusi terhadap kualitas penelitian adalah kuantitas dan kualitas publikasi. Gambaran ini dipengaruhi oleh beberapa elemen yang menjadi dasar utama klasifikasi penelitian dan rentan terhadap manipulasi. Beberapa faktor tersebut antara lain sebagai berikut.
Banyak jurnal kini menerima konten yang dihasilkan oleh AI generatif, sehingga memungkinkan penerbitan yang dapat diakses dengan biaya rendah atau tanpa biaya.
Publikasi di jurnal yang terindeks Scopus seringkali dapat diperoleh dengan membayar beberapa ribu rupee, dan banyak jurnal seperti ini menjamin penerimaan bahkan untuk artikel yang penelitiannya kurang kredibel.
Metode lain untuk meningkatkan jumlah publikasi adalah dengan menjiplak artikel yang sudah ada dan mengirimkannya ke jurnal Tingkat 1 dan 2, di mana penerimaan sering kali dicapai dengan membayar biaya pemrosesan artikel (APC). Tidak ada kekurangan majalah jenis ini.
Sebuah tren baru yang dikenal sebagai “kepenulisan hadiah dan pabrik kertas” melibatkan pencantuman orang-orang yang belum memberikan kontribusi besar sebagai penulis, sehingga secara artifisial meningkatkan kredibilitas kolaborasi antara lembaga dan negara.
Praktik-praktik ini biasanya dilakukan untuk meningkatkan jumlah publikasi, sehingga berdampak pada peningkatan dampak pengutipan dan kualitas penelitian, meskipun sebagian besar publikasi kurang memiliki kredibilitas.
Prinsip dasar scientometrics adalah bahwa dampak kutipan (CI) mencerminkan popularitas daripada kualitas penelitian yang sebenarnya. Sebuah meme populer dengan lucu menampilkan fisikawan teoretis dan kosmolog Stephen Hawking. Dia mengklaim bahwa dia menikmati pengakuan yang lebih besar meskipun memiliki indeks-h yang lebih rendah, berdasarkan dampak kutipan, dibandingkan ilmuwan dengan indeks-h yang jauh lebih tinggi. Demikian pula, banyak jurnal berkualitas tinggi mungkin memiliki dampak kutipan yang rendah. Selain itu, dampak kutipan bervariasi antar disiplin ilmu dan tidak secara konsisten berfungsi sebagai indikator yang dapat diandalkan mengenai kualitas penelitian yang sebenarnya.
Selain itu, dampak kutipan rentan terhadap manipulasi. Peneliti dapat meningkatkan jumlah kutipannya melalui kutipan mandiri, yaitu dengan merujuk pada karya mereka sebelumnya, atau dengan melakukan kutipan quid pro quo, yaitu dengan menyetujui untuk mengutip karya orang lain. Praktik-praktik ini secara artifisial meningkatkan metrik kutipannya, menjadikan dampak kutipan sebagai metrik yang tidak sempurna dan terkadang menyesatkan dalam mengevaluasi pengaruh otentik atau kualitas penelitian.
Tantangan Pemeringkatan
Mengingat hal ini, klaim THE bahwa pemerintah dan universitas mengandalkan data mereka, yang berfungsi sebagai sumber daya penting bagi siswa untuk membuat keputusan mengenai tempat belajar, tampaknya patut dipertanyakan. Meskipun memiliki pengalaman puluhan tahun, data mereka mungkin tidak secara akurat mewakili realitas kinerja universitas-universitas di India. Potensi penafsiran yang keliru ini dapat menyesatkan para pemangku kepentingan, khususnya pelajar dan generasi muda yang mencari bimbingan dalam jalur pendidikan dan karier mereka.
Kredibilitas dan penilaian obyektif terhadap institusi yang dilakukan THE menjadi sorotan dan mungkin dipertanyakan. Anda harus mengevaluasi secara kritis seluruh proses klasifikasi Anda. Anda mungkin perlu mendefinisikan ulang standar integritas data dan menetapkan prosedur operasi standar yang lebih kuat untuk verifikasi data terintegrasi atau menerapkan lapisan verifikasi dan validasi tambahan dengan transparansi yang lebih besar. Tujuan utama dari pemeringkatan Anda adalah untuk memberikan kesimpulan yang dapat diandalkan yang membantu pemangku kepentingan membuat keputusan yang tepat. Tujuan ini tidak boleh dikompromikan sehingga pengguna tidak disesatkan mengenai institusi tersebut.
Rajeev Kumar adalah mantan profesor ilmu komputer di IIT Kharagpur, IIT Kanpur, BITS Pilani dan JNU New Delhi. Penelitiannya berfokus pada saintometris.
Diterbitkan – 03 November 2024 05:30 WIB
