Ada Banyak Nama (Padahal Seharusnya Tidak Ada) – Menuju AI – Teknologi, Sains, dan Teknik Terbaik

Penulis: Nihar B. Shah, Jingyan Wang

Ada Banyak Nama (Padahal Seharusnya Tidak Ada)(Gambar berdasarkan meme cerita rakyat)

Di beberapa bidang akademis seperti ilmu komputer teoretis adalah hal yang umum untuk mengurutkan penulis makalah menurut urutan abjad dari nama belakang mereka. Pengurutan menurut abjad juga digunakan dalam konteks lain seperti daftar nama orang di net, misalnya, untuk memesan daftar peserta dan gambar di situs internet konferensi ITA.

Meskipun pengurutan menurut abjad mengurangi beberapa masalah dengan pendekatan pengurutan lainnya (misalnya, kemungkinan konflik di antara penulis di bawah pengurutan berdasarkan kontribusi), hal itu menyebabkan biasnya sendiri. Bias ini membentuk fokus posting ini.

Apa prejudice ini?

Sejumlah makalah secara empiris mempelajari efek dari konvensi kepenulisan yang diurutkan menurut abjad, yang mengungkapkan prejudice yang terkait dengan konvensi ini. Berikut adalah kutipan dari penelitian tersebut [1] oleh Einav dan Yariv:

“Kami memulai analisis kami dengan information fakultas di semua 35 departemen ekonomi AS teratas. Fakultas dengan inisial nama belakang sebelumnya secara signifikan lebih mungkin untuk menerima masa jabatan di sepuluh departemen ekonomi teratas, secara signifikan lebih mungkin menjadi rekan dari Masyarakat Ekonometrik, dan, pada tingkat yang lebih rendah, lebih mungkin untuk menerima Medali Clark dan Hadiah Nobel. Perbedaan yang signifikan secara statistik ini tetap sama bahkan setelah kami mengontrol negara asal, etnis, agama, atau efek tetap departemen. Semua efek ini secara bertahap memudar saat kami meningkatkan sampel untuk menyertakan seluruh rangkaian 35 departemen teratas kami.

Kami menduga’diskriminasi menurut abjad’ yang dilaporkan dalam makalah ini terkait dengan norma dalam profesi ekonomi yang meresepkan urutan kredit berdasarkan abjad pada publikasi yang ditulis bersama. Sebagai ujian, kami mereplikasi analisis kami untuk fakultas di 35 departemen psikologi AS teratas, di mana kepenulisan bersama tidak secara normatif diurutkan menurut abjad. Kami tidak menemukan hubungan antara penempatan alfabet dan standing kepemilikan dalam psikologi.”

Berbagai penelitian lain melakukan pengamatan serupa dan menarik kesimpulan serupa (misalnya, lihat [2], [3] dan referensi di dalamnya).

Apa sumber prejudice ini?

Setidaknya ada dua jenis efek prejudice.

Bias implisit – Efek primacy: Efek primacy mendeskripsikan prejudice kognitif manusia yang lebih mungkin diingat orang dan memilih item yang muncul lebih awal dalam daftar daripada thing kemudian dalam daftar – singkatnya,”pertama adalah yang terbaik” [4]. Efek primacy telah dipelajari secara luas dalam psikologi, dan diamati di banyak laboratorium dan pengaturan lapangan, misalnya, orang lebih cenderung mengingat kata-kata sebelumnya dalam daftar. [5]; orang lebih cenderung memilih calon pertama dalam pemungutan suara untuk suatu pemilihan [6]. Dalam konteks pengurutan pengarang, primacy impact menunjukkan bahwa pengarang yang namanya muncul lebih awal dalam daftar pengarang cenderung mendapat perhatian lebih dari pembaca.

Bias eksplisit – “Penulis pertama dkk.” : Bias yang lebih mencolok muncul saat makalah menggunakan “Penulis pertama dkk.” Structure dalam teksnya untuk merujuk pada makalah lain. Sekarang, dapat dikatakan bahwa komunitas yang menggunakan konvensi urutan alfabet tidak menggunakan “Penulis pertama dkk.” format. Jadi kami menguji hipotesis ini. Tempat publikasi dalam ilmu komputer yang terutama mengikuti urutan abjad termasuk STOC, FOCS dan EC. Penelusuran di Google Cendekia mengungkapkan jumlah makalah berikut dalam konferensi ini yang menggunakan”Penulis pertama et al.” structure dalam teks mereka sendiri:

Konferensi #Total makalah # Makalah menggunakan “Penulis pertama dkk.” dalam teksnya STOC 2017 99 70 STOC 2016 79 59 FOCS 2017 79 48 FOCS 2016 73 43 EC 2017 75 48 EC 2016 99 87

Lantas, apa solusi alternatifnya? )

Untuk memesan penulis dalam makalah, pengaturan berbasis kontribusi adalah alternatif yang populer. Namun, cara pemesanan ini dapat menyebabkan konflik antar penulis terkait kontribusinya. Alternatifnya adalah dengan menggunakan teknik yang digunakan ilmuwan komputer secara ekstensif dalam penelitian mereka – pengacakan! Di bawah pengaturan acak seperti itu, penulis dapat dipesan secara seragam secara acak. Atau sebaliknya, penulis dapat disusun sebagai kombinasi metode berbasis kontribusi dan metode acak, di mana kontribusi dapat menentukan urutan parsial dan kemudian complete pesanan dipilih secara seragam secara acak dari semua complete pesanan yang konsisten dengan urutan parsial. Dalam hal ini, simbol atau catatan kaki dapat digunakan untuk membedakan penulis yang urutannya berdasarkan kontribusi dan yang urutannya acak. Lihat, misalnya, kertasnya [7] untuk pembahasan lebih rinci tentang pemesanan pengarang secara acak.

Begitu pula untuk daftar nama di net, urutan dapat diacak kapan pun memungkinkan. Pengacakan ini bisa dinamis (urutan baru setiap kali halaman dimuat) atau statis (permutasi sekali dan perbaiki permutasi). Sekarang, jika kita berurusan dengan daftar nama di beberapa bahan cetakan, mencari individu tertentu akan sulit. Tetapi di browser, seseorang selalu dapat menggunakan Ctrl / Cmd + F untuk mencari.

[Update Jun 18, 2019: In the weeks subsequent to this post, we reached out to the program chairs of ACM EC 2019, Nicole Immorlica and Ramesh Johari. They kindly agreed to change the submission style file with numbered references as default from the “First author et al.” format, and also keep numbered references in the camera ready versions. (Jingyan helped out with the style files).]

[Update Nov 14, 2019: Taking cognizance of these biases, starting October 24, 2019, the Machine Learning Department at CMU has randomized the ordering of students and faculty on its webpages. One concern was that users may get confused since the standard practice is to order alphabetically. To this end, we put a small bar on top of the page indicating these biases and a link to this post for details. Our webmaster tells us that the user experience has been same as before (along with a lot of positive feedback that this was the right thing to do). Thanks to Roberto Iriondo, Aaditya Ramdas and Roni Rosenfeld!]

Referensi

[1]”Apa nama keluarga? ) Pengaruh inisial nama keluarga pada keberhasilan akademis, “L. Einav dan L. Yariv. Jurnal Perspektif Ekonomi, 2006.

[2] “Manfaat Menjadi Profesor Ekonomi A (bukan Z),” C. van Praag dan B. van Praag. Economica, 2008.

[3] “Bagaimana Kualitas Jurnal, Penulisan Bersama, dan Pesanan Penulis Mempengaruhi Gaji Ahli Ekonomi Pertanian?” C. Hilmer dan M. Hilmer. Jurnal Ekonomi Pertanian Amerika, 2005.

[4] “Pertama Itu Terbaik,” D. Carney dan M. Banaji. PLOS ONE, 2012.

[5]”Efek posisi sequential dari penarikan bebas,” B. Murdock. Jurnal Psikologi Eksperimental, 1962.

[6] “Dampak urutan nama kandidat pada hasil pemilu di North Dakota,” E. Chen, G. Simonovits, J. Krosnick, J. Pasek. Studi Pemilihan, 2014.

[7]”Accredited Random: A New Order for Coauthorship,” D. Ray dan A. Robson. Tinjauan Ekonomi Amerika, 2018.

Bios: Nihar B. Shah adalah asisten profesor di CMU di Departemen Pembelajaran Mesin dan Ilmu Komputer. Karyanya terletak di bidang pembelajaran mesin, statistik, teori permainan, dan crowdsourcing, dengan fokus pada pembelajaran dari orang-orang dengan tujuan keadilan, akurasi, dan ketahanan. Karyanya saat ini membahas berbagai tantangan sistemik dalam tinjauan sejawat melalui pendekatan berprinsip dan praktis.

Jingyan Wang adalah seorang Ph.D.. mahasiswa di School of Computer Science di Carnegie Mellon University, dibimbing oleh Nihar Shah. Minat penelitiannya adalah dalam pembelajaran mesin, terutama dalam aplikasi untuk meningkatkan proses tinjauan sejawat dan sumber daya bersama. Dalam aplikasi ini, tujuan penelitian saya adalah untuk memahami dan mengurangi berbagai prejudice menggunakan alat dari ilmu komputer dan statistik dan juga memiliki dampak dunia nyata melalui penjangkauan dan kebijakan.

There Plenty in a Title (Whereas There Must not Be) awalnya diterbitkan dalam Research on Research, di mana orang-orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.

Diterbitkan melalui Menuju AI dengan izin penulis.

Leave a Reply