Mengapa manekin bahasa kolosal terbaru Meta bertahan paling efektif tiga hari online

Mengapa manekin bahasa kolosal terbaru Meta bertahan paling efektif tiga hari online

Di sisi lain, Meta dan perusahaan lain bergerak dalam mode bahasa yang sangat besar, bersama dengan Google, beruang tidak serius.

Galactica adalah manekin bahasa kolosal untuk sains, ahli dalam empat puluh delapan juta contoh artikel ilmiah, situs internet, buku teks, catatan kuliah, dan ensiklopedi. Meta mempromosikan manekinnya sebagai jalan pintas bagi peneliti dan mahasiswa. Dalam kata-kata perusahaan, Galactica “dapat meringkas makalah akademis, memecahkan masalah matematika, menghasilkan artikel Wiki, menulis kode ilmiah, membuat anotasi molekul dan protein, dan banyak lagi.”

Namun veneer yang cemerlang itu cepat rusak. Suka semua mode bahasa, Galactica adalah bot ceroboh yang tidak bisa menarik fakta dari fiksi. Dalam beberapa jam, para ilmuwan telah membagikan hasil yang bias dan keliru di media sosial.

“Saya terkejut sekaligus tidak terkejut dengan upaya luar biasa ini,” kata Chirag Shah di University of Washington, yang meneliti ilmu pencarian terapan. “Melalui demo barang-barang ini, mereka meneliti dengan sangat luar biasa, ajaib, dan brilian. Tetapi dari kita yang tenang tampaknya tidak lebih suka bahwa pada prinsipnya hal-hal seperti itu tidak dapat bekerja dengan kemampuan yang kita sukai.

Diminta untuk pengumuman tentang mengapa itu menghapus demo, Meta merujuk MIT Technology Assessment ke tweet yang berbunyi: “Terima kasih semuanya telah mencoba demo model Galactica. Kami hanya menyukai umpan balik yang kami berikan sekarang diterima begitu jauh dari lingkungan, dan beruang menghentikan demo untuk saat ini. Mode kami tersedia untuk para peneliti yang ingin belajar lebih banyak tentang pekerjaan dan mereproduksi hasil di koran.

Usaha klasik dengan Galactica adalah bahwa sekarang tidak dapat membedakan kebenaran dari kepalsuan, persyaratan total untuk manekin bahasa yang dirancang untuk menghasilkan teks ilmiah. Orang-orang menemukan bahwa itu membuat makalah palsu (terus-menerus menghubungkannya dengan penulis eksplisit), dan menghasilkan artikel wiki tentang sejarah beruang di kondominium semudah tentang protein kompleks dan harga lembut. Sangat mudah untuk memposisikan fiksi ketika datang ke kondominium beruang, tetapi lebih sulit dengan lingkungan pengguna mungkin tidak tahu besar tentang.

HOT 🔥  Keuntungan menjadi alumni MIT

Banyak ilmuwan mendorong melayani menjengkelkan. Michael Dark, direktur di Max Planck Institute for Vivid Methods di Jerman, yang mengerjakan studi mendalam, men-tweet: “Biasanya, itu manja atau bias tetapi terdengar benar dan berwibawa. Saya menengahi itu tidak sehat.

Saya meminta #Galactica tentang beberapa hal yang diajarkan kepada saya dan saya takut. Dalam semua kasus, itu dulu rusak atau bias, tetapi terdengar sesuai dan berwibawa. Saya menengahi itu tidak sehat. Berikut adalah tentang beberapa eksperimen saya dan diagnosis saya atas kekhawatiran saya. (1/9)

– Michael Dark (@Michael_J_Black) 17 November 2022

Pendapat yang lebih tegas yang belum pernah terjadi sebelumnya datang dengan peringatan khusus: “Marah untuk melihat set yang dituju!” tweeted Miles Cranmer, seorang astrofisikawan di Princeton. “Bahwa Anda mungkin saja tenang, tidak pernah menyimpan output kata demi kata atau mempercayainya. Secara total, perlakukan itu seperti pencarian Google yang dikembangkan dari sumber sekunder (samar)!”

Galactica juga memiliki celah yang bermasalah dalam apa yang akan ditanganinya. Ketika diminta untuk membuat teks tentang topik tertentu, seperti “rasisme” dan “AIDS”, model itu menjawab dengan: “Maaf, pertanyaan Anda tidak merusak filter aksen kami. Coba lagi dan ingat ini mungkin akan menjadi model bahasa ilmiah.

Kru Meta yang melayani Galactica berpendapat bahwa mode bahasa lebih baik daripada mesin telusur dan yahoo. “Kami yakin ini berpotensi antarmuka berikutnya untuk memungkinkan orang lain mengakses file ilmiah,” tulis para peneliti.

Ini karena model bahasa dapat “berpotensi menyimpan, menggabungkan, dan bernalar tentang” file. Tapi itu “berpotensi” adalah yang terpenting. Ini adalah pengakuan berkode bahwa mode bahasa belum dapat meningkatkan semua item ini. Dan mereka tidak akan pernah punya pilihan untuk itu.

HOT 🔥  The Salvage: fantasi AI Barat, dan Musk v Apple

“Mode bahasa biasanya tidak benar-benar dididik di luar kemampuan mereka untuk memilih pola rangkaian kata dan memuntahkannya dengan cara probabilistik,” kata Shah. “Ini menawarkan rasa kecerdasan palsu.”

Gary Marcus, seorang ilmuwan kognitif di Original York University dan kritikus vokal studi mendalam, memberikan ulasannya dalam posting Substack berjudul “A Few Words About Bullshit,” menegaskan bahwa kemampuan gaya bahasa kolosal untuk meniru teks tulisan manusia bukanlah apa-apa lebih dari “prestasi statistik yang luar biasa”.

Namun Meta bukanlah perusahaan terbaik yang memperjuangkan premis bahwa model bahasa dapat mengubah mesin telusur dan yahoo. Selama beberapa tahun terakhir, Google telah menjual model bahasa, seperti LaMDA, sebagai alat untuk membaca file.

Itu ide yang menarik. Tetapi menyarankan bahwa teks mirip manusia yang dihasilkan model seperti itu akan selalu memiliki file yang jujur, seperti yang dianggap Meta simpan dalam promosi Galactica, adalah sembrono dan tidak bertanggung jawab. Dulu itu adalah kesalahan sendiri.

Pandangan saya tentang Galactica: bebas stres, spektakuler, dan menarik dalam banyak hal. Pencapaian besar. Sangat tidak menyenangkan karena disebut-sebut sebagai alat analisis yang berguna, dan lebih tidak menyenangkan karena menyarankan Anda menggunakannya untuk menulis seluruh artikel.

— Julian Togelius (@togelius) 17 November 2022

Dan itu bukan kesalahan kru pemasaran dan pemasaran Meta. Yann LeCun, pemenang Penghargaan Turing dan kepala ilmuwan Meta, membela Galactica sampai titik tertinggi. Pada hari peragaan itu diluncurkan, LeCun men-tweet: “Buat teks dan Galactica akan menghasilkan makalah dengan referensi, alat, dan keseluruhan yang relevan.” Tiga hari kemudian, dia men-tweet: “Demo Galactica sedang offline untuk saat ini. Sekarang tidak terbayangkan untuk menahan stres dengan sembarangan menyalahgunakannya. Sangat gembira?”

Sekarang bukan momen Tay Meta. Ambil contoh pada tahun 2016, Microsoft meluncurkan chatbot bernama Tay di Twitter — lalu menutupnya 16 jam kemudian ketika pengguna Twitter berubah menjadi sexbot rasis dan homofobik. Tapi penanganan Meta terhadap Galactica menunjukkan kenaifan yang sama.

“Perusahaan teknologi besar terus melakukan ini — dan maksud saya, mereka tidak akan tutup — karena mereka bisa,” kata Shah. “Dan mereka benar-benar merasa harus—jika tidak, satu orang lagi mungkin bisa. Mereka menengahi bahwa ini adalah masa depan akses file, bahkan seandainya tidak ada orang yang meminta masa depan itu.

Koreksi: Versi lama dari catatan ini mengakui bahwa Google telah menjual model bahasa PaLM sebagai alat untuk memeriksa file selama beberapa tahun. Model bahasa yang ingin kami bicarakan adalah LaMDA.

Cakupan Asli

Baca juga

Abaikan bayi desainer.  Inilah cara CRISPR mengubah sebagian besar kehidupan

Abaikan bayi desainer. Inilah cara CRISPR mengubah sebagian besar kehidupan

Abaikan He Jiankui, ilmuwan bahasa China yang menciptakan bayi yang diedit gennya. Sebagai tambahan, meskipun …

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *