Kami juga akan mengikat file untuk menyusun program bahasa AI

Kami juga akan mengikat file untuk menyusun program bahasa AI

Perangkat bahasa raksasa adalah salah satu bidang paling baru dari pembelajaran AI saat ini, dengan perusahaan berlomba untuk membebaskan program seperti GPT-3 yang mungkin dapat menulis artikel yang sangat koheren dan bahkan kode komputer. Namun, ada rasa sakit yang membayangi cakrawala, menurut tim peramal AI: kami juga dapat mengikat file untuk menyiapkannya.

Perangkat bahasa dididik menggunakan teks dari sumber seperti Wikipedia, artikel catatan, karya ilmiah, dan buku. Di tahun-tahun sekarang, modelnya adalah menggabungkan perangkat ini pada semakin banyak rekaman dengan harapan akan membuatnya lebih cantik dan serbaguna.

Masalahnya adalah, jenis file yang biasanya sebelumnya untuk perangkat bahasa pelatihan dapat dengan mudah dicadangkan di masa mendatang — pada awal tahun 2026, menurut makalah oleh para peneliti dari Epoch, kelompok penelitian dan peramalan AI, yaitu tetapi untuk mencari ditinjau. Pertengkaran itu berasal dari fakta bahwa, ketika peneliti mengumpulkan perangkat yang lebih kuat dengan kemampuan yang lebih besar, mereka lebih suka mencari lebih banyak teks untuk menggabungkannya. Peneliti model bahasa raksasa semakin khawatir bahwa mereka akan keluar dari jenis file ini, kata Teven Le Scao, seorang peneliti di perusahaan AI Hugging Face, yang tidak lagi sepenuhnya untuk pekerjaan Epoch.

Squawk sebagian berasal dari fakta nyata bahwa peneliti bahasa AI memfilter catatan yang mereka gunakan untuk menyatukan perangkat menjadi dua kelas: kualitas terbaik dan kualitas rendah. Batasan antara dua kelas bahkan mungkin tidak jelas, kata Pablo Villalobos, seorang peneliti karyawan di Epoch dan penulis utama makalah, tetapi teks dari uraian dianggap lebih tinggi dan ditulis secara keseluruhan oleh orang-orang terdidik. penulis.

Pengetahuan dari kelas berkualitas rendah terdiri dari teks seperti posting media sosial atau umpan balik di situs internet seperti 4chan, dan contoh ini jauh lebih banyak daripada yang dianggap berkualitas tinggi. Para peneliti biasanya paling baik mengumpulkan perangkat menggunakan catatan yang termasuk dalam kategori kualitas tinggi karena itulah model bahasa yang mereka inginkan untuk direproduksi oleh perangkat. Metodologi ini telah menghasilkan beberapa hasil yang mengesankan untuk perangkat bahasa rapi yang sesuai dengan GPT-3.

HOT 🔥  Mengapa AI seharusnya tidak membuat pilihan hidup dan mati

Salah satu cara untuk mengatasi batasan rekor ini mungkin adalah dengan menilai kembali apa yang didefinisikan sebagai kualitas “rendah” dan “tinggi”, sejalan dengan Swabha Swayamdipta, seorang profesor pembelajaran mesin Universitas California Selatan yang berspesialisasi dalam kualitas perolehan catatan 22 situasi . Jika kekurangan data mendorong peneliti AI untuk memasukkan lebih banyak perangkat data ke arah pendidikan, itu mungkin akan menjadi “jarak pasti” untuk perangkat bahasa, kata Swayamdipta.

Para peneliti juga dapat menemukan cara untuk memperpanjang keberadaan file sebelumnya untuk perangkat bahasa pelatihan. Saat ini, perangkat ini dididik pada catatan yang sama sekali saja, karena kendala efisiensi dan jejak. Meskipun demikian, mungkin juga sangat mungkin untuk menyusun model beberapa kali menggunakan catatan yang sama, kata Swayamdipta.

Beberapa peneliti mengatakan lebar mungkin tidak sama dengan perangkat bahasa. Percy Liang, seorang profesor ilmu komputer di Stanford College, mengatakan ada bukti bahwa membuat perangkat lebih ramah lingkungan mungkin dapat meningkatkan keterampilan mereka, tidak hanya memperluas dimensinya. “Kami telah melihat bagaimana perangkat yang lebih kecil yang dididik pada rekaman berkualitas tinggi dapat mengungguli perangkat yang lebih besar yang dididik pada rekaman berkualitas rendah,” jelasnya.

Cakupan Asli

Baca juga

Abaikan bayi desainer.  Inilah cara CRISPR mengubah sebagian besar kehidupan

Abaikan bayi desainer. Inilah cara CRISPR mengubah sebagian besar kehidupan

Abaikan He Jiankui, ilmuwan bahasa China yang menciptakan bayi yang diedit gennya. Sebagai tambahan, meskipun …

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *