GPT-4 lebih besar dan lebih baik daripada ChatGPT—tetapi OpenAI tidak tahu alasannya

GPT-4 lebih besar dan lebih baik daripada ChatGPT—tetapi OpenAI tidak tahu alasannya

OpenAI akhirnya meluncurkan GPT-4, model bahasa luas generasi berikutnya yang dikabarkan akan dibangun selama satu tahun terakhir. Kejutan terakhir perusahaan yang berbasis di San Francisco, ChatGPT, biasanya akan menjadi tindakan yang melelahkan untuk diikuti, tetapi OpenAI telah membuat GPT-4 menjadi lebih besar dan lebih baik.

Tapi seberapa besar dan mengapa lebih besar, OpenAI tidak memberi tahu. GPT-4 adalah perusahaan gratis paling rahasia yang pernah diselamatkan, menandai transisi gemuknya dari lab peninjau nirlaba menjadi perusahaan teknologi berpenghasilan tinggi.

“Itu adalah sesuatu yang, , kami tidak dapat menyentuhnya saat ini,” kata kepala ilmuwan OpenAI, Ilya Sutskever, ketika saya berbicara dengan anggota grup GPT-4 dalam panggilan video satu jam setelah pengumuman. “Ini cukup kompetitif tersedia.”

GPT-4 adalah manekin bahasa luas multimodal, yang menyiratkan bahwa itu mungkin benar-benar mengenali teks dan foto. Berikan foto isi lemari es Anda dan tanyakan apa yang mungkin Anda buat, dan GPT-4 akan berusaha membuat skema dengan resep yang menggunakan bahan yang digambarkan. Ini juga luas dalam menjelaskan lelucon, kata Sutskever: “Jika Anda menafsirkannya sebagai meme, itu mungkin benar-benar memberi tahu Anda mengapa itu konyol atau tidak.”

Akses masuk ke GPT-4 akan tersedia untuk pengguna yang masuk ke daftar tunggu dan untuk pelanggan pembayaran tertinggi yang dibayarkan untuk ChatGPT Plus dalam kemampuan terbatas teks terbaik.

“Peningkatan berkelanjutan di banyak dimensi sangat luar biasa,” kata Oren Etzioni dari Allen Institute for AI. “GPT-4 sekarang resmi di mana semua model fondasi akan dievaluasi.”

“Manekin multimodal faktual telah menjadi cawan suci dari banyak laboratorium teknologi besar selama beberapa tahun terakhir,” kata Thomas Wolf, salah satu pendiri Hugging Face, startup AI dalam bentuk model bahasa luas sumber awal BLOOM. “Namun itu tetap sulit dipahami.”

Secara teori, menggabungkan teks dan foto mungkin memungkinkan mode multimodal untuk mengesankan dunia lebih besar. “Seharusnya juga netral di daerah untuk menangani aspek-aspek gaya bahasa yang bobrok, seperti penalaran spasial,” kata Wolf.

Sekarang belum pasti apakah itu sesuai untuk GPT-4. Model kontemporer OpenAI tampaknya lebih baik dalam beberapa alasan umum daripada ChatGPT, menyelesaikan teka-teki sederhana seperti meringkas blok teks dalam kata-kata yang dimulai dengan huruf yang sama. Dalam demo nyata saya melalui pemilihan, saya diperlihatkan GPT-4 meringkas uraian pengumuman dari desisan web OpenAI menggunakan kata-kata yang dimulai dengan g: “GPT-4, pernyataan generasi inovatif, aspek positif nilai yang lebih tinggi. Pagar pembatas, panduan, dan aspek positif dikumpulkan. Besar, inovatif, dan berbakat secara global.” Dalam satu demo lagi, GPT-4 menerima dokumen tentang pajak dan menjawab pertanyaan tentangnya, mengutip penyebab tanggapannya.

HOT 🔥  YouTube ingin mencuri di TikTok dan membuat video Shorts-nya ke TV Anda

Itu juga mengungguli ChatGPT pada ujian manusia, di samping Ujian Uniform Bar (di mana GPT-4 peringkat di persentil kesembilan puluh dan peringkat ChatGPT di Kesepuluh) dan Olimpiade Biologi (di mana GPT-4 peringkat di persentil ke-99 dan peringkat ChatGPT di tiga puluh satu). “Sungguh menggetarkan bagaimana evaluasi sekarang mulai dilakukan pada tolok ukur yang sama persis dengan yang digunakan kontributor untuk diri mereka sendiri,” kata Wolf. Namun dia menambahkan bahwa tanpa melihat detail teknisnya, sulit untuk menentukan seberapa mengesankan hasil ini jika benar.

Menurut OpenAI, GPT-4 bekerja lebih baik daripada ChatGPT—yang disematkan dengan GPT-3.5, versi teknologi perusahaan yang sudah ketinggalan zaman—karena itu adalah model berikutnya dengan parameter tambahan (nilai dalam jaringan saraf yang mengakumulasi perubahan). nyata melalui pembinaan). Ini mengikuti mode paling penting yang ditemukan perusahaan dengan mode usangnya. GPT-3 mengungguli GPT-2 karena dulunya lebih besar dari 100 kali lebih besar, dengan 175 miliar parameter menjadi 1,5 miliar parameter GPT-2. “Formula dasar itu sebenarnya tidak pernah berubah secara signifikan selama bertahun-tahun,” kata Jakub Pacchocki, salah satu pengembang GPT-4. “Namun, itu benar-benar cinta yang tenang membangun pesawat luar angkasa, di mana Anda juga harus mengumpulkan semua bahan kecil ini secara moral dan memastikan tidak ada yang rusak.”

Meskipun demikian OpenAI sekarang telah memilih untuk tidak menyajikan rasionalisasi seberapa luas GPT-4 itu. Berangkat dari rilis lama, perusahaan tidak memberikan apa pun tentang bagaimana GPT-4 dulu dibuat — sekarang bukan aturan, jumlah kekuatan komputasi, atau cara pelatihan. “OpenAI sekarang adalah perusahaan yang benar-benar tertutup dengan komunikasi ilmiah yang netral seperti siaran pers untuk produk,” kata Wolf.

OpenAI mengatakan butuh enam bulan untuk membuat GPT-4 lebih aman dan lebih tepat. Menurut perusahaan, GPT-4 82% lebih kecil kemungkinannya daripada GPT-3.5 untuk menerima permintaan mendesis yang tidak akan diizinkan oleh OpenAI, dan 60% lebih kecil kemungkinannya untuk membangun sesuatu.

OpenAI mengatakan itu mencapai hasil ini menggunakan keterampilan yang sama dengan ChatGPT, menggunakan penguatan yang ditemukan oleh saran manusia. Ini melibatkan meminta penilai manusia untuk menilai berbagai tanggapan dari manekin dan menggunakan peringkat tersebut untuk meningkatkan keluaran di masa mendatang.

Grup tersebut bahkan menggunakan GPT-4 untuk menyempurnakan dirinya sendiri, memintanya untuk menghasilkan input yang mengarah pada respons yang bias, tidak sesuai, atau ofensif, dan kemudian memperbaiki model untuk memberi tahu bahwa ia menolak input tersebut di masa mendatang.

GPT-4 mungkin bisa menjadi model bahasa luas multimodal terbaik yang pernah dibuat. Tapi itu tidak dalam liga beruangnya, seperti GPT-3 ketika pertama kali muncul pada tahun 2020. Banyak yang telah terjadi dalam tiga tahun terakhir. GPT-4 saat ini berada di samping berbagai model multimodal, di samping Flamingo dari DeepMind. Dan Hugging Face sedang mengerjakan model multimodal sumber awal yang akan bebas digunakan dan diadaptasi oleh orang lain, kata Wolf.

HOT 🔥  Operasi pembelajaran mesin menawarkan kelincahan, memacu inovasi

Menghadapi persaingan seperti itu, OpenAI memperlakukan gratis ini lebih sebagai godaan produk daripada pembaruan ulasan. Variasi awal GPT-4 telah dibagikan dengan beberapa mitra OpenAI, di samping Microsoft, yang baru-baru ini mengonfirmasi bahwa mereka menggunakan versi GPT-4 untuk membuat Bing Chat. OpenAI juga sekarang bekerja sama dengan Stripe, Duolingo, Morgan Stanley, dan pemerintah federal Islandia (yang menggunakan GPT-4 untuk menetapkan kembali bahasa Islandia), antara lain.

Banyak perusahaan perubahan siap mengantre: “Biaya untuk mem-bootstrap model skala ini di luar jangkauan sebagian besar perusahaan, tetapi keterampilan yang diambil oleh OpenAI telah membuat model bahasa yang luas sangat mudah diakses oleh para pemula,” kata Sheila Gulati, salah satu pendiri dari perusahaan pendanaan Tola Capital. “Ini mungkin akan mengkatalisasi inovasi luas dengan baik di atas GPT-4.”

Tidak pernah sebelumnya AI kontemporer yang terkenal telah lama berlalu dari lab ke pengguna melalui produk dengan begitu cepat. (Dalam berbagai catatan baru-baru ini, Google menawarkan untuk membuat model bahasa luas beruangnya PaLM tersedia untuk pengembang pihak ketiga dan meluncurkan kemampuan chatbot di Google Docs dan Gmail; dan perusahaan AI Anthropic menawarkan model bahasa luas baru-baru ini yang disebut Claude, yaitu sudah dicoba oleh beberapa perusahaan, di sisi Pemikiran dan Quora.)

Namun gaya bahasa yang luas pada dasarnya keliru. GPT-4 dapat dengan tenang menghasilkan teks yang bias, curang, dan penuh kebencian; itu mungkin sebenarnya juga bisa diretas untuk menghindari pagar pembatasnya. Meskipun OpenAI telah meningkatkan teknologi ini, ia belum memperbaikinya dalam waktu lama. Perusahaan mengklaim bahwa uji keamanannya sudah cukup untuk GPT-4 digunakan di aplikasi pihak ketiga. Tapi itu juga bersiap untuk kejutan.

“Keamanan bukanlah hal yang biner; itu adalah rute yang sangat jauh, ”kata Sutskever. “Masalah semakin kompleks setiap kali Anda mencapai tingkat kemampuan terbaru. Sementara itu, kemampuan semacam ini cukup dipahami dengan baik, tetapi saya yakin beberapa di antaranya akan terlihat netral dan terlihat nyata.

Bahkan Sutskever berarti bahwa menjadi lebih lambat dengan rilis mungkin sesekali lebih disukai: “Mungkin sangat sulit untuk berhenti di dunia di mana perusahaan merencanakan dengan beberapa rute kasar yang memungkinkan rilis model yang lebih lambat dengan ini kemampuan yang benar-benar tak tertandingi.”

Cakupan Asli

Baca juga

Abaikan bayi desainer.  Inilah cara CRISPR mengubah sebagian besar kehidupan

Abaikan bayi desainer. Inilah cara CRISPR mengubah sebagian besar kehidupan

Abaikan He Jiankui, ilmuwan bahasa China yang menciptakan bayi yang diedit gennya. Sebagai tambahan, meskipun …

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *