ChatGPT ada di setiap lampiran lampiran.  Ini lampirannya

ChatGPT ada di setiap lampiran lampiran. Ini lampirannya

Namun pukulan breakout OpenAI tidak lagi berkembang entah dari mana. Chatbot pada dasarnya adalah iterasi paling halus ke level ini dalam serangkaian model bahasa ekspansif selama bertahun-tahun. Begitulah cara kami sampai di sini.

Sembilan Belas Delapan Puluh–’90-an: Jaringan Syaraf Berulang

ChatGPT adalah model GPT-3, model bahasa ekspansif yang juga dikembangkan oleh OpenAI. Model bahasa adalah konstruksi komunitas saraf yang telah dilatih pada berton-ton bahan ajar tekstual. (Jaringan saraf adalah perangkat lunak yang diilhami oleh neuron mode dalam otak hewan yang saling tiket satu sama lain.) Pada legenda materi tekstual terdiri dari urutan huruf dan frase dengan panjang yang berbeda-beda, model bahasa membutuhkan konstruksi komunitas saraf yang bisa masuk akal dari data ekstra atau lebih sedikit itu. Jaringan saraf berulang, ditemukan pada tahun 1980-an, dapat mengatasi urutan kata-kata, tetapi mereka lambat untuk berhubungan dan mungkin mengabaikan kata-kata lama dalam sebuah rantai.

Pada tahun 1997, ilmuwan komputer Sepp Hochreiter dan Jürgen Schmidhuber memasang ini dengan menciptakan LSTM (Memori Jangka Pendek Berkepanjangan) jaringan, jaringan saraf berulang dengan formula khusus yang memungkinkan data sebelumnya dalam urutan masuk disimpan lebih lama. LSTM mungkin dapat mengatasi dengan baik string materi instruksi tekstual sepanjang beberapa ratus frasa, tetapi kemampuan bahasa mereka telah dibatasi.

2017: Transformer

Terobosan pada pengurangan teknologi model bahasa yang luas saat ini terjadi ketika tim peneliti Google menemukan transformer, jaringan saraf ekstra atau kurang yang dapat mencatat lampiran setiap nada atau frasa yang muncul dalam sebuah rantai. Arti frasa dalam banyak kasus bergantung pada arti frasa berbeda yang berkembang lebih cepat dari atau sesudahnya. Dengan melacak data kontekstual ini, transformer dapat menangani rangkaian materi instruksi tekstual yang lebih panjang dan menangkap makna frasa dengan lebih akurat. Sebagai ilustrasi, “hot dog” memplot hal-hal yang sangat bervariasi dalam kalimat “Anjing mendesis perlu diberi banyak air” dan “Anjing mendesis perlu dimakan dengan mustard.”

HOT 🔥  Hai Orangtua, Peringatkan Anak Remaja Anda tentang bahaya situs media sosial!

2018–2019: GPT dan GPT-2

Dua model bahasa ekspansif pertama OpenAI tiba tepat hanya beberapa bulan kemudian. Perusahaan perlu membuat multi-profesional, AI plot total dan percaya bahwa model bahasa yang luas adalah langkah kunci menuju ketidakberpihakan itu. GPT (kependekan dari Generative Pre-trained Transformer) menancapkan bendera, mengalahkan tolok ukur penjelasan karya seni untuk pemrosesan bahasa murni pada saat itu.

Transformator campuran GPT dengan pembelajaran tanpa pengawasan, satu plot untuk menghubungkan model pembelajaran mesin pada data (dalam hal ini, berton-ton dan ratusan materi instruksi tekstual) yang belum dianotasi sebelumnya. Ini memungkinkan perangkat lunak menyelesaikan pola dalam data dengan sendirinya, tanpa harus diberi tahu apa yang sedang dilihatnya. Banyak keberhasilan lama dalam pencarian mesin mengandalkan pencarian yang diawasi dan data yang dianotasi, namun pelabelan data dengan tangan adalah pekerjaan yang lambat dan dengan demikian membatasi dimensi kumpulan informasi yang tersedia untuk pelatihan.

Namun dulu GPT-2 yang menciptakan desas-desus yang lebih besar. OpenAI mengaku sangat khawatir kami akan menggunakan GPT-2 “untuk menghasilkan bahasa yang salah, bias, atau kasar” sehingga tidak akan merilis model gajah. Bagaimana instans diganti.

2020: GPT-3

GPT-2 dulu spektakuler, tetapi catatan OpenAI, GPT-3, membuat rahang jatuh. Kemampuannya untuk menghasilkan materi tekstual cinta manusia merupakan lompatan besar ke depan. GPT-3 dapat menerima pertanyaan, meringkas dokumen, membuat cerita dalam berbagai bentuk, menerjemahkan antara bahasa Inggris, Prancis, Spanyol, dan Jepang, dan banyak lagi. Mimikrinya luar biasa.

Salah satu takeaways yang paling tidak pernah terdengar adalah bahwa keuntungan GPT-3 berasal dari menggantikan metode yang ada daripada menciptakan yang baru. GPT-3 memiliki 175 miliar parameter (nilai-nilai dalam komunitas yang dapat disesuaikan semua plot melalui pembinaan), bila dibandingkan dengan GPT-2 1,5 miliar. Dulu juga dilatih tentang banyak data tambahan.

Namun pembinaan pada bahan ajar tekstual yang diambil dari turunan membawa komplikasi baru. GPT-3 menyerap banyak disinformasi dan prasangka yang ditemukannya secara online dan memperbanyaknya berdasarkan permintaan. Seperti yang diakui OpenAI: “Model terlatih bersih menyerap bias skala web.”

Desember 2020: Materi tekstual beracun dan komplikasi lainnya

Sementara OpenAI dulu bergulat dengan bias GPT-3, dunia teknologi lainnya dulu melalui perhitungan profil tinggi atas kegagalan untuk mengekang sifat beracun di AI. Bukan rahasia lagi bahwa model bahasa yang luas dapat memuntahkan materi instruksi tekstual yang salah — bahkan kebencian —, tetapi para peneliti menemukan bahwa memperbaiki instruksi tidak lagi menjadi daftar tugas sebagian besar perusahaan Teknologi Raksasa. Saat Timnit Gebru, salah satu direktur kru etika AI Google, ikut menulis makalah yang menyoroti bahaya kemampuan yang terkait dengan model bahasa yang luas (termasuk biaya komputasi yang berlebihan), hal itu tidak lagi disambut baik oleh manajer senior di perusahaan. Pada Desember 2020, Gebru dipecat dari pekerjaannya.

HOT 🔥  Peringkat: AI menaklukkan Minecraft, dan bayi setelah kematian

Januari 2022: InstructGPT

OpenAI mencoba mengurangi jumlah informasi yang salah dan materi instruksi tekstual yang menyinggung yang dihasilkan GPT-3 dengan menggunakan pembelajaran penguatan untuk menghubungkan model model dengan preferensi penguji manusia. Konsekuensinya, InstructGPT, lebih baik dalam mengikuti instruksi kita saat menggunakannya — disebut “penyelarasan” dalam jargon AI — dan menghasilkan lebih sedikit bahasa yang menyinggung, lebih sedikit informasi yang salah, dan total kesalahan yang lebih sedikit. Untuk sementara, InstructGPT bukanlah bajingan—kecuali jika diminta untuk menjadi bajingan.

Mungkinkah sangat mungkin–Juli 2022: OPT, BLOOM

Kritik total terhadap model bahasa yang ekspansif adalah bahwa biaya untuk melatihnya membuat sulit bagi semua laboratorium yang paling kaya sekalipun untuk membuatnya. Hal ini menimbulkan kekhawatiran bahwa AI yang kuat seperti itu sedang dibangun oleh kelompok perusahaan kecil dengan mengurangi pintu tertutup, tanpa pengawasan yang akurat dan tanpa masuknya lingkungan belajar yang jauh lebih luas. Sebagai tanggapan, beberapa proyek kolaboratif menyerap model bahasa ekspansif yang dikembangkan dan meluncurkannya secara gratis kepada peneliti mana pun yang perlu melihat—dan mendukung—teknologi. Meta membuat dan memberikan OPT, rekonstruksi GPT-3. Dan Hugging Face memimpin sebuah konsorsium yang terdiri dari sekitar 1.000 peneliti sukarelawan untuk memproduksi dan membebaskan BLOOM.

Desember 2022: ChatGPT

Bahkan OpenAI terpesona oleh bagaimana ChatGPT dibeli. Dalam demo pertama perusahaan, yang memberi saya sehari sebelum ChatGPT diluncurkan secara online, itu ditawarkan sebagai pembaruan tambahan untuk InstructGPT. Memuja model itu, ChatGPT dulunya dilatih menggunakan pembelajaran penguatan pada umpan balik dari penguji manusia yang menilai kinerjanya sebagai lawan bicara yang lancar, adil, dan tidak menyinggung. Akhirnya, OpenAI melatih GPT-3 untuk memahami permainan percakapan dan mengundang semua orang untuk kembali dan bermain. Ribuan dan ribuan dari kita telah bermain sejak saat itu.

Cakupan Asli

Baca juga

Abaikan bayi desainer.  Inilah cara CRISPR mengubah sebagian besar kehidupan

Abaikan bayi desainer. Inilah cara CRISPR mengubah sebagian besar kehidupan

Abaikan He Jiankui, ilmuwan bahasa China yang menciptakan bayi yang diedit gennya. Sebagai tambahan, meskipun …

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *