Pada konferensi pengembang I/O, Google mengumumkan peluncuran PaLM 2, model bahasa besar (LLM) terbarunya. PaLM 2 akan mendukung alat chatting Bard yang telah diperbarui oleh Google, pesaing dari ChatGPT milik OpenAI, dan berfungsi sebagai model dasar untuk sebagian besar fitur AI baru yang diumumkan oleh perusahaan hari ini. PaLM 2 kini tersedia untuk para pengembang melalui PaLM API Google, Firebase dan Colab.
Google, seperti halnya OpenAI, tidak memberikan banyak detail teknis tentang bagaimana mereka melatih model generasi berikutnya ini, termasuk jumlah parameter (PaLM 2 adalah model dengan 540 miliar parameter, sesuai dengan nilainya). Satu-satunya rincian teknis yang diberikan Google di sini adalah bahwa PaLM 2 dibangun di atas infrastruktur JAX dan TPU v4 terbaru Google.
“Apa yang kami temukan dalam pekerjaan kami adalah bahwa ini bukanlah masalah ukuran model – bahwa yang lebih besar tidak selalu lebih baik,” kata VP DeepMind Zoubin Ghahramani dalam konferensi pers menjelang pengumuman hari ini. “Itulah mengapa kami telah menyediakan keluarga model dengan ukuran yang berbeda. Kami berpikir bahwa sebenarnya jumlah parameter bukanlah cara yang berguna untuk berpikir tentang kemampuan model dan kemampuan benar-benar dinilai oleh orang-orang yang menggunakan model dan mencari tahu apakah mereka berguna dalam pengujian yang mereka coba capai dengan model-model ini.”
Sebaliknya, perusahaan memutuskan untuk fokus pada kemampuannya. Google mengatakan bahwa model baru ini lebih baik dalam penalaran akal sehat, matematika, dan logika. Memang, seperti yang dikatakan Ghahramani, perusahaan melatih model ini dengan sejumlah besar teks matematika dan sains, serta ekspresi matematika. Bukan rahasia lagi bahwa model bahasa yang besar – dengan fokusnya pada bahasa – telah berjuang untuk menangani pertanyaan matematika tanpa menggunakan plugin pihak ketiga. Namun, Google berpendapat bahwa PaLM 2 dapat dengan mudah memecahkan teka-teki matematika, menalar masalah, dan bahkan menyediakan diagram.
PaLM 2 juga sekarang memiliki fitur dukungan yang lebih baik untuk menulis dan men-debug kode. Model ini dilatih pada 20 bahasa pemrograman, termasuk bahasa populer seperti JavaScript dan Python, tetapi juga Prolog, Verilog dan Fortran. PaLM 2 menjadi dasar dari Codey, model khusus Google untuk pengkodean dan debugging, yang juga diluncurkan hari ini sebagai bagian dari layanan penyelesaian dan pembuatan kode.
Google juga menyoroti bahwa PaLM 2 telah dilatih dengan korpus yang memiliki lebih dari 100 bahasa, sehingga, menurut Google, “unggul dalam tugas-tugas multibahasa,” termasuk frasa yang lebih bernuansa daripada model-model sebelumnya.
Google berbicara tentang PaLM sebagai sebuah keluarga model, yang mencakup orang-orang seperti Codey dan juga Med-PaLM 2, model perusahaan yang berfokus pada pengetahuan medis. Ada juga Sec-PaLM, versi yang berfokus pada kasus penggunaan keamanan dan model PaLM 2 yang lebih kecil yang dapat berjalan di ponsel pintar, yang berpotensi membuka PaLM untuk kasus penggunaan yang lebih berpusat pada privasi, meskipun Google tidak akan berkomitmen pada jadwal untuk hal ini. Google mengatakan bahwa model ini dapat memproses 20 token per detik, yang tidak terlalu cepat, tetapi mungkin dapat diterima untuk beberapa kasus penggunaan (Google tidak mau mengatakan pada ponsel mana mereka menguji ini).
Bukan rahasia lagi bahwa Google telah mengambil pendekatan yang sangat disengaja untuk meluncurkan fitur-fitur AI ini – sesuatu yang diakui oleh perusahaan. Namun pada saat yang sama, pernyataan standar dari perwakilan Google tentang hal ini adalah bahwa perusahaan ingin membangun alat ini secara bertanggung jawab dan dengan mempertimbangkan keamanan. Tentu saja, itu juga yang dikatakan perusahaan tentang PaLM. Tanpa dapat mengujinya sebelum pengumuman hari ini, kami jelas tidak tahu seberapa baik kinerjanya dan bagaimana ia menangani kasus-kasus tepi.
Sumber : https://techcrunch.com/2023/05/10/google-launches-palm-2-its-next-gen-large-language-model/
