Apakah Chatbots Hanya Perlu Lebih Banyak Waktu untuk ‘Berpikir’?

Tren teknologi hampir selalu memprioritaskan kecepatan, namun tren terbaru dalam kecerdasan buatan melibatkan hal yang disengaja melambat chatbot turun. Peneliti pembelajaran mesin dan perusahaan teknologi besar, termasuk OpenAI dan Google, mengalihkan fokus dari ukuran model dan kumpulan data pelatihan yang semakin besar untuk menekankan sesuatu yang disebut “komputasi waktu pengujian.”

Strategi ini sering digambarkan sebagai memberikan AI lebih banyak waktu untuk “berpikir” atau “bernalar”, meskipun model ini bekerja lebih kaku daripada otak manusia. Model AI tidak diberikan kebebasan baru untuk memikirkan suatu masalah. Sebagai gantinya, komputasi waktu uji diperkenalkan tersusun intervensi di mana sistem komputer dibangun untuk memeriksa ulang pekerjaan mereka melalui perhitungan perantara atau algoritma tambahan yang diterapkan pada tanggapan akhir mereka. Ini lebih mirip dengan membuat ujian terbuka dibandingkan sekadar memperpanjang batas waktu.

Nama lain untuk strategi peningkatan AI yang baru dan populer (yang sebenarnya telah ada selama beberapa tahun) adalah “penskalaan inferensi.” Inferensi adalah proses di mana AI yang telah dilatih sebelumnya mengolah data baru untuk melakukan tugas baru, baik itu menghasilkan teks atau menandai email spam. Dengan memberikan waktu tambahan beberapa detik atau menit antara perintah pengguna dan respons program, dan dengan memberikan daya komputasi ekstra pada saat-saat kritis program, beberapa pengembang AI telah melihat lompatan dramatis dalam keakuratan jawaban chatbot.

Tentang mendukung jurnalisme sains

Jika Anda menikmati artikel ini, pertimbangkan untuk mendukung jurnalisme pemenang penghargaan kami dengan berlangganan. Dengan membeli langganan, Anda membantu memastikan masa depan cerita yang berdampak tentang penemuan dan ide yang membentuk dunia kita saat ini.

Komputasi waktu ujian sangat membantu untuk pertanyaan kuantitatif. “Hal-hal yang paling menarik yang kami lihat adalah hal-hal seperti kode dan matematika,” kata Amanda Bertsch, Ph.D. ilmu komputer tahun keempat. mahasiswa di Universitas Carnegie Mellon, tempat dia mempelajari pemrosesan bahasa alami. Bertsch menjelaskan bahwa komputasi waktu pengujian menawarkan manfaat paling besar jika terdapat respons yang benar secara objektif atau cara terukur untuk menentukan “lebih baik” atau “lebih buruk”.

OpenAI baru-baru ini merilis o1, model terbarunya yang tersedia untuk umum yang mendukung bot bergaya ChatGPT, jauh lebih baik dalam menulis kode komputer dan menjawab pertanyaan matematika dan sains dengan benar dibandingkan pendahulunya, klaim perusahaan: postingan blog baru-baru ini menjelaskan o1 hingga delapan kali lebih banyak akurat dalam merespons petunjuk yang digunakan dalam kompetisi pemrograman dan hampir 40 persen lebih akurat dalam menjawab pertanyaan fisika, biologi, dan kimia tingkat Ph.D. OpenAI mengaitkan peningkatan ini dengan komputasi waktu pengujian dan strategi terkait. Dan model lanjutan yang disebut o3—yang masih menjalani uji keamanan dan direncanakan dirilis akhir bulan ini—hampir tiga kali lebih akurat daripada o1 dalam menjawab pertanyaan-pertanyaan tertentu, kata Lindsay McCallum Rémy, petugas komunikasi di OpenAI.

Analisis akademis lainnya, sebagian besar dirilis sebagai studi pracetak yang belum ditinjau oleh rekan sejawat, juga melaporkan hasil yang sama mengesankannya. Komputasi waktu pengujian dapat meningkatkan akurasi AI dan kapasitasnya untuk mengatasi masalah penalaran yang kompleks, kata Aviral Kumar, asisten profesor ilmu komputer dan pembelajaran mesin di Carnegie Mellon University. Dia gembira dengan peralihan bidangnya ke arah strategi ini karena hal ini memberikan mesin kehebatan yang sama seperti yang kita berikan kepada manusia saat mereka berusaha lebih keras untuk menjawab pertanyaan-pertanyaan sulit. Menurutnya, hal ini bisa membawa kita lebih dekat pada model dengan kecerdasan mirip manusia.

“Sepertinya mereka semua membuat model sedikit lebih baik. Dan kami benar-benar tidak memahami apa hubungan di antara mereka.” —Jacob Andreas, profesor ilmu komputer

Meskipun tidak, komputasi waktu pengujian menawarkan alternatif praktis terhadap metode yang berlaku untuk meningkatkan model bahasa besar, atau LLM. Pendekatan brute force yang mahal dalam membangun model yang semakin besar dan melatih model tersebut pada kumpulan data yang semakin besar kini menawarkan hasil yang semakin berkurang. Bertsch mengatakan komputasi waktu pengujian telah membuktikan manfaatnya dalam menghasilkan “peningkatan kinerja yang konsisten”—tanpa meningkatkan model yang sudah sulit digunakan atau memaksa pengembang untuk mencari data tambahan berkualitas tinggi dari persediaan yang semakin berkurang. Namun menambah waktu ujian tidak dapat menyelesaikan segalanya; ia memiliki trade-off dan batasannya sendiri.

Payung Besar

Pengembang AI memiliki banyak cara untuk menyesuaikan proses komputasi waktu pengujian dan dengan demikian meningkatkan keluaran model. “Ini adalah serangkaian hal yang sangat luas,” kata Bertsch, “hampir semua hal di mana Anda memperlakukan model seperti bagian dari sistem dan membangun perancah di sekitarnya.”

Metode yang paling mendasar adalah sesuatu yang dapat dilakukan oleh siapa pun yang memiliki komputer di rumah: meminta chatbot untuk menghasilkan banyak tanggapan terhadap satu pertanyaan. Menghasilkan lebih banyak jawaban membutuhkan lebih banyak waktu, yang berarti proses inferensi membutuhkan waktu lebih lama. Salah satu cara untuk memikirkannya: pengguna menjadi lapisan perancah manusia yang memandu model untuk mendapatkan jawaban yang paling akurat atau paling sesuai.

Metode dasar lainnya melibatkan meminta chatbot untuk melaporkan langkah-langkah perantara yang diperlukan untuk memecahkan suatu masalah. Disebut sebagai dorongan “rantai pemikiran”, strategi ini secara resmi diuraikan dalam makalah pracetak tahun 2022 oleh para peneliti Google. Demikian pula, pengguna juga dapat meminta LLM untuk memeriksa ulang atau meningkatkan keluaran setelah dihasilkan.

Beberapa penilaian menunjukkan bahwa metode rantai pemikiran dan metode koreksi diri yang terkait meningkatkan keluaran model, meskipun penelitian lain menunjukkan bahwa strategi ini tidak dapat diandalkan—cenderung menghasilkan halusinasi yang sama seperti keluaran chatbot lainnya. Untuk mengurangi ketidakandalan, banyak strategi waktu pengujian menggunakan “verifier” eksternal—sebuah algoritma yang dilatih untuk menilai keluaran model, berdasarkan kriteria yang telah ditetapkan, dan untuk memilih keluaran yang menawarkan langkah terbaik menuju tujuan tertentu.

Verifier dapat diterapkan setelah model menghasilkan daftar kemungkinan respons. Ketika LLM menghasilkan kode komputer, misalnya, verifikator bisa sesederhana program yang menjalankan kode tersebut untuk memastikan kode tersebut berfungsi. Pengverifikasi lain mungkin memandu model melalui setiap titik permasalahan multilangkah. Beberapa versi komputasi waktu pengujian menggabungkan logika pendekatan ini dengan menggunakan pemverifikasi yang mengevaluasi keluaran model dengan dua cara: sebagai proses bertahap, dengan banyak kemungkinan jalur percabangan, dan sebagai respons akhir. Sistem lain menggunakan pemverifikasi untuk menemukan kesalahan dalam keluaran awal atau rantai pemikiran chatbot—dan kemudian memberikan umpan balik LLM untuk memperbaiki masalah tersebut.

Komputasi waktu pengujian sangat berhasil untuk masalah kuantitatif karena semua pemverifikasi bergantung pada keberadaan jawaban yang benar dan dapat diketahui (atau setidaknya dasar obyektif untuk membandingkan dua opsi), kata Bertsch. Strategi tersebut kurang efektif untuk meningkatkan keluaran seperti puisi atau terjemahan yang pemeringkatannya bersifat subyektif.

Berbeda dengan semua hal di atas, pengembang pembelajaran mesin juga dapat menggunakan jenis algoritme yang sama untuk menyempurnakan model selama pengembangan dan pelatihan, lalu menerapkannya selama waktu pengujian.

“Saat ini kami memiliki semua teknik berbeda ini, yang semuanya memiliki kesamaan yaitu Anda hanya melakukan perhitungan ekstra pada waktu pengujian dan pada dasarnya tidak memiliki fitur teknis lainnya,” kata Jacob Andreas, profesor ilmu komputer di Massachusetts Institute Teknologi. “Sepertinya mereka semua membuat model sedikit lebih baik. Dan kami benar-benar tidak memahami apa hubungan di antara mereka.”

Batasan Bersama

Meskipun metode yang digunakan berbeda-beda, metode-metode tersebut memiliki keterbatasan yang sama: kecepatan pembangkitan yang lebih lambat dan potensi kebutuhan akan sumber daya komputasi, air, dan energi yang lebih banyak. Kelestarian lingkungan sudah menjadi isu yang berkembang di bidang ini.

Mungkin diperlukan waktu sekitar lima detik bagi LLM untuk menjawab satu pertanyaan tanpa tambahan waktu pengujian, kata Ekin Akyürek, Ph.D. ilmu komputer. kandidat di MIT, yang dinasihati oleh Andreas. Namun metode yang dikembangkan oleh Akyürek, Andreas dan rekan-rekannya meningkatkan waktu respons menjadi lima menit. Untuk aplikasi dan perintah tertentu, menambah lama waktu yang dibutuhkan untuk melakukan inferensi adalah hal yang tidak masuk akal, kata Dilek Hakkani-Tur, profesor ilmu komputer di Universitas Illinois Urbana-Champaign. Hakkani-Tur telah bekerja secara ekstensif dalam mengembangkan agen percakapan AI yang “berbicara” kepada pengguna, seperti Alexa dari Amazon. “Di sana, kecepatan adalah hal yang paling penting,” katanya. Untuk interaksi yang rumit, pengguna mungkin tidak keberatan dengan jeda beberapa detik untuk melihat respons bot. Namun untuk bolak-balik, manusia mungkin akan melepaskan diri jika mereka harus menunggu dalam waktu yang terasa sangat lama.

Lebih banyak waktu juga berarti lebih banyak upaya komputasi dan uang. Memiliki o3 yang melakukan satu tugas dapat membuat OpenAI mengeluarkan biaya $17 atau lebih dari $1.000, tergantung pada versi perangkat lunak yang digunakan, menurut perkiraan dari pembuat tes benchmarking AI yang populer, yang diberikan akses awal ke AI. Dan dalam kasus di mana suatu model akan ditanyakan jutaan kali oleh basis pengguna yang besar, mengalihkan investasi komputasi dari pelatihan ke inferensi akan membuat semua permintaan tersebut dengan cepat menambah beban keuangan yang besar dan pengurasan energi yang sangat besar. Mengkueri LLM seperti ChatGPT diperkirakan menggunakan kekuatan penelusuran Google 10 kali lipat. Beralih dari komputasi lima detik menjadi lima menit akan meningkatkan permintaan energi puluhan kali lipat, kata Akyürek.

Namun hal ini bukanlah suatu kerugian yang pasti dalam setiap kasus. Jika peningkatan komputasi waktu pengujian memungkinkan model yang lebih kecil untuk berperforma lebih baik dengan lebih sedikit pelatihan, atau jika hal ini menghilangkan kebutuhan untuk terus membangun dan melatih lebih banyak model dari awal, maka strategi tersebut berpotensi mengurangi konsumsi energi generatif AI dalam beberapa kasus, kata Hakkani-Tur. Keseimbangan akhir bergantung pada faktor-faktor seperti tujuan penggunaan, frekuensi kueri model, dan pertanyaan apakah model cukup kecil untuk dijalankan di perangkat lokal dan bukan di tumpukan server jauh. Pro dan kontra “perlu diperhitungkan dengan cermat,” tambahnya. “Saya akan melihat gambaran yang lebih besar tentang bagaimana saya akan menggunakan sebuah model.” Artinya, pengembang AI harus berpikir panjang dan keras sebelum mendorong kreasi mereka melakukan hal yang sama.