Thinking Machines Lab Berkomitmen Membuat Model AI Lebih Konsisten

Dalam beberapa tahun terakhir, model AI telah mencapai kemajuan yang luar biasa. Model-model ini mampu menghasilkan teks, gambar, dan kode yang sangat realistis. Namun, mereka juga memiliki masalah besar: inkonsistensi. Jika Anda mengajukan pertanyaan yang sama beberapa kali ke sebuah model AI, kemungkinan besar Anda akan mendapatkan jawaban yang berbeda. Inkonsistensi ini adalah sebuah tantangan. Tantangan ini akan menghambat adopsi AI. Terutama di bidang yang membutuhkan keandalan tinggi. Bidang ini adalah penelitian ilmiah dan aplikasi bisnis. Thinking Machines Lab, sebuah startup yang didirikan oleh mantan eksekutif OpenAI, kini bertekad untuk membuat model AI lebih konsisten.

Mengapa Model AI Tidak Konsisten?

Secara teknis, inkonsistensi ini dikenal sebagai “nondeterminism”. Hal ini terjadi karena beberapa faktor. Faktor ini terjadi selama proses inference (saat model memproses prompt).

Kesalahan Pembulatan Floating-Point: Komputer menggunakan angka floating-point. Ini adalah angka yang tidak selalu presisi. Perhitungan paralel pada GPU dapat menyebabkan perbedaan kecil. Perbedaan ini akan menghasilkan keluaran yang sedikit berbeda.
Orkestrasi GPU yang Acak: GPU modern melakukan ribuan operasi secara paralel. Urutan eksekusi operasi ini tidak selalu sama. Hal ini dapat memengaruhi hasil akhir.
Tidak Adanya Batch Invariance: Ini adalah masalah yang paling serius. Hasil perhitungan untuk satu input dapat berubah. Hal ini terjadi tergantung pada ukuran batch di mana input tersebut diproses. Ini juga terjadi tergantung pada jumlah permintaan lain. Permintaan ini berjalan secara bersamaan di server.

Thinking Machines Lab menemukan bahwa masalah batch invariance adalah penyebab utama. Mereka berargumen bahwa dengan mengatasi masalah ini, mereka dapat membuat model AI lebih konsisten.

Solusi Inovatif dari Thinking Machines Lab

Dalam blog post pertama mereka, Thinking Machines Lab mengumumkan terobosan mereka. Mereka mengumumkan terobosan dalam mengatasi nondeterminism. Mereka mengembangkan metode baru. Metode ini adalah metode yang membuat operasi GPU menjadi batch-invariant.

Metode ini memastikan bahwa perhitungan akan selalu terjadi. Perhitungan ini akan selalu terjadi dalam urutan yang sama. Ini terjadi terlepas dari ukuran batch atau beban server. Ini akan menghilangkan perbedaan numerik kecil. Hal ini akan membuat hasil menjadi deterministik.

Thinking Machines Lab melakukan eksperimen. Eksperimen ini sangat sederhana. Mereka memberikan prompt yang sama sebanyak 1000 kali. Tanpa batch invariance, mereka mendapatkan 80 jawaban yang berbeda. Dengan pendekatan baru mereka, ke-1000 percobaan tersebut menghasilkan hasil yang sama persis.

Dampak Membuat Model AI Lebih Konsisten

Keberhasilan ini lebih dari sekadar pencapaian teknis. Ini memiliki implikasi yang signifikan. Implikasi ini adalah implikasi yang signifikan untuk berbagai bidang.

Riset Ilmiah: Penelitian AI akan menjadi lebih reproducible. Hasil eksperimen dapat diulangi. Ini akan memungkinkan para peneliti untuk memvalidasi temuan mereka.
Aplikasi Bisnis: Perusahaan membutuhkan hasil yang dapat diandalkan. Mereka tidak bisa memiliki AI yang memberikan jawaban yang berbeda. Perusahaan membutuhkan AI yang dapat memberikan jawaban yang sama. AI ini harus memberikan jawaban yang sama untuk permintaan yang sama. Ini akan membuat pengujian dan debugging menjadi lebih mudah. Ini juga akan membuat aplikasi menjadi lebih dapat diandalkan.
Reinforcement Learning: Pelatihan reinforcement learning (RL) akan menjadi lebih efisien. Pelatihan RL memberikan penghargaan. Ia memberikan penghargaan kepada AI untuk output yang benar. Jika outputnya terus bervariasi, data menjadi tidak konsisten. Dengan membuat model AI lebih konsisten, proses RL dapat berjalan dengan lebih lancar.
Kepercayaan Pengguna: Pengguna akan lebih percaya pada AI. Hal ini akan terjadi jika mereka tahu bahwa AI akan memberikan jawaban yang konsisten.

Visi Thinking Machines Lab

Thinking Machines Lab adalah sebuah perusahaan. Perusahaan ini berfokus pada riset. Ia juga berfokus pada produk. Mereka ingin menciptakan AI yang bekerja sama dengan manusia. Mereka tidak ingin menciptakan AI yang menggantikan manusia.

Komitmen mereka terhadap transparansi adalah sesuatu yang unik. Mereka akan secara rutin mempublikasikan riset mereka. Mereka juga akan mempublikasikan kode. Hal ini akan membedakan mereka dari perusahaan-perusahaan AI yang lebih besar.

Kesimpulan

Dengan langkah berani untuk mengatasi masalah inkonsistensi, Thinking Machines Lab telah menunjukkan bahwa mereka adalah pemain baru. Mereka adalah pemain yang serius dalam dunia AI. Mereka berkomitmen untuk membuat model AI lebih konsisten dengan memberikan manfaat nyata bagi peneliti dan bisnis. Ini adalah sebuah langkah kecil. Namun, ini adalah sebuah langkah yang penting. Ini adalah sebuah langkah yang akan membawa AI menuju tingkat keandalan dan kepercayaan yang lebih tinggi.