Perlombaan di industri kecerdasan buatan (AI) saat ini didominasi oleh perusahaan-perusahaan raksasa yang bersaing untuk membangun model bahasa besar (LLM) yang semakin besar, membutuhkan miliaran dolar dan puluhan ribu GPU. Namun, di tengah hiruk pikuk “perlombaan skala” ini, muncul suara-suara kritis yang menyatakan bahwa fokus pada ukuran saja adalah jalan yang mahal dan kurang berkelanjutan. Sara Hooker, mantan Kepala Riset AI di Cohere—salah satu perusahaan AI generatif terkemuka—adalah salah satu tokoh penting yang menganjurkan pendekatan yang berbeda. Ia dengan tegas meyakini masa depan AI terletak pada Efisiensi AI Daripada Skala.
Bagi Hooker, pengejaran model yang lebih besar dan lebih lapar data tidak lagi menjadi satu-satunya jalur menuju kecerdasan dan kemampuan yang lebih unggul. Sebaliknya, inovasi yang sebenarnya akan datang dari peningkatan efisiensi, arsitektur model yang cerdas, dan yang paling penting, fokus pada kualitas data. Filosofi ini telah menjadi tren yang semakin kuat, menyarankan bahwa kita mungkin telah mencapai plateau di mana peningkatan ukuran model memberikan keuntungan yang semakin kecil (diminishing returns). Dengan biaya pelatihan model yang terus meroket, pendekatan yang lebih efisien menjadi sangat menarik, baik dari sudut pandang ekonomi maupun lingkungan.
Batasan Fisik dan Ekonomi dari Skala Model
Mengapa ada yang “bertaruh melawan” perlombaan yang tampaknya dimenangkan oleh raksasa seperti OpenAI dan Google? Jawabannya terletak pada keterbatasan fisik dan ekonomi yang semakin nyata. Melatih model sebesar GPT-4 membutuhkan sumber daya komputasi yang masif, menghasilkan jejak karbon yang signifikan, dan memerlukan investasi modal yang hanya mampu ditanggung oleh segelintir perusahaan di dunia.
Model yang sangat besar juga membawa masalah biaya inferensi yang tinggi, menjadikannya kurang praktis untuk implementasi secara luas di berbagai industri, terutama bagi perusahaan rintisan atau bisnis kecil. Sara Hooker dan para penganut pendekatan efisiensi berpendapat bahwa keterbatasan ini akan menjadi kekuatan pendorong di balik gelombang inovasi AI berikutnya. Daripada memperbesar model hingga mencapai miliaran parameter, fokus harus beralih pada bagaimana model yang ada dapat menjadi lebih cerdas dengan sumber daya yang sama atau bahkan lebih sedikit.
Kualitas Data Sebagai Kunci Utama Efisiensi
Salah satu argumen sentral yang mendukung Efisiensi AI Daripada Skala adalah pentingnya kualitas data. Para peneliti mulai menyadari bahwa model yang dilatih pada dataset yang lebih kecil tetapi sangat terkurasi dan berkualitas tinggi sering kali mengungguli model yang dilatih pada volume data mentah yang sangat besar. Pendekatan ini adalah pergeseran dari “lebih banyak selalu lebih baik” menjadi “lebih baik itu yang terbaik”.
Teknik kurasi data yang canggih, termasuk penghapusan data yang berlebihan (de-duplication), penandaan yang akurat, dan penekanan pada sumber daya yang langka namun berharga, menjadi kunci. Dengan memaksimalkan “nilai gizi” setiap bit data, para peneliti dapat mencapai kinerja yang sebanding—atau bahkan lebih baik—dari model raksasa, tetapi dengan biaya pelatihan yang jauh lebih rendah. Tren ini membuka peluang bagi pemain baru untuk bersaing, karena akses ke daya komputasi yang tak terbatas tidak lagi menjadi satu-satunya penentu keberhasilan.
Inovasi Arsitektur Menjanjikan Efisiensi AI Daripada Skala
Selain kualitas data, inovasi dalam arsitektur model memainkan peran penting. Berbagai teknik baru mulai bermunculan yang secara langsung menargetkan efisiensi model:
- Model Sparse (Jarang): Teknik yang memungkinkan model memiliki miliaran parameter tetapi hanya mengaktifkan sebagian kecil dari parameter tersebut untuk setiap tugas pemrosesan. Ini dapat mengurangi biaya inferensi secara signifikan.
- Model Mixture-of-Experts (MoE): Arsitektur yang membagi tugas pemrosesan di antara banyak sub-model (expert). Meskipun model secara keseluruhan besar, hanya sebagian kecil ahli yang “terbangun” untuk setiap token masukan, meningkatkan efisiensi komputasi.
- Model Distillation (Penyulingan): Proses melatih model yang lebih kecil—disebut “siswa”—agar meniru kinerja model yang lebih besar—disebut “guru”. Model siswa ini jauh lebih murah dan cepat untuk dioperasikan.
Pendekatan-pendekatan ini menawarkan cara untuk “mendapatkan kecerdasan LLM secara murah” tanpa harus melalui proses pelatihan super-mahal dari awal. Bagi Hooker, fokus pada inovasi arsitektur inilah yang akan mendorong adopsi AI secara luas, karena membuat teknologi ini dapat diakses dan digunakan di perangkat lokal (on-device) atau lingkungan komputasi yang lebih terbatas.
Kesimpulan: AI yang Lebih Cerdas, Bukan Hanya Lebih Besar
Pandangan bahwa Efisiensi AI Daripada Skala adalah masa depan menunjukkan perubahan paradigma dalam penelitian AI. Ini bukan berarti model besar akan hilang, melainkan bahwa model besar tidak lagi menjadi satu-satunya sumber kemajuan. Pendekatan yang didorong oleh efisiensi ini akan melahirkan gelombang baru model yang lebih spesifik, lebih cepat, dan lebih murah untuk dioperasikan—model yang dirancang untuk tugas tertentu, didukung oleh data terbaik, dan dijalankan dengan arsitektur yang canggih.
Pada akhirnya, apa yang dicari oleh industri dan pengguna adalah kapabilitas dan solusi, bukan ukuran. Dengan memprioritaskan efisiensi, para peneliti dapat menjembatani kesenjangan antara kemampuan AI yang luar biasa dan implementasi praktis di dunia nyata, menjadikan kecerdasan buatan sebagai teknologi yang lebih berkelanjutan, inklusif, dan revolusioner.
Baca juga:
- AI Percakapan Sesame: $255 Juta untuk Merombak Interaksi Suara
- Claude Code Hadir di Web: Revolusi Coding dari Anthropic
- Penurunan Traffic Wikipedia Akibat Ringkasan AI dan Video Sosial
Informasi ini dipersembahkan oleh naga empire
