BAB 4
Training vs Inference
Kenapa model tidak “belajar saat itu juga”, dan studi kasus mudah
4.1 Kenapa Ini Perlu Dipisah Jadi Bagian Sendiri
Di Bab 2 dan 3 kita sudah menyinggung Training dan Inference sambil lalu. Bagian ini mengumpulkan keduanya jadi satu perbandingan utuh, karena banyak orang salah kira “ChatGPT/Claude belajar dari percakapan kita saat itu juga” — padahal keduanya adalah dua proses yang sangat berbeda dari segi biaya, waktu, dan kapan terjadinya.
4.2 Perbandingan Langsung
| Aspek | Training | Inference |
|---|---|---|
| Kapan terjadi | Sekali (atau beberapa kali) sebelum model dirilis ke publik | Setiap kali pengguna mengirim pesan/pertanyaan |
| Berapa lama | Berbulan-bulan (membaca triliunan kata berulang kali) | Hitungan detik per respons |
| Biaya | Puluhan hingga ratusan juta dolar sekali proses | Sangat kecil per pesan, tapi berkali lipat kalau dikalikan jutaan pengguna |
| Apa yang berubah | Bobot/parameter model disesuaikan secara permanen | Tidak ada yang berubah permanen — model hanya “membaca” lalu dibuang |
| Apakah model “ingat” percakapan? | Tidak relevan — training sudah selesai sebelum kita chat | Hanya “ingat” dalam satu sesi (context window) |
4.3 Studi Kasus Mudah: Restoran vs Koki
Bayangkan Training seperti proses seorang calon koki sekolah masak bertahun-tahun, mencicipi ribuan resep, dilatih banyak chef senior, sampai akhirnya benar-benar mahir. Proses ini mahal dan hanya terjadi sekali di awal karier.
Inference itu seperti koki yang sudah lulus, bekerja di restoran memasak pesanan pelanggan setiap hari. Koki tidak “sekolah lagi” dari nol — ia hanya memakai keahlian yang sudah dipelajari. Kalau resep pesanannya aneh, koki bisa saja salah menebak cara memasaknya (mirip halusinasi LLM) — tapi ia tidak otomatis “belajar resep baru itu” untuk selamanya; keahliannya baru berubah kalau dikirim sekolah masak lagi (di-training ulang).
Inilah kenapa Claude tidak otomatis “mengingat” percakapan Anda kemarin ke sesi baru, dan kenapa knowledge cutoff hanya berubah lewat training ulang yang mahal, bukan dari obrolan sehari-hari.