← Profil penulisSeri Belajar AIBuku lainnya

SERI BELAJAR AI ยท JILID 2 ยท TAHAP 17

Evaluasi, Hallucination & Keterbatasan LLM

Memahami Kapan dan Mengapa AI Bisa Salah

Jilid 2 ini ditutup dengan topik yang sangat penting bagi siapa pun yang memakai AI sehari-hari: memahami keterbatasan LLM. Setelah mempelajari arsitektur Transformer (Tahap 11), cara LLM dilatih (Tahap 12), embedding dan RAG (Tahap 13-14), serta fine-tuning dan AI generatif multimodal (Tahap 15-16), Tahap 17 ini menutup Jilid 2 dengan topik yang sangat praktis: kapan kita boleh percaya jawaban AI, kapan harus curiga, dan bagaimana cara mengevaluasi keandalannya.

1. Apa Itu Hallucination?

Hallucination (dalam konteks AI) adalah ketika model menghasilkan informasi yang terdengar meyakinkan dan ditulis dengan percaya diri, tapi sebenarnya SALAH atau sepenuhnya dikarang. Ini bukan 'kebohongan' yang disengaja (AI tidak punya niat), melainkan konsekuensi alami dari cara kerja LLM: ingat dari Tahap 12, tugas dasar LLM hanyalah menebak kata berikutnya yang PALING MUNGKIN secara statistik โ€” bukan memverifikasi fakta ke sumber aslinya.

Contoh umum: meminta AI menyebutkan referensi/sumber akademik tentang topik yang sangat spesifik, dan AI 'mengarang' judul paper, nama penulis, bahkan nomor halaman yang terdengar sangat meyakinkan tapi tidak benar-benar ada.

๐Ÿ’ก Analogi

Bayangkan seorang murid yang sangat pandai bicara dan punya memori luas, tapi diminta menjawab ujian lisan tanpa boleh membuka buku. Untuk pertanyaan yang ia benar-benar tahu jawabannya, ia akan menjawab akurat. Tapi untuk pertanyaan yang ia TIDAK yakin jawabannya, alih-alih bilang 'saya tidak tahu', ia cenderung menjawab dengan nada percaya diri berdasarkan 'perkiraan terbaik' โ€” kadang benar, kadang terdengar masuk akal tapi sebenarnya salah. LLM punya kecenderungan serupa, karena dilatih untuk selalu menghasilkan jawaban yang 'terdengar lancar', bukan untuk mengakui ketidaktahuan.

2. Mengapa Hallucination Terjadi?

3. Cara Mengurangi Risiko Hallucination

4. Bias dalam AI

Selain hallucination, LLM juga bisa mewarisi BIAS dari data pelatihannya. Jika data latih (yang sebagian besar berasal dari internet) mengandung pola bias tertentu โ€” stereotip gender, bias budaya, representasi tidak seimbang antar kelompok โ€” model berisiko mereplikasi atau bahkan memperkuat bias tersebut dalam jawabannya, kecuali ditangani secara khusus lewat proses alignment (Tahap 12).

Perusahaan-perusahaan AI besar (OpenAI, Anthropic, Google, xAI, Meta) masing-masing punya tim dan pendekatan khusus untuk mengurangi bias ini, meski tidak ada yang mengklaim modelnya 100% bebas bias.

5. Cara Mengevaluasi Kualitas Jawaban LLM

Diagram & Ilustrasi

Geser ke samping, atau ketuk gambar untuk membukanya dalam ukuran penuh.

Diagram dan ilustrasi Tahap 17: Evaluasi, Hallucination & Keterbatasan LLM

Rangkuman Tahap 17

Istilah Penting

IstilahPenjelasan
HallucinationKetika AI menghasilkan informasi yang terdengar meyakinkan namun sebenarnya salah atau dikarang.
BiasKecenderungan tidak seimbang/stereotip yang diwarisi model dari pola dalam data pelatihannya.
BenchmarkKumpulan soal/tugas standar untuk mengukur dan membandingkan kemampuan model AI secara objektif.
Human EvaluationPenilaian kualitas jawaban AI secara langsung oleh manusia, untuk aspek yang sulit diukur otomatis.
LLM-as-JudgeTeknik menggunakan satu model AI untuk menilai kualitas jawaban model AI lain secara otomatis dalam skala besar.