Mengapa semakin AI memahami Anda, jawaban yang diberikan semakin "mainstream"? Peringatan bias pelatihan Karpathy

Andrej Karpathy, mantan Direktur AI Tesla dan suara penting di bidang pembelajaran mendalam, baru-baru ini memposting di X, menyoroti satu masalah fundamental dari model bahasa besar (LLM): fungsi memori dan personalisasi tidak hanya tidak membuat model lebih pintar, tetapi malah dapat memperkuat sebuah “bias pelatihan” sistemik, yang menyebabkan model semakin cenderung menjawab “jawaban yang umum dan benar” daripada “jawaban terbaik yang sesungguhnya”.

Inti masalahnya: LLM dalam “mengingat”, bukan dalam “berpikir”

Argumen yang diajukan Karpathy secara langsung menantang asumsi operasi LLM. Dia menunjukkan bahwa distribusi “contoh” dalam data pelatihan sangat tidak merata—solusi masalah yang populer dan jawaban yang sering dibahas muncul berulang kali dalam data pelatihan, sementara jawaban yang jarang tetapi juga benar hampir tidak ada.

Ini menimbulkan masalah mendasar: saat menjawab pertanyaan, LLM tidak benar-benar “berpikir” untuk menemukan jawaban terbaik, melainkan mencari dalam memori “contoh yang paling umum dan benar”. Dengan kata lain, semakin mainstream dan sering didiskusikan solusi tersebut, semakin besar kemungkinan model memilihnya, meskipun ada pilihan yang lebih baik dan lebih sesuai dengan konteks saat ini.

Efek samping dari fungsi memori personalisasi

Masalah ini semakin diperparah dalam fungsi memori personalisasi AI asisten. Ketika model mengingat preferensi pengguna, kebiasaan, dan percakapan sebelumnya, “model pengguna” yang terbentuk pada dasarnya juga merupakan hasil dari distribusi data pelatihan—ia mengingat “tipe umum yang paling mirip pengguna ini”, bukan benar-benar memahami kebutuhan unik individu tersebut.

Ini berarti semakin kuat personalisasi LLM, semakin besar kemungkinan model memaksakan pengguna ke dalam sebuah “prototipe”, bukan memberikan jawaban yang benar-benar disesuaikan secara khusus.

Dampak nyata bagi jurnalis media AI

Wawasan ini memiliki arti langsung bagi mereka yang menggunakan AI untuk membantu pekerjaan. Saat Anda menganalisis proyek kripto yang kurang dikenal, menilai posisi kebijakan non-mainstream, atau meneliti sudut pandang teknologi yang jarang dibahas, jawaban yang diberikan AI cenderung secara alami mengarah ke “opini arus utama”, bukan analisis objektif.

Karpathy berpendapat bahwa saat ini tidak ada solusi sempurna untuk masalah ini, dan hanya dapat diatasi dengan diversifikasi data pelatihan. Namun, bias mendasar—“model cenderung ke jawaban yang populer”—adalah sifat bawaan dari arsitektur LLM, bukan bug.

Masalah yang lebih dalam: AI meniru titik buta kolektif manusia

Pengamatan Karpathy mengarah ke kekhawatiran yang lebih mendalam: data pelatihan adalah sampel dari tulisan manusia di masa lalu, bukan distribusi pengetahuan yang objektif. Ini berarti bahwa LLM tidak hanya menyalin pengetahuan manusia, tetapi juga meniru titik buta kolektif, prasangka, dan penekanan berlebihan terhadap “narasi arus utama” yang ada.

Ketika AI semakin banyak digunakan untuk analisis berita, pengambilan keputusan investasi, dan evaluasi kebijakan, pengaruh bias pelatihan ini juga semakin meluas. Ini bukan sekadar masalah teknis, tetapi masalah kognitif yang membutuhkan pengguna untuk tetap kritis.

Artikel ini: Mengapa semakin AI memahami Anda, jawaban yang diberikan semakin “arus utama”? Peringatan bias pelatihan Karpathy pertama kali muncul di ABMedia.