Pesan, System Prompt, dan Reasoning Token

Ini pelajaran kedua dari seri Fundamental AI. Sebelum bicara token dan context window, kita mulai dari hal yang paling dekat dengan kamu setiap hari: apa sebenarnya yang terjadi saat kamu mengetik di ChatGPT.

Setiap chat dengan model bahasa pada dasarnya adalah sebuah daftar pesan. Setiap pesan punya peran: system (aturan main dari aplikasi), user (yang kamu ketik), dan assistant (jawaban model). Setiap kali kamu kirim pesan baru, seluruh daftar itu dikirim ulang ke model dari awal. Model tidak "mengingat" percakapanmu; ia membaca ulang semuanya setiap giliran.

Fakta sederhana ini menjelaskan banyak hal. AI bisa "lupa" instruksi dari tadi pagi karena daftarnya makin panjang dan instruksi itu makin tertelan. Menyalin percakapan ke chat baru sering memperbaiki hasil, karena kamu memberinya daftar pesan yang bersih.

System prompt adalah pesan peran system yang ditulis oleh pembuat aplikasi, bukan oleh kamu. Saat kamu pakai ChatGPT lewat browser, ada instruksi panjang yang sudah menunggu sebelum kamu mengetik huruf pertama: siapa model ini, bagaimana gaya bicaranya, apa yang boleh dan tidak boleh dilakukan.

Banyak orang membayangkan system prompt sebagai mantra rahasia. Padahal ia hanya pesan pertama dalam daftar, dengan posisi istimewa: model membacanya sebelum segalanya. Tapi posisi awal bukan kontrak. Instruksi terbaru dan konteks yang lebih relevan bisa menggesernya, apalagi di percakapan panjang.

Kalau kamu membangun aplikasi sendiri dengan API, system prompt adalah tempat kamu menaruh kepribadian produkmu. Kalau kamu cuma pengguna, pahami bahwa perilaku "khas" sebuah tool AI sebagian besar adalah pilihan system prompt, bukan kepintaran bawaan modelnya.

Model modern punya kemampuan baru: menghasilkan token untuk berpikir sebelum menjawab. Ini disebut reasoning token. Saat kamu bertanya soal soal logika yang rumit, model reasoning tidak langsung menulis jawaban. Ia menghasilkan rangkaian token internal: mencoba satu pendekatan, menyadari macet, mencoba cara lain, memeriksa ulang, lalu menulis jawaban final yang kamu lihat.

Kamu biasanya tidak melihat proses ini, tapi kamu merasakan biayanya. Jawaban model reasoning lebih lambat dan lebih mahal karena token berpikirnya ikut dihitung. Untuk matematika, debugging, dan perencanaan bertahap, biaya itu sering worth it. Untuk merangkum email atau menerjemahkan paragraf, itu buang-buang waktu; model biasa sudah lebih dari cukup.

Begitu kamu melihat chat sebagai daftar pesan, beberapa kebiasaan baik muncul sendiri. Kamu berhenti menumpuk sepuluh topik dalam satu chat dan mulai memisahkannya. Kamu menulis ulang instruksi penting di titik krusial, bukan berharap model masih ingat dari jam tiga sore. Dan kamu berhenti menganggap semua model sama: pilihan antara model cepat dan model reasoning adalah keputusan, bukan pilihan acak.

Pelajaran berikutnya membahas bahan bakunya: token, satuan terkecil yang dipakai model untuk membaca dunia.