2026-08-21 · 6 min read · ai-fundamentals
Apa Itu Context Window? Kenapa AI 'Lupa' di Tengah Percakapan
Context window adalah ruang yang dimiliki model: input plus output, semuanya harus muat. Pahami batasnya dan masalah lost in the middle sebelum kamu menjejalkan dokumen 100 halaman.
Ini pelajaran keempat dari seri Fundamental AI. Setelah tahu apa itu token, sekarang tempat semua token itu tinggal: context window.
Context window terdiri dari token input dan token output. Token input mencakup system prompt dan pesan-pesanmu. Token output adalah jawaban yang dikembalikan model. Batas context window berlaku untuk gabungan keduanya.
Masalahnya: percakapan itu tumbuh. Setiap giliran baru menambah pesan, dan seperti kita bahas di pelajaran kedua, seluruh riwayat dikirim ulang ke model setiap kali kamu mengetik. Token yang dipakai membengkak seiring waktu.
Batasnya keras, dan model tidak bisa menghindarinya
Setiap model punya batas token yang tertulis tetap. Kalau percakapan super panjangmu menyentuh batas itu, API biasanya mengembalikan error. Lebih buruk lagi, batas kadang tercapai di tengah proses penulisan jawaban: respons dimulai dengan normal, lalu terpotong di tengah kalimat karena ruangnya habis.
Model tidak cukup pintar untuk bekerja menghindari batasnya sendiri. Jadi jangan kira "modelnya pasti tahu kalau konteksnya penuh." Tidak. Ia akan tetap menulis sampai terjatuh di garis batas.
Lost in the middle
Ini masalah terbesar dari context window. Penelitian menemukan pola konsisten: model memberi perhatian besar pada informasi di awal konteks dan di akhir konteks, tapi kurang memperhatikan bagian tengah. Informasi penting yang tergeletak di tengah riwayat panjang praktis menghilang dari perhitungannya.
Efek ini makin parah makin besar context window-nya. Ironis, kan? Context window raksasa yang dipromosikan di halaman marketing justru punya risiko lost in the middle yang lebih tinggi. Model dengan context 200K token bahkan bisa kesulitan menemukan kembali informasi dari konteksnya sendiri.
Apa artinya untuk pekerjaanmu
Pisahkan topik ke chat terpisah, jangan tumpuk dalam satu percakapan sepanjang hari. Ringkas dokumen sebelum dilampirkan, jangan lempar mentah-mentah. Dan taruh instruksi penting di awal atau akhir prompt, bukan dikubur di tengah antara dua dokumen.
Kalau kamu menilai model untuk tim, jangan kagum pada angka context window-nya saja. Uji dengan pekerjaan nyatamu, di panjang konteks yang realistis. Model yang juara di spesifikasi sering kalah di praktik.
Pelajaran berikutnya: tools, cara memberi model kemampuan bertindak, bukan cuma bicara.
Sources
- Made Arga — TikTok @argakuka · first-hand · accessed 2026-08-21First-hand practical AI content for Indonesian audiences, drawn from real workshop and operator experience.
Next steps
Frequently asked
Apa itu context window?
Context window adalah total token yang bisa dilihat model dalam satu waktu: system prompt, seluruh riwayat percakapan, dokumen yang dilampirkan, plus ruang untuk jawaban yang sedang dihasilkan. Semuanya berbagi satu batas.
Apa yang terjadi kalau percakapan melewati batas context window?
Biasanya API mengembalikan error. Kadang batas tercapai di tengah proses penulisan jawaban, sehingga respons terpotong tanpa selesai. Model tidak cukup pintar menghindari batasnya sendiri.
Apa itu lost in the middle?
Fenomena di mana model memberi perhatian besar pada informasi di awal dan akhir konteks, tapi kurang memperhatikan bagian tengah. Semakin besar context window, semakin parah efek ini. Maka konteks sedikit yang relevan hampir selalu mengalahkan konteks banyak yang setengah relevan.
Want this working inside your team?
It starts with one conversation about your workflow.