2026-08-21 · 6 min read · ai-fundamentals
Apa Itu Token? Satuan Terkecil yang Dibaca AI
AI tidak membaca huruf atau kata, tapi token: potongan teks yang diubah menjadi angka. Pahami encoding, vocabulary, dan kenapa kata aneh bikin tagihan membengkak.
Ini pelajaran ketiga dari seri Fundamental AI. Sebelumnya kita bahas pesan dan system prompt. Sekarang turun ke bahan bakunya: token.
Model bahasa tidak pernah melihat huruf atau kata seperti yang kamu lihat. Yang dilihatnya adalah token: angka-angka yang mewakili potongan teks. Proses mengubah teks menjadi token disebut encoding, dan proses baliknya, dari angka kembali menjadi teks yang bisa kamu baca, disebut decoding.
Alur lengkap setiap panggilan LLM selalu sama:
Alur lengkap setiap panggilan LLM selalu sama:
Token input itu mencakup semuanya: riwayat percakapan, system prompt, bahkan definisi tools. Semua ikut dihitung sebagai input, dan semuanya ditagih.
Dari mana daftar token berasal
Tokenizer dilatih dari korpus teks raksasa, mirip dengan data pelatihan modelnya. Cara kerjanya bisa dibayangkan sederhana: mulai dari karakter tunggal, lalu cari pasangan karakter yang paling sering muncul dan jadikan itu satu token, lalu cari gabungan gabungan yang sering, terus begitu.
Kata "the" dalam Inggris muncul jutaan kali, jadi dia dapat satu token sendiri. Hasil akhirnya adalah vocabulary: kamus semua token yang dikenal tokenizer. Ukuran vocabulary menentukan efisiensi. Vocabulary kecil akan memecah kata "understanding" menjadi lima token; vocabulary besar cukup dua atau tiga. Makin besar vocabulary, makin sedikit token yang dibutuhkan untuk teks yang sama, makin murah dan cepat pemrosesannya.
Konsekuensinya muncul di kata-kata aneh. Kata buatan seperti "frabjous" tidak ada di korpus, jadi tokenizer memecahnya menjadi banyak token kecil. Aturan umumnya: kata yang sering muncul hemat token, kata langka boros token.
Kenapa kamu perlu peduli
Pertama, biaya. Input dan output sama-sama ditagih per token, biasanya dengan tarif berbeda. Dokumen 50 halaman yang kamu lampirkan "sekalian saja" itu tidak gratis; ia dimakan ribuan token sebelum pertanyaanmu dibaca. Salah satu cara termurah menghemat adalah merancang prompt supaya menghasilkan output yang lebih pendek.
Kedua, kecepatan. Model menghasilkan jawaban token demi token, satu per satu. Jawaban 2.000 token butuh 2.000 langkah prediksi. Ini kenapa jawaban panjang terasa mengalir pelan, dan kenapa meminta "ringkas ya" benar-benar mempercepat.
Ketiga, kegagalan yang aneh. Pernah lihat AI gagal menjawab "ada berapa huruf R dalam strawberry"? Model tidak melihat huruf; ia melihat token. Huruf-huruf di dalam sebuah token tidak pernah terpisah bagi modelnya. Pertanyaannya meminta penghitungan atas sesuatu yang tidak pernah ia lihat satu-satu.
Satu konsep, tiga hal yang tadinya terasa arbitrer jadi terukur. Pelajaran berikutnya naik satu level: context window, tempat semua token itu harus muat.
Sources
- Made Arga — TikTok @argakuka · first-hand · accessed 2026-08-21First-hand practical AI content for Indonesian audiences, drawn from real workshop and operator experience.
- OpenAI — Tokenizer Documentation · documentation · accessed 2026-08-21Official explanation of how text is split into tokens and why token counts affect cost and limits.
Next steps
Frequently asked
Berapa panjang satu token?
Rata-rata satu token setara dengan sekitar tiga sampai empat karakter bahasa Inggris, atau kurang dari satu kata. Bahasa Indonesia cenderung sedikit lebih boros token dibanding Inggris karena kata-katanya lebih panjang dan jarang muncul di data pelatihan tokenizer.
Kenapa harga API AI dihitung per token?
Karena token adalah satuan kerja model. Setiap token input harus diproses dan setiap token output harus diprediksi satu per satu, dengan tarif input dan output yang berbeda. Makin panjang teksmu, makin banyak token, makin mahal dan makin lambat.
Kenapa AI salah menghitung jumlah huruf dalam sebuah kata?
Karena model tidak melihat huruf, ia melihat token. Kata 'strawberry' mungkin jadi dua atau tiga token, dan model tidak punya akses ke huruf-huruf di dalamnya. Pertanyaan 'ada berapa huruf R' meminta model menghitung sesuatu yang tidak pernah ia lihat secara terpisah.
Want this working inside your team?
It starts with one conversation about your workflow.