Pajak Harness: Biaya Tersembunyi di Balik Coding Agent

Setiap hari saya menjalankan sekawanan agent coding di Pi — satu harness minimalis yang jarang disebut di percakapan "agent war" antar merek besar. Sebagai operator armada, ada pertanyaan yang mengganggu: kalau saya memindahkan armada itu ke harness lain, apakah hasil kerjanya berubah?

Tim riset dari UC Berkeley dan Arena baru-baru ini menguji persis pertanyaan itu, dengan cara yang rapi. Studinya diberi nama HarnessTax — pajak harness — dan nama itu bukan tanpa alasan.

Penulis studi — Melissa Z. Pan, Shuo Yang, Negar Arabzadeh, Wei-Lin Chiang, Ion Stoica, dan Matei Zaharia — menguji 21 kombinasi: 7 model dikali 3 harness (Claude Code, Codex CLI, dan Pi). Modelnya beragam: empat varian Claude (Fable 5, Opus 4.8, Sonnet 4.6, Haiku 4.5), dua varian GPT-5.6 (Sol dan Luna), dan Kimi K3.

Setiap kombinasi dijalankan pada dua benchmark — SWE-bench Lite untuk perbaikan bug di repo sungguhan, Terminal-Bench 2.0 untuk pekerjaan di terminal — dengan 30 tugas unik yang diulang tiga kali per titik data. Metode yang sama, model yang sama, satu-satunya variabel yang berubah: harness yang membungkusnya.

Hasil paling mencolok: pilihan harness hampir tidak menggeser success rate. Model yang sama, di harness mana pun, cenderung berhasil di tugas yang serupa. Yang berubah drastis adalah biaya per rollout, artinya harga satu percobaan agen menyelesaikan satu tugas — dan perbedaannya bukan recehan.

Contoh paling telanjang dari grafik di atas: GPT-5.6 Luna menyelesaikan SWE-bench Lite dengan success rate 55,6% di Claude Code dengan biaya sekitar $0,15 per rollout. Model yang sama di Pi mencapai 53,3% — dengan biaya $0,03. Perbedaan hasil yang nyaris tak terdengar, tagihan yang beda lima kali lipat. GPT-5.6 Sol memperlihatkan pola serupa: $1,54 di Claude Code versus $0,44 di Pi, beda 3,5 kali. Bahkan Claude Fable 5 — model terkuat di studi ini — setengah harganya di Pi ($0,67 vs $1,33) dengan success rate yang nyaris identik: 96,7% vs 97,8%.

Di Terminal-Bench 2.0 polanya berulang: success rate antar harness untuk model yang sama bergerak dalam rentang beberapa poin, sementara biayanya bisa beda dua sampai tiga kali lipat.

Harness hampir tidak mengubah seberapa sering agent berhasil. Ia sangat mengubah berapa yang kamu bayar per keberhasilan itu.

Titik-titik berlingkar di grafik adalah frontier: kombinasi yang tidak terkalahkan, artinya tidak ada kombinasi lain yang lebih murah sekaligus lebih berhasil. Di SWE-bench Lite, lima dari tujuh titik frontier adalah Pi — harness yang justru paling minim fitur di antara ketiganya.

Temuan ketiga yang paling mengguncang asumsi: model tidak otomatis tampil terbaik di harness buatan vendornya sendiri. Kimi K3 di Terminal-Bench mencapai 66,7% di Claude Code tapi 73,3% di Pi. Claude Haiku 4.5 lebih ekstrem lagi: 47,8% di Pi versus 31,1% di Codex CLI — selisih hampir 17 poin untuk model yang sama.

Penulis studi merangkumnya dalam satu kalimat yang cepat jadi perbincangan: your Claude models may not need Claude Code — model-model Claude-mu belum tentu butuh Claude Code.

Sebelum kita menarik kesimpulan terlalu jauh, beberapa catatan penting. Pertama, 30 tugas dikali tiga repetisi itu sampel kecil; interval kepercayaannya lebar, dan penulis studi sendiri menandai beberapa titik frontier dengan ketidakpastian bootstrap yang tinggi. Kedua, SWE-bench Lite mulai menua sebagai benchmark. Ketiga, model yang diuji berlabel versi tertentu — lanskap model berganti tiap bulan. Dan keempat: pengaturan default tiap harness ikut menentukan, jadi hasilnya bukan vonis abadi.

Baca studi ini bukan sebagai "satu merek menang segalanya", tapi sebagai: harness adalah keputusan biaya, bukan keputusan kualitas — dan itu jenis keputusan yang seharusnya diukur, bukan diperdebatkan berdasarkan loyalitas merek.

Bagi tim yang menjalankan banyak agent setiap hari, ini kabar baik: optimasi terbesar mungkin bukan di membeli model baru, tapi di memilih dan menyetel harness yang membungkus model lama. Pajaknya bisa dinegosiasikan.