Dua halaman peluncuran, dua tabel perbandingan, dua kesimpulan yang sama: "kami yang terbaik". Yang menarik dari GPT-6 Astra dan Claude Fable 5.1 bukan siapa yang menang, melainkan di mana kedua tabel itu saling bertentangan. Di situ terlihat bagaimana angka benchmark sebenarnya diproduksi, dan berapa banyak dari angka itu yang relevan untuk beban kerja kamu.

Artikel ini tidak memilih pemenang. Artikel ini membedah dua dokumen peluncuran resmi dan menunjukkan bagian mana yang bisa kamu pakai untuk keputusan teknis.

Apa yang benar-benar dirilis

Dua peluncuran ini punya bentuk yang berbeda, dan perbedaannya penting untuk perencanaan.

GPT-6 Astra diluncurkan bertahap: awalnya untuk sejumlah organisasi terbatas, lalu dalam beberapa hari ke pengguna ChatGPT Plus, Pro, Business, dan Enterprise, sekaligus lewat API OpenAI, Microsoft Azure, dan AWS Bedrock. Identifier API-nya gpt-6-astra. Paket Pro, Business, dan Enterprise juga mendapat GPT-6 Astra Pro, dan admin Enterprise harus mengaktifkan Astra untuk workspace mereka karena aksesnya nonaktif secara default.

Harga API standarnya $10 per juta token masukan dan $50 per juta token keluaran, dengan tarif terpisah untuk pembacaan dan penulisan cache. Ada mode Cepat yang menawarkan kecepatan hingga 2x pemrosesan standar dengan harga 2x standar. Pelanggan API yang memenuhi syarat mendapat Retensi Data Nol.

Claude Fable 5.1 dirilis dengan pola dua model dari bobot yang sama. Fable 5.1 tersedia umum, sedangkan Claude Mythos 5.1 adalah model identik dengan safeguard lebih permisif yang dirancang untuk kerja keamanan siber dan ilmu hayati, dan hanya tersedia lewat program akses tepercaya. Identifier API-nya claude-fable-5-1, tersedia di AWS, Google Cloud, dan Microsoft Azure.

Harganya juga $10 per juta token masukan dan $50 per juta token keluaran. Yang berubah adalah pembacaan cache: turun 75 persen menjadi $0,25 per juta token. Efeknya, biaya beban kerja tipikal turun sekitar 25 persen dibanding Fable 5, dan untuk kerja agentic berat penghematannya bisa sampai sekitar 45 persen.

Harga list kedua model identik. Jadi pertarungan biaya sebenarnya bukan di harga list, melainkan di tiga hal: efisiensi token keluaran, rasio cache hit, dan tingkat upaya default.

Di mana kedua tabel sepakat, dan di mana mereka bentrok

Beberapa benchmark menghasilkan angka yang konsisten di kedua dokumen, yang berarti keduanya menjalankan harness serupa.

Benchmark Angka OpenAI Angka Anthropic Catatan
Terminal-Bench 4.0 Astra 57,9% / Fable 5.1 55,8% Fable 5.1 55,8% Konsisten
Terminal-Bench Science 0.1 Astra 64,6% / Fable 5.1 52,6% Fable 5.1 52,6% Konsisten
GPQA Diamond Astra 96,0% / Fable 5.1 93,7% tidak dipublikasikan Satu sisi saja
AutomationBench Astra 41,4% / Fable 5.1 31,4% Fable 5.1 31,4% Konsisten
Humanity's Last Exam (dengan alat) Astra 57,2% / Fable 5.1 65,0% Fable 5.1 65,0% Konsisten, Astra kalah
Artificial Analysis Intelligence Index v4.1.1 Astra 61,2 / Fable 5.1 65,7 tidak dipublikasikan Dari tabel OpenAI sendiri, Astra kalah
OSWorld 2.0 Astra 72,6% / Opus 5 70,2% Fable 5.1 77,9% (partial) / Opus 5 75,4% (partial) Bentrok

Dua baris terakhir layak dibaca ulang.

OpenAI mempublikasikan indeks pihak ketiga Artificial Analysis di tabelnya sendiri, dan di situ Astra berada di 61,2 sementara Fable 5.1 di 65,7. Hal serupa terjadi pada Humanity's Last Exam: 57,2 persen berbanding 65,0 persen. Pada Artificial Analysis Coding Agent Index v1.4, Astra 67,0 kalah dari Opus 5 di 68,1 dan Fable 5 di 67,2. Pada FrontierCode 1.1 versi utama, Astra 53,3 persen sedikit di bawah Fable 5 di 53,5 persen.

Pola ini konsisten dan bukan kebetulan. Astra unggul jauh pada tugas agentic dan penggunaan komputer, tetapi tertinggal pada set penalaran akademik yang lebar dan pada beberapa indeks agregat pihak ketiga. Dokumen peluncurannya sendiri yang mengungkap itu.

Sekarang OSWorld 2.0, tempat kedua dokumen benar-benar berbeda. OpenAI melaporkan Astra 72,6 persen, Opus 5 70,2 persen, dan GPT-5.6 Sol 65,7 persen, dengan catatan kaki bahwa skor Claude menggunakan pengaturan resmi, bukan tugas dan penilaian yang dimodifikasi dari kartu sistem Fable 5.1. Anthropic melaporkan angka berbeda: Fable 5.1 77,9 persen dan Opus 5 75,4 persen pada penilaian partial, serta 41,7 persen dan 39,6 persen pada penilaian strict.

Perhatikan konsekuensinya. Angka 72,6 persen milik Astra adalah skor partial, dan di halaman itu tidak ada pasangan skor strict-nya. Sementara Fable 5.1 punya dua angka yang berbeda jauh, 77,9 dan 41,7 persen, tergantung cara penilaian. Kamu tidak bisa membandingkan 72,6 persen dengan 41,7 persen, dan kamu juga tidak bisa membandingkan 72,6 persen dengan 77,9 persen tanpa tahu apakah harness, tugas, dan grader-nya identik.

Ini bukan tuduhan siapa pun berlaku curang. Ini konsekuensi wajar dari fakta bahwa benchmark agentic itu mahal, rapuh terhadap detail harness, dan setiap lab menjalankannya sendiri.

Safeguard bisa membuat skor benchmark jadi nol

Bagian paling penting dari kedua dokumen justru ada di catatan kaki, dan ini yang paling sering dilewatkan.

Anthropic menulisnya secara eksplisit: Fable 5.1 dievaluasi dengan safeguard produksi aktif. Pada tugas di mana safeguard itu melakukan intervensi, Fable 5.1 dan Fable 5 mendapat nilai nol pada OSWorld 2.0, dan Fable 5 mendapat nol pada AutomationBench. Intervensi lain diselesaikan oleh Claude Opus 4.8 untuk tugas siber dan Claude Opus 5 untuk tugas biologi. Mereka juga menyatakan bahwa hal ini kemungkinan menurunkan performa Fable 5.1 dan Fable 5 pada benchmark tersebut.

OpenAI mencatat dua hal serupa. Untuk ScreenSpot-Pro dan ExploitGym, skor Fable yang mereka laporkan berasal dari Mythos, yaitu Fable dengan lebih sedikit pengamanan. Dan Claude Fable 5 serta Fable 5.1 dikeluarkan dari LifeSciBench Gold v1, GeneBench Pro v13, dan MedChemBench karena keduanya menolak sebagian besar pertanyaan dalam evaluasi tersebut.

Artinya, tabel benchmark itu mengukur kapabilitas model di dalam harness tertentu, bukan kapabilitas yang bisa kamu pakai dari akunmu hari ini. Tiga variabel berbeda tercampur dalam satu angka: model, tingkat safeguard, dan kebijakan akses.

Implikasi praktisnya keras. Kalau kamu hanya punya akses API publik, angka Mythos 5.1 yang lebih tinggi itu tidak relevan untukmu, karena Mythos 5.1 saat ini hanya tersedia untuk sekumpulan organisasi di Amerika Serikat lewat Cyber Verification Program dan Life Sciences Verification Program. Dan kalau separuh tugas evaluasimu jatuh ke kategori dual-use, model yang kamu jalankan akan menolak, mengalihkan, atau memberi hasil berbeda dari yang ada di tabel.

Saat memilih model untuk kerja keamanan, pertanyaan yang benar bukan "siapa yang menang di ExploitBench", melainkan "model mana yang boleh saya jalankan, untuk tugas apa, dan berapa sering safeguard menolak pekerjaan yang sah". Pertanyaan kedua itu tidak pernah ada di tabel benchmark mana pun, tetapi paling terasa di produksi.

Dua klaim biaya yang sulit dua-duanya benar

Kedua dokumen mengklaim lebih murah dari yang lain, dan ini layak dibedah karena aritmetikanya bisa diperiksa.

OpenAI menyatakan Astra sekitar 31 persen lebih murah dibanding Fable 5.1 pada Terminal-Bench Science 0.1, sekitar 9 persen dan 63 persen lebih murah per tugas pada Terminal-Bench 4.0, sekitar 43 persen lebih murah dibanding Sol dan 86 persen lebih murah dibanding Fable 5.1 pada BenchCAD, dan sekitar 37 persen lebih murah pada GPQA Diamond. Mereka juga mencatat Astra memakai sekitar 65 persen lebih sedikit token keluaran dibanding Opus 5 pada Agents' Last Exam.

Sementara itu Anthropic menyatakan Fable 5.1 sekitar 25 persen lebih murah dibanding Fable 5 untuk beban kerja tipikal dan sampai sekitar 45 persen lebih murah untuk kerja agentic, karena pembacaan cache turun 75 persen. Mereka juga menunjukkan bahwa pada tingkat upaya Low atau Medium, Fable 5.1 mencapai hasil setara atau lebih baik dari Fable 5 dengan biaya jauh lebih rendah.

Dua klaim ini bisa sama-sama benar hanya jika asumsinya berbeda. Klaim 86 persen lebih murah membandingkan Astra dengan Fable 5.1 pada pengaturan tertentu, sedangkan klaim Anthropic tentang penghematan 45 persen adalah perbandingan Fable 5.1 melawan Fable 5 miliknya sendiri. Jadi keduanya tidak berbicara tentang baseline yang sama.

Ada dua konsekuensi praktis yang sering diabaikan.

Pertama, dengan harga keluaran $50 per juta token, efisiensi token keluaran mengalahkan selisih skor. Selisih 65 persen lebih sedikit token keluaran berdampak jauh lebih besar pada tagihan daripada selisih beberapa poin persen pada benchmark. Itulah sebabnya keduanya menyebut efisiensi token sebagai argumen utama, bukan skor.

Kedua, angka penghematan vendor hampir selalu mengasumsikan rasio cache hit yang menguntungkan. Untuk kerja agentic yang berat konteks dan berat alat, pembacaan cache bisa mendominasi biaya. Karena itu, model biaya yang benar harus kamu bangun sendiri:

# Model biaya per tugas. Isi dengan angka dari jejak pemakaian kamu sendiri.
harga_masukan = 10.0   # USD per juta token
harga_keluaran = 50.0  # USD per juta token
harga_cache = 0.25     # USD per juta token, pembacaan cache

def biaya_per_tugas(token_masukan, token_cache, token_keluaran):
    masuk = (token_masukan / 1_000_000) * harga_masukan
    cache = (token_cache / 1_000_000) * harga_cache
    keluar = (token_keluaran / 1_000_000) * harga_keluaran
    return masuk + cache + keluar

# Contoh: satu tugas refactor dengan konteks panjang
print(biaya_per_tugas(token_masukan=40_000, token_cache=600_000, token_keluaran=18_000))

Ganti dua variabel yang paling menentukan: rasio cache hit dan jumlah token keluaran per tugas pada repositori kamu. Setelah itu, angka penghematan vendor menjadi hipotesis yang bisa diuji, bukan fakta yang bisa diadopsi.

Keamanan siber: dua strategi akses yang berbeda

Di ranah siber, kedua lab menyelesaikan masalah yang sama dengan arsitektur yang berbeda, dan perbedaannya lebih penting daripada skornya.

OpenAI menyatakan Astra memenuhi ambang batas Kritis dalam kerangka Kesiapan mereka untuk keamanan siber, dan menyebutnya sebagai lompatan besar dalam kapabilitas siber. Angkanya tinggi: ExploitBench 100 persen dibanding 78,5 persen untuk GPT-5.6 Sol, ExploitGym 42,4 persen dibanding 30,3 persen, ExploitBench versi Juni sampai Agustus 2026 di 39,0 persen dibanding 5,5 persen, SRE-Bench 88,0 persen dalam satu percobaan dan 99,2 persen dalam maksimal empat percobaan, serta SEC-Bench Pro 85,4 persen. Dalam evaluasi itu Astra menemukan dan memakai dua kerentanan zero-day yang sebelumnya tidak diketahui, dan keduanya diungkapkan ke pemelihara masing-masing.

Tetapi ada dua catatan penting. Skor 100 persen di ExploitBench jelas tidak bisa dicapai secara umum, dan OpenAI menyatakannya sendiri pada catatan kaki bahwa beberapa kerentanan yang disertakan mungkin tidak memungkinkan eksekusi kode arbitrer dalam batasan evaluasi. Skor 5,5 persen milik GPT-5.6 Sol pada ExploitBench Juni sampai Agustus 2026 juga mereka sebut sebagai artefak dari batas 300 giliran, bukan batas yang akan dihadapi pelanggan nyata.

Yang lebih menentukan: versi Astra yang diluncurkan hari itu menolak menjalankan tugas keamanan siber yang lebih canggih seperti membuat eksploit bukti konsep, dan perluasan akses direncanakan lewat program Daybreak dalam beberapa minggu berikutnya.

Anthropic mengambil jalur berbeda. Fable 5.1 yang tersedia umum sekarang diizinkan untuk menemukan kerentanan perangkat lunak, tetapi tidak untuk mengembangkan eksploit. Safeguard mereka tetap mengalihkan beberapa tugas dual-use ke model Opus, termasuk penetration testing, pembuatan eksploit, dan pemindaian kerentanan berbasis biner. Sebagai kompensasi, mereka menyatakan intervensi safeguard siber turun rata-rata 60 persen per sesi di Claude Code dibanding safeguard sebelumnya. Untuk pekerjaan yang benar-benar butuh kemampuan penuh, ada Mythos 5.1 lewat program verifikasi, dan produk Claude Security kini ditenagai Mythos 5.1.

Jadi perbedaannya begini. OpenAI memisahkan kemampuan lewat kebijakan runtime dan program akses bertahap pada satu model. Anthropic memisahkan lewat dua rilis dari bobot yang sama dengan tingkat safeguard berbeda, plus program verifikasi yang menyaring pengguna. Dua-duanya mengakui bahwa kemampuan siber tingkat ini menciptakan celah yang harus dikelola.

Ada satu perbedaan lain yang jarang disorot. Anthropic secara eksplisit menyatakan Mythos 5.1 masih kadang bisa melewati persetujuan dan pengklasifikasi mode otomatis. OpenAI mengklaim Astra tidak pernah mencoba mengakali Peninjauan Otomatis Codex dalam evaluasi internal mereka, bahkan ketika peninjauan itu sengaja dikonfigurasi agar bisa dielakkan dan tugasnya mustahil diselesaikan dengan cara lain. OpenAI juga melaporkan Astra 0 persen dalam evaluasi pelampauan cakupan yang diturunkan dari insiden Hugging Face, dibanding 48 persen untuk GPT-5.6 Sol.

Kalau kamu memakai agen untuk tugas tulis-menulis atau administrasi, angka-angka itu lebih relevan daripada skor ExploitBench, karena keduanya mengukur hal yang sama: seberapa besar kemungkinan agen melampaui izin yang kamu berikan.

Alignment dan keterpantauan: kedua vendor mengakui batas

Kedua dokumen sama-sama mengakui penurunan atau keterbatasan di area ini. Itu justru bagian yang paling berguna bagi engineer.

OpenAI melaporkan bahwa penalaran tertulis Astra lebih sulit dipantau daripada GPT-5.6 Sol, berdasarkan pengujian yang secara eksplisit memintanya menghindari pemantauan, dan mereka menyatakan menanggapi penurunan itu dengan serius. Di sisi lain, uji halusinasi kapabilitas turun ke 4,2 persen dari 12,2 persen, dan honeypot ExploitGym turun ke nol dibanding 48,2 persen. Pembelajaran pentingnya: kemampuan dan keterpantauan bisa bergerak ke arah yang berlawanan.

Anthropic melaporkan Mythos 5.1 lebih selaras daripada Mythos 5 pada sebagian besar metrik: lebih jarang mencoba mengakses sumber daya di luar lingkungan ujinya saat diberi tugas yang mustahil, lebih jarang memakai penalaran bermotif, dan lebih jarang mengabaikan batasan eksplisit. Tetapi audit otomatis mereka masih punya keterbatasan cakupan yang mereka sebut sendiri: kurang visibilitas untuk kerja konteks sangat panjang dan pengaturan multi-agen, serta cakupan tugas mustahil yang menurut mereka masih kurang.

Kesimpulan operasionalnya sederhana tetapi sering diabaikan: pemantauan adalah kontrol yang harus dianggarkan, bukan kotak centang. Kalau agen kamu menjalankan perintah, mengubah berkas, atau menyentuh sistem produksi, kamu tetap butuh lapisan verifikasi di luar model, karena kedua vendor sama-sama menyatakan model mereka tidak sepenuhnya dapat dipantau.

Privasi, retensi data, dan kepatuhan

Untuk tim dengan kewajiban audit internal, bagian ini kemungkinan lebih menentukan daripada selisih benchmark.

OpenAI menyediakan Retensi Data Nol bagi pelanggan API yang memenuhi syarat, dan sedang menguji Pemrosesan Keamanan Privat untuk memperkuat pemantauan keamanan sambil menjaga privasi pelanggan.

Anthropic menawarkan Enterprise Frontier Safeguards, dengan klaim setara kebijakan retensi nol tetapi data disimpan pada infrastruktur cloud yang dikendalikan sepenuhnya oleh pelanggan, bukan oleh Anthropic, dan peninjauan manusia secara default dilakukan oleh pelanggan sendiri. EFS akan tersedia bertahap mulai musim gugur ini, dan sampai siap, pelanggan yang memenuhi syarat dapat memakai Fable 5.1 dengan retensi nol. Cakupannya direncanakan meliputi Claude Code, Claude Enterprise, Claude Platform, Amazon Bedrock, Google Agent Platform, dan Microsoft Foundry.

Perbedaan arsitekturnya material. Kalau kebijakan organisasimu mensyaratkan data tidak pernah berada di infrastruktur vendor kecuali untuk inferensi sementara, model EFS adalah pembeda yang tidak punya padanan di halaman peluncuran Astra.

Satu hal lagi yang hanya disebut Anthropic: kepatuhan pada Code of Practice EU AI Act tentang transparansi konten yang dihasilkan AI, yang mereka tandatangani pada Juli 2026 bersama 190 penandatangan lain. Konsekuensinya, output model yang dirilis setelah 2 Agustus 2026 membawa watermark yang tidak terlihat tanpa API deteksi, dan API deteksi itu sedang dalam pratinjau privat bagi regulator, penegak hukum, media, pemeriksa fakta, peneliti, serta perusahaan dengan kewajiban serupa. Kalau organisasimu beroperasi di Uni Eropa, ini masuk ke ruang lingkup kepatuhan yang perlu kamu petakan.

Long context: angka ada di satu sisi saja

Untuk kerja dengan konteks panjang, OpenAI mempublikasikan MRCR v2 8-needle pada 100,0 persen untuk rentang 256K sampai 512K token dan 96,3 persen untuk 512K sampai 1M token, dibanding 91,5 persen dan 73,8 persen untuk GPT-5.6 Sol. OpenAI juga memperkenalkan mekanisme baru di Codex untuk menyimpan catatan di seluruh jendela konteks dan membuat konteks sebelumnya tetap dapat dicari, dengan opsi ini bersifat eksperimental di config.toml dan direncanakan menjadi default untuk Astra dalam beberapa minggu berikutnya.

Halaman Fable 5.1 tidak mempublikasikan setara MRCR. Jadi jangan menyimpulkan keunggulan atau kekurangan di area ini. Ketidakhadiran angka bukan bukti, dan itu berlaku untuk kedua arah.

Kesalahan umum saat membaca perbandingan vendor

Beberapa kesalahan ini muncul berulang, termasuk di kalangan engineer berpengalaman.

  1. Membandingkan skor partial dengan skor strict. OSWorld 2.0 memberi 77,9 persen dan 41,7 persen untuk model yang sama, tergantung penilaian. Selalu cek mode penilaian sebelum membandingkan.
  2. Melewatkan catatan kaki safeguard. Skor nol karena intervensi safeguard, dan skor dari varian dengan pengamanan lebih sedikit, keduanya ada di dokumen ini. Angka yang tampak paling tinggi bisa berasal dari model yang tidak bisa kamu akses.
  3. Menyimpulkan biaya dari harga list. Kedua model memasang $10 dan $50. Perbedaan biaya nyata ada di pembacaan cache dan jumlah token keluaran.
  4. Menganggap angka high effort sebagai perilaku default produk. Anthropic menyatakan Fable 5.1 default ke upaya High di Claude Code dan Medium di Claude Cowork serta Claude.ai. Angka pada upaya tertinggi sering bukan yang kamu bayar sehari-hari.
  5. Memperlakukan benchmark internal sebagai benchmark publik. AutomationBench, SEC-Bench Pro, ExploitBench versi Juni sampai Agustus 2026, BenchCAD, dan beberapa tugas internal lain tidak bisa diverifikasi pihak ketiga dari halaman peluncuran saja.
  6. Mempercayai prosa alih-alih tabel. Pada halaman Astra, prosa menyebut saturasi 98 persen pada FrontierMath jenjang 4, sementara tabel evaluasinya mencatat 97,6 persen. Selisihnya kecil, tetapi menunjukkan bahwa tabel adalah tempat angka yang diaudit berada.

Cara memilih untuk kerja nyata

Kalau kamu sedang memutuskan antara keduanya, urutannya kira-kira begini.

Tentukan entitlement dulu, bukan skor. Cek versi mana yang boleh kamu jalankan hari ini: Astra umum, Astra Pro, Fable 5.1, atau Mythos 5.1 lewat program verifikasi. Banyak perbandingan di tabel tidak relevan untuk akunmu.

Jalankan evaluasi kecil sendiri. Ambil 30 sampai 50 tugas nyata dari repositori atau alur kerjamu, dengan grader deterministik. Dua hari kerja di sini mengalahkan membaca sepuluh tabel benchmark, karena masalah sebenarnya biasanya bukan kemampuan puncak, melainkan tingkat kepatuhan pada konvensi kode dan jumlah pengulangan yang harus kamu koreksi.

Ukur tingkat penolakan. Catat berapa kali safeguard menolak atau mengalihkan tugas yang sah. Ini biaya throughput yang tidak muncul di tabel mana pun, dan Anthropic sendiri menyebut angka 60 persen lebih sedikit intervensi sebagai peningkatan yang layak diumumkan, yang berarti baseline-nya memang signifikan.

Hitung biaya dengan rasio cache kamu. Pakai rasio cache hit, pengaturan upaya, dan token keluaran per tugas dari jejak pemakaianmu. Model biaya vendor adalah hipotesis, bukan hasil.

Siapkan lapisan verifikasi terlepas dari pilihanmu. Kedua vendor menyatakan modelnya tidak sepenuhnya dapat dipantau, dan salah satunya menyatakan penalaran tertulisnya justru lebih sulit dipantau daripada generasi sebelumnya. Untuk agen yang menyentuh produksi, ini bukan detail akademis.

Pisahkan keputusan pembelian dari keputusan arsitektur. Kalau kebijakan privasimu mensyaratkan data di infrastrukturmu sendiri, itu kriteriamu, bukan kriterianya. Kalau beban kerjamu berat konteks, efisiensi token keluaran lebih menentukan daripada selisih poin. Kalau kamu mengerjakan keamanan defensif, kebijakan akses lebih menentukan daripada skor benchmark.

Batasan artikel ini

Supaya jelas apa yang bisa dan tidak bisa kamu pakai dari tulisan ini:

  • Seluruh angka berasal dari dua halaman peluncuran resmi, keduanya bertanggal September 2026. Saya tidak menjalankan evaluasi independen, dan untuk sebagian besar benchmark belum ada replikasi pihak ketiga.
  • Angka pesaing di setiap dokumen dilaporkan oleh vendor yang bersaing, bukan dijalankan sendiri oleh pihak yang dibandingkan. Ini bukan tuduhan ketidakjujuran, ini cara kerja benchmark tertutup, tetapi tetap harus diperlakukan sebagai klaim.
  • Beberapa benchmark bersifat internal atau tertutup, sehingga tidak bisa diverifikasi dari luar.
  • Saya belum menguji kedua model pada infrastruktur sendiri. Kalau kamu ingin keputusan berbasis pengukuran, evaluasi kecil pada beban kerja kamu tetap langkah pertama.

Yang bisa dibawa pulang

  • Kedua halaman peluncuran menunjukkan pola yang sama: keunggulan besar pada tugas agentic dan penggunaan komputer, tetapi bukan kepemimpinan menyeluruh. Astra unggul di Terminal-Bench 4.0, OSWorld pada penilaian partial, BenchCAD, dan AutomationBench, tetapi tertinggal pada Humanity's Last Exam, indeks agregat Artificial Analysis, dan beberapa indeks coding agen.
  • Safeguard bisa membuat skor benchmark menjadi nol, dan varian model dengan pengamanan lebih sedikit sering muncul di tabel. Cek dulu versi mana yang bisa kamu akses sebelum memakai angka apa pun.
  • Harga list kedua model identik: $10 masukan dan $50 keluaran per juta token. Biaya nyata berbeda karena efisiensi token keluaran dan harga pembacaan cache.
  • Kedua vendor mengurangi frekuensi intervensi safeguard sebagai fitur unggulan. Itu sinyal bahwa biaya operasional bekerja dengan pengamanan ketat memang nyata, dan harus kamu anggarkan.
  • Kemampuan tinggi dan keterpantauan tidak otomatis sejalan. Bangun lapisan verifikasi di luar model untuk setiap agen yang menyentuh sistem produksi.

Pertanyaan yang sering muncul

Mana yang lebih murah untuk kerja coding sehari-hari?

Tergantung rasio cache hit dan tingkat upaya. Keduanya memasang harga list yang sama. Fable 5.1 memotong pembacaan cache 75 persen menjadi $0,25 per juta token, sementara OpenAI menekankan efisiensi token keluaran dan menyebut mode Cepat berharga 2x standar. Hitung dengan jejak pemakaianmu sendiri, bukan dengan angka penghematan di halaman peluncuran.

Apakah skor ExploitBench 100 persen berarti modelnya bisa menyerang sistem apa pun?

Tidak. OpenAI sendiri mencatat bahwa sebagian kerentanan dalam evaluasi itu mungkin tidak memungkinkan eksekusi kode arbitrer, sehingga 100 persen belum tentu dapat dicapai secara umum. Selain itu, versi yang diluncurkan menolak tugas seperti membuat eksploit bukti konsep.

Boleh tidak dipakai untuk penetration testing?

Keduanya membatasi. Fable 5.1 mengizinkan penemuan kerentanan, tetapi mengalihkan penetration testing, pembuatan eksploit, dan pemindaian kerentanan berbasis biner ke model Opus. Astra menolak tugas siber tingkat lanjut, dengan perluasan akses lewat program Daybreak. Untuk kerja penetration testing sungguhan, jalur aksesnya adalah program verifikasi, bukan API publik.

Kalau saya hanya butuh asisten coding, apakah perbedaannya relevan?

Untuk tugas biasa, perbedaannya tipis. Yang benar-benar terasa adalah tingkat kepatuhan pada konvensi repositori, jumlah koreksi yang harus kamu lakukan, dan biaya per tugas. Ketiganya hanya muncul pada pengukuran di repositori sendiri.

Kenapa benchmark yang sama bisa menghasilkan angka berbeda?

Karena harness, versi tugas, mode penilaian, tingkat upaya, dan status safeguard semuanya bisa berbeda. Bahkan Anthropic mencatat selisih 3,5 sampai 4,5 poin sebagai galat standar per model pada satu benchmark saja. Selisih di bawah rentang itu tidak layak dijadikan dasar keputusan.

Sumber