Cloudflare, perusahaan
penyedia layanan keamanan dan infrastruktur internet, mengumumkan uji coba
sistem baru bernama “Pay per Crawl”. Sistem ini dirancang untuk memberi kendali
penuh kepada pemilik website terhadap aktivitas bot AI yang mengakses konten di
situs mereka.
Selama ini, bot AI melakukan crawling di berbagai situs untuk mengumpulkan data sebagai bahan pelatihan atau untuk menjawab pertanyaan pengguna—sering kali tanpa izin dan imbalan ke pemilik konten. Akibatnya, trafik ke situs menurun dan pemilik konten tidak mendapatkan keuntungan dari penggunaan tersebut. Dengan “Pay per Crawl”, Cloudflare ingin mengubah kondisi tersebut.
‘Pay per Crawl’ Tawarkan Tiga Opsi Akses
 |
| Tampilan audit AI crawler |
Melalui sistem “Pay per Crawl”, pemilik website dapat memilih salah satu dari tiga skema akses untuk crawler:
- Allow – crawler diizinkan mengakses konten tanpa biaya.
- Charge – crawler harus membayar biaya tertentu sebelum mengakses situs.
- Block – crawler diblokir sepenuhnya, tanpa opsi untuk membayar.
Dengan demikian, pemilik website bisa menentukan sendiri nilai dari konten mereka dan menetapkan tarif akses bagi crawler AI. Sebaliknya, pihak pemilik AI crawler juga bisa mengatur anggaran maksimum yang bisa mereka bayarkan untuk mengakses situs-situs tertentu.
Sistem Masih Versi Beta
 |
| Skema Pay per Crawl |
Meski terdengar menjanjikan, sistem ini masih dalam beta testing dan hanya tersedia bagi situs yang menggunakan layanan Cloudflare. Banyak yang menilai langkah ini sebagai awal dari perubahan besar dalam ekosistem web—terutama dalam perlindungan hak cipta dan ekonomi digital di era AI.
Jika kamu tertarik untuk mencoba sistem ini, kamu bisa bergabung dalam versi beta dengan link pendaftaran berikut.
Gimana pendapatmu mengenai berita ini? Tulis di kolom komentar dan nantikan berita menarik lainnya hanya di Lingkup Tekno!
