Crawl budget adalah salah satu hal penting yang masih banyak diabaikan oleh pemilik website, terutama situs yang memiliki banyak halaman.
Bayangkan, Anda ingin mengoptimasi semua halaman website, namun terkendala karena masih ada banyak halaman yang tidak bisa terindeks. Seperti yang sudah kami katakan, crawl budget itu penting, bro and sis!
Tak perlu bersusah payah merencanakan strategi konten yang sangat gila, sampai harus berkonsultasi dengan pakar konten terbaik. Anda hanya perlu memastikan semua halaman website terindeks dengan sempurna.
Karena kalau halaman tidak ada yang terindeks, lalu buat apa Anda membangun website? Tidak mungkin hanya sebagai pajangan saja, bukan?
Itulah mengapa memahami crawl budget sangat penting untuk para pemilik website dan tim SEO. Karena dengan mempelajari istilah ini, teknik SEO yang Anda terapkan bisa semakin optimal.
Memahami Apa Itu Crawl Budget
Berdasarkan penjelasan yang tidak lengkap dari Google, crawl budget adalah jumlah URL yang bisa diakses oleh Googlebot dalam periode waktu tertentu. Dengan kata lain, crawl budget merupakan jumlah halaman yang bisa diakses dan diindeks oleh Googlebot pada sebuah website.
Sebagai contoh sederhana (tanpa melibatkan sisi teknis secara lengkap), jika Anda mengelola situs website dengan jumlah 50 halaman, maka itulah jumlah total halaman yang akan diakses atau crawling dan diindeks oleh Google.
Tentu saja, setiap website memiliki crawl budget yang berbeda-beda. Namun, ada beberapa faktor penentu dan Anda harus ingat ini:
- Performa website. Situs yang lemot kemungkinan besar akan mendapatkan crawl budget yang berbeda dibandingkan dengan situs yang dioptimalkan dengan baik.
- Ukuran. Situs yang lebih besar juga akan mendapatkan crawl budget yang lebih besar.
- Keterbaruan konten. Google akan memberikan jumlah crawling yang lebih besar untuk situs yang sering menerbitkan atau memperbarui halamannya.
- Link yang ada di dalam website, dan masih banyak lagi.
Oleh karena itu, jumlah crawling yang diminta harus lebih rendah dari crawl budget Anda. Karena jika tidak, ini akan menjadi masalah pengindeksan yang serius.
Mengapa Crawl Budget Adalah Hal Penting untuk Website?
Seperti yang sudah disebutkan sebelumnya, memahami crawl budget adalah hal yang penting untuk pemilik website dan orang-orang yang berada di bidang SEO. Namun meskipun begitu, Anda tidak perlu khawatir dengan crawl budget jika website Anda sudah memiliki halaman populer.
Kecuali, Anda baru saja membangun website, yang belum menerapkan link building secara sempurna, jarang mengubah halaman yang tidak memiliki trafik.
Crawl budget harus menjadi fokus utama untuk website yang baru dibangun, terutama yang sudah memiliki banyak halaman. Server Anda mungkin mampu untuk melakukan crawling yang banyak, namun karena situs Anda baru dan belum popular, Search Engine maka tidak ingin melakukan crawling terlalu banyak.
Google juga tidak tahu, apakah halaman Anda layak untuk diindeks dan mungkin tidak ingin melakukan crawling sebanyak yang Anda minta. Selain itu, crawl budget juga harus menjadi fokus utama untuk situs yang lebih besar, terutama yang memiliki jutaan halaman dan sering melakukan pembaruan.
Crawl Budget dan Googlebot, Apa Maksudnya?
Kami sudah sampai di pembahasan terkait crawl budget untuk pemilik website baru ataupun website yang memiliki banyak halaman. Akan tetapi, crawl budget juga mempengaruhi Search Engine dalam banyak hal. Menurut Gary Illyes dari Google, untuk Googlebot, crawl budget terbagi menjadi dua elemen:
1. Crawl Rate
Tanpa melibatkan aspek teknis, cara Google melakukan crawling suatu website mirip seperti situs yang dikunjungi oleh manusia. Googlebot meminta akses ke beberapa aset, seperti halaman, gambar, dan file lainnya yang ada di server. Ini mirip dengan cara kerja browser saat digunakan oleh pengguna.
Hal tersebut mengakibatkan crawling menggunakan data dari server dan bandwidth yang dialokasikan ke situs web melalui hosting. Oleh karena itu, terlalu banyak yang di-crawling, memiliki efek seperti tiba-tiba ada banyak pengunjung yang masuk ke situs Anda.
Banyak pengunjung tidak selalu menjadi hal baik. Jika kasusnya tidak normal, maka hanya akan membuat hancur situs web, menurunkan performa atau membuat loading menjadi sangat lama.
Pernah masuk ke suatu situs lembaga tertentu untuk melakukan pendaftaran, namun saat mengakses website sangat lemot? Itulah mengapa pentingnya crawl budget dalam website.
Maka dari itu, crawl rate akan menghindari bot supaya tidak terlalu sering membuat permintaan yang dapat mengganggu performa situs Anda.
2. Crawl Demand
Crawl demand membantu web crawler untuk menentukan apakah situs tersebut layak untuk diakses. Secara sederhana, crawl demand menjadi tolak ukur seberapa banyak halaman yang ingin Google akses. Halaman yang lebih populer dan halaman yang mengalami perubahan signifikan, umumnya akan lebih sering diakses.
Halaman populer, atau lainnya yang memiliki banyak link dan mendapatkan ranking, akan menjadi prioritas dibanding halaman lainnya. Namun ingat, Google perlu memprioritaskan halaman Anda untuk di-crawling dengan cara tertentu, dan link adalah cara mudah untuk menentukan halaman mana di website Anda yang lebih populer.
Namun memang bukan hanya situs Anda saja, tetapi juga semua halaman yang ada di situs internet manapun, yang harus ditentukan prioritasnya oleh Google.
Faktor yang Mempengaruhi Crawl Budget
Supaya proses crawl budget Anda efektif, maka Anda harus memperhatikan faktor-faktor berikut, seperti yang dijelaskan Google dalam: Panduan pemilik situs besar untuk mengelola crawl budget:
1. Faceted Navigation
Pernah melihat tampilan menu website seperti di atas? Yup, biasa kita temukan pada website e-commerce.
Pada menu tersebut, terdapat beberapa filter atau opti yang bisa kita pilih. Nah, itulah yang dinamakan dengan Faceted Navigation. Tampilan ini sebenarnya sangat bagus untuk pengalaman pengguna. Namun sayangnya, tidak begitu bagus untuk bot crawler.
Alasannya karena tampilan ini menghasilkan kombinasi URL dan duplikat konten yang cukup banyak. Kedua masalah ini tentunya akan membuat crawl budget adalah hal yang boros dan tidak efisien.
2. Session Identifiers
Teknik terbaik dalam SEO yang sudah kita ketahui adalah membuat satu URL yang memuat konten unik dan berkualitas. Ingat, bukan konten duplikat. Akan tetapi, Session Identifiers ini mempengaruhi crawl budget karena menciptakan banyak URL yang mengarah ke konten sama.
Contohnya, anggap Anda memiliki halaman tentang “sepatu piero” dan URL-nya adalah “www.sepatu.com/piero.” Session Identifiers ini akan menambahkan parameter ke dalam URL tersebut tergantung pengguna yang berkunjung, seperti:
- www.sepatu.com/piero/id=1A
- www.sepatu.com/piero/id=2B
- www.sepatu.com/piero/id=3C
- www.sepatu.com/piero/id=4D, dan seterusnya,
Seperti yang bisa Anda lihat, semua URL di atas menampilkan produk yang sama, yang sudah pasti konten duplikat! Hal ini akhirnya mengakibatkan crawl budget pun menjadi bertele-tele dan tidak ada nilainya bagi bot crawler.
3. Konten Duplikat
Apapun alasannya, konten duplikat harus dihindari, karena haram hukumnya jika sampai terdeteksi adanya konten serupa dalam satu website. Baik dari isi keseluruhan konten, hingga topiknya. Google sendiri menyarankan pengguna untuk memperhatikan hal ini. Karena jika diabaikan, maka akan memberikan dampak negatif, seperti:
- Halaman penting akan diabaikan untuk di-crawl
- Menurunkan popularitas URL Anda
- Menampilkan halaman yang tidak disukai Google
4. Konten Berkualitas Rendah atau Spam
Umumnya, pakar SEO menjelaskan bahwa konten berkualitas rendah memiliki teks yang lebih sedikit. Lalu, apakah konten panjang ideal untuk SEO? Kedua hal tersebut sudah pernah kita bahas sebelumnya di artikel tentang panjang konten blog yang ideal untuk SEO.
Intinya, baik konten yang pendek maupun yang panjang tidak memiliki pengaruh. Yang terpenting adalah relevansi dari topik yang dibutuhkan oleh pembaca, atau sesuai dengan search intent.
Konten berkualitas tinggi yang sesuai dengan minat pembaca tentu akan membuat crawl budget lebih hemat. Pasalnya, Googlebot jadi lebih mudah menilai isi konten, yang sudah sesuai dengan algoritma Google saat ini.
Oleh karena itu, jasa penulis artikel SEO kami sangat mengutamakan kualitas konten. Tidak hanya membuat konten yang sesuai dengan minat pembaca, namun isi konten sudah kami riset sebaik mungkin, dan seluruh informasi diambil dari sumber terpercaya dan kredibel.
Tidak hanya bagus untuk pengalaman pengunjung, namun juga membuat Google senang dan menilai konten kami berkualitas tinggi.
5. Status Soft Error Pages
Maksud dari status soft error pages di sini adalah Soft 404. Kami juga sudah menjelaskannya lebih lengkap di dalam artikel kami yang berjudul Penjelasan Lengkap Index Coverage Report terkait masalah status Soft 404 dan cara mengatasinya.
Soft 404 merupakan hal yang terjadi ketika server website dengan kode respons HTTP 200 OK untuk halaman yang tidak ada. Karena status ini bisa membatasi cakupan crawling Google di website Anda. Oleh karena itu, Anda perlu memperbaiki status ini secara menyeluruh untuk kembali bisa menggunakan crawl budget dengan lebih efisien.
6. Situs yang Terkena Hack
Apabila situs yang Anda kelola mengalami banyak kendala pasti akan membuat crawl budget sia-sia. Apalagi jika situs Anda terkena hack. Bukan hanya rusak, bahkan Google mungkin akan memberikan penalti kepada situs Anda karena melanggar kebijakannya.
Sebagai contoh, website bisnis yang Anda kelola tanpa sadar dimasuki oleh peretas, dan digunakan untuk mempromosikan hal-hal ilegal yang melanggar ketentuan Pemerintah Indonesia maupun pemilik hosting. Sang hacker membuat ratusan halaman baru untuk mempromosikan brand ilegalnya, tentu hal ini akan membuat boros crawl budget Anda.
Maka dari itu, selalu ingat untuk tingkatkan keamanan situs supaya tidak mudah di-hack. Lakukan backup mingguan dan segera perbaiki situs Anda jika terkena hack secara tepat dan menyeluruh.
7. Infinity Spaces
Infinity Spaces atau ruang tak terbatas merupakan jumlah link yang sangat besar, namun tidak atau sedikit memiliki konten baru di dalamnya untuk diindeks oleh Googlebot.
Apabila hal ini terjadi pada situs Anda, maka proses crawling URL ini akan memakan bandwith yang tidak perlu, sehingga membuat Googlebot gagal mengindeks konten yang penting di dalam website Anda. Hasilnya, crawling ini sama sekali tidak efisien.
Bagaimana Jika Ingin Meminta Google Men-Crawling Halaman Lebih Cepat?
Ada beberapa hal yang harus Anda lakukan untuk memastikan situs Anda bisa di-crawling lebih cepat oleh Google. Berikut adalah caranya:
Tingkatkan Kecepatan Server
Cara Google melakukan crawling halaman secara umum adalah dengan mendownload data dan diproses oleh mereka. Mungkin Anda sudah merasa bahwa halaman website Anda memiliki kecepatan yang baik. Namun, pengalaman tersebut belum tentu dirasakan juga oleh pengunjung.
Nah, yang akan mempengaruhi crawl budget adalah seberapa cepat Google bisa terhubung dan mendownload data yang berkaitan dengan server Anda. Jangan lupa untuk mengecek log Anda setiap kesalahan 5xx atau 429 muncul.
Lebih Banyak Link, Internal dan Eksternal
Ingat bahwa crawl demand berdasarkan halaman popularitas dan link yang ada di dalamnya. Anda bisa meningkatkan crawl budget dengan cara menambahkan beberapa eksternal dan internal link.
Menambahkan link internal lebih mudah karena Anda lah yang memegang kendali penuh situs Anda. Anda bisa menemukan link internal yang direkomendasikan melalui menu Link Opportunities yang ada di fitur Site Audit milik Ahrefs.
Memperbaiki Link Redirect
Membiarkan link ke halaman redirect yang ada di situs Anda akan memberi dampak yang kecil terhadap crawl budget. Umumnya, halaman yang ditautkan di sini memiliki prioritas yang cukup rendah karena mungkin sudah lama tidak berubah.
Namun, memperbaiki masalah apapun yang terjadi tentu baik untuk optimasi website Anda secara umum karena sedikit membantu crawl budget.
Masih menggunakan Ahrefs, Anda bisa menemukan link yang di-redirect (3xx) di situs Anda dengan mudah dalam hasil laporan Internal Pages di Site Audit.
Menggunakan Indexing API
Jika Anda ingin men-crawling lebih cepat bekerja, maka Anda bisa menggunakan Indexing API, baik yang ditawarkan oleh Google maupun yang disediakan oleh plugin SEO seperti Rank Math. Untuk menggunakan Indexing API dari Rank Math, Anda bisa menginstalnya terlebih dahulu di WordPress Anda.
Jika plugin sudah terinstal, buat daftar URL yang ingin di-crawl. Setelah itu, masuk ke menu Pengindeksan Instan/Instant Indexing di menu Rank Math. Masukkan URL yang sudah dibuat daftar tadi ke kolom yang sudah disediakan untuk pengindeksan cepat (hingga 10.000 URL). Setelah itu, klik Kirimkan URL.
Akhir Kata
Bagaimana? Sudah mulai pusing memahami crawl budget di atas? Ahh… Intinya sih, selagi Anda masih membangun website baru yang halamannya tidak banyak, seharusnya ini bukan menjadi masalah yang besar. Namun jika memang website Anda sudah memiliki banyak halaman, tentu harus dipantau jumlah URL yang perlu diindeks.
Selain itu, Anda bisa melakukan beberapa cara untuk meminta Google agar men-crawling halaman-halaman di website Anda dengan lebih cepat. Jadi, sudah tidak ada masalah besar terkait crawl budget ini, ya bro and sis?
