Apakah Anda pernah menemukan status “Crawled – Currently Not Indexed” atau “Discovered – Currently Not Indexed” saat mengecek URL halaman website di Google Search Console? Pelajari maksud dari status tersebut di sini!
Hasil Index Coverage Report di Google Search Console memberikan Anda akses untuk mengecek apakah ada masalah status index Google yang terjadi pada website Anda.
Pemantauan status index ini tentu saja sangat penting. Fitur ini dapat membantu Anda dalam menemukan masalah apapun yang membuat halaman website tidak terindeks Google, serta mencari solusi untuk mengatasinya.
Namun untuk mengambil keputusan itu, tentu Anda perlu memahami apa yang dimaksud dari setiap status index Google. Sementara itu, penjelasan yang diberikan Google melalui halaman Index Coverage Report tidak begitu jelas, dan tidak mencakup penjelasan umum dan semua kemungkinan penyebab terjadinya masalah status index tertentu.
Dari hal tersebutlah, kami termotivasi ingin memberikan rangkuman hasil Index Coverage Report status dan memberikan informasi kepada Anda terkait maksud setiap statusnya.
Apa yang Dimaksud Index Coverage Report?
Index Coverage Report merupakan fitur laporan yang disediakan oleh Google Search Console, dalam memberikan informasi kepada pemilik website tentang proses index yang dilakukan oleh Google. Selain itu, fitur ini juga bisa menampilkan status dari setiap halaman yang sudah dikunjungi atau diakses oleh Google Bot.
Untuk tampilannya, setiap halaman nantinya akan dikelompokkan berdasarkan status-status tertentu. Baik itu halaman yang sudah divalidasi dan ditambahkan ke indeks. halaman yang dihapus dari indeks, halaman yang memiliki masalah utama, sampai halaman yang diberikan peringatan.
Beberapa Fungsi Index Coverage Report
Secara umum, fungsi dari Index Coverage Report adalah untuk membantu pemilik website memantau dan memahami status indeksasi dari setiap halaman website oleh Google. Nah, beberapa fungsinya adalah sebagai berikut:
- Memantau Status Index: Melalui laporan ini, Anda bisa memantau status index dari halaman-halaman situs website oleh Google.
- Mengevaluasi Halaman yang Dikecualikan: Anda bisa mengevaluasi halaman-halaman yang memang sengaja dikecualikan dari Search Engine, baik itu karena melanggar kebijakan atau karena masalah tertentu.
- Sebagai Pesan Peringatan: Index Coverage Report juga berfungsi dalam memberikan peringatan (warning) dan pesan kesalahan (error) untuk halaman yang memiliki masalah status index.
- Mengidentifikasi Masalah Teknis dan Struktural: Mengidentifikasi dan memperbaiki masalah teknis yang bisa menghambat proses index halaman website.
Status Berbeda Menunjukkan Masalah yang Sama
Sebelum memahami lebih lanjut tentang masalah status index Google, luangkan waktu Anda sejenak untuk memahami beberapa nama dari status index yang mungkin terjadi. Pasalnya, status index yang berbeda mungkin saja memiliki masalah yang sama, namun link-link tersebut ditemukan oleh Google dengan cara yang berbeda.
Secara khusus, status “Submitted” menyatakan bahwa Google menemukan halaman Anda di dalam sitemap (file teks sederhana yang memuat daftar semua halaman yang ingin Anda index oleh Search Engine) yang telah dibuat.
Ada dua contoh kasus dari dua masalah status index yang cukup sering terjadi: “Blocked by robots.txt” dan “Submitted URL blocked by robots.txt.”
Keduanya berarti bahwa Google tidak bisa mengakses halaman karena diblokir oleh robots.txt. Namun, Anda secara eksplisit meminta Google untuk mengindeks halaman dengan menambahkannya ke dalam sitemap.
Jika halaman Anda mendapatkan status “Submitted“, makan Anda memiliki 2 opsi: selesaikan masalah yang terjadi atau menghapus URL dari sitemap.
Karena jika tidak melakukan kedua hal tersebut, Anda hanya akan meminta Google untuk mengakses dan mengindeks halaman yang tidak mungkin untuk terindeks di halaman hasil pencarian. Kasus ini hanya akan menghabiskan crawl budget Anda.
Crawl budget mengindikasi berapa banyak halaman di website Anda yang bisa diindeks oleh Google atau yang ingin Google crawling. Jika Anda memiliki website yang besar, maka Anda harus memastikan Google menghabiskan crawl budget untuk konten-konten yang berkualitas.
Dengan memantau status yang mendapatkan sinyal “Submitted”, Anda bisa memastikan bahwa Anda tidak membuang-buang crawl budget untuk halaman yang sebenarnya tidak bisa terindeks.
Masalah Status Index yang Paling Sering Terjadi
Pada tahun 2021, ada penelitian yang menemukan bahwa ada dua masalah status index Google yang sering terjadi, yaitu:
- Crawled – currently not indexed,
- Discovered – currently not indexed.
Yap, seperti yang sudah kami sebut di awal artikel ini, kedua status tersebut mengindikasikan bahwa halaman Anda tidak bisa terindeks oleh Google. Perbedaan utamanya terletak pada apakah Google sudah mengunjungi halaman Anda atau belum.
Penjelasan Status “Crawled – Currently Not Indexed”
Masalah status index Google “Crawled – currently not indexed” berarti Google sudah menemukan dan mengunjungi halaman Anda, namun diputuskan untuk tidak mengindeksnya. Ada banyak alasan mengapa status tersebut bisa muncul. Contohnya bisa saja keterlambatan index.
Jadi, Google akan mengindeks halaman Anda secepatnya, namun bisa juga ternyata menemukan masalah di satu halaman atau bahkan keseluruhan dari website Anda. Namun selain itu, ada juga beberapa penyebabnya dari munculnya status tersebut dan bagaimana cara mengatasinya:
1. Halaman Anda Tidak Memenuhi Standar Kualitas Google
Jika halaman Anda berkualitas rendah, besar kemungkinan Google akan mengabaikan. Untuk mengatasi masalah ini, tingkatkan kualitas konten Anda.
Pelajari bagaimana cara jasa penulis artikel kami membuat konten yang memenuhi kriteria artikel SEO yang baik. Karena dengan cara inilah, konten blog di Garuda Website mudah terindeks karena Google menilainya sebagai konten yang bermanfaat dan berkualitas.
2. Terjadi Deindeks pada Halaman Anda
Jika halaman sebelumnya sudah index namun tiba-tiba mengalami deindeks. maka status yang akan muncul adalah “Crawled – currently not indexed.” Ada banyak alasan mengapa hal ini terjadi.
Salah satu kemungkinan besarnya adalah halaman tersebut sudah digantikan oleh halaman berkualitas lebih tinggi lainnya. Untuk mengatasinya, Anda harus meningkatkan kembali kualitas dari konten yang mengalami deindeks.
3. Struktur Website yang Kurang Bagus Secara Keseluruhan
Google menggunakan struktur link internal untuk menilai pentingnya halaman Anda. Jika tidak ada link internal di dalam halaman yang mengarah ke halaman lain di website Anda, maka Google akan menilai halaman tersebut tidak penting untuk terindeks di Google.
Penjelasan Status “Discovered – Currently Not Indexed”
Selanjutnya, masalah status index Google “Discovered – currently not indexed” berarti bahwa Google sudah menemukan halaman Anda, namun belum dikunjungi atau diindeks. Ada beberapa alasan dari terjadinya status ini di halaman website Anda dan beberapa cara mengatasinya:
1. Masalah Crawl Budget
Jika Anda sedang membangun sebuah website yang besar, namun crawl budget tidak bisa memenuhi untuk men-crawling seluruh halaman, Google mungkin saja bisa menemukan halaman tersebut tapi tidak bisa mengaksesnya.
2. Link Internal yang Buruk
Seperti yang sudah kami jelaskan, struktur link internal membantu Google dalam menilai pentingnya sebuah halaman. Jika di dalam halaman konten Anda tidak ditemukan adanya link internal, maka Google akan mengabaikannya, dan lebih berfokus pada halaman yang dianggap penting saja.
3. Google Menemukan “Pola” di dalam URL Anda
Saat menganalisis halaman, Google menemukan pola di dalam URL Anda, contohnya seperti konten duplikat, sehingga mengabaikan halaman dari proses crawling saat menemukan URL Anda.
Peringatan Status Konten Duplikat
Google ingin mengindeks halaman dengan informasi yang berbeda, untuk memberikan pengguna hasil pencarian terbaik, tanpa harus membuang waktu membaca konten yang sama dalam satu website.
Oleh karena itu, ketika terdeteksi adanya dua halaman yang sama, maka Google hanya akan mengindeks satu halaman saja, atau bahkan tidak sama sekali.
Di dalam Index Coverage Report, ada dua peringatan status yang menunjukkan konten duplikat:
- Duplicate without user-selected canonical,
- Duplicate, Google chose different canonical than user.
Kedua status di atas berarti bahwa salah satu halaman tidak terindeks karena Google memiliki versi yang berbeda untuk diindeks.
Perbedaan utamanya adalah apakah Anda coba memberi sinyal Google versi mana yang lebih penting menggunakan tag kanonikal (tag HTML yang menunjukkan versi mana yang Anda sukai jika ada lebih satu), atau tidak menunjukkan petunjuk apapun, sehingga Google mendeteksi konten duplikat dan memutuskan untuk memilih versi kanonikal sendiri.
Penjelasan Status “Duplicate, Google Chose Different Canonical than User”
Tag kanonikal hanyalah sebuah “petunjuk” dan Google tidak wajib untuk mengikutinya. Maksud dari status “Duplicate, Google chose different canonical than users” berarti bahwa Google tidak setuju dengan tag kanonikal Anda, sehingga memilih versi halaman yang berbeda untuk diindeks.
Jika ditemukan ada dua versi halaman yang sama, maka Google akan memilih salah satu halaman saja, yang tidak berdampak apapun terhadap bisnis Anda.
Namun, jika ternyata ada perbedaan yang signifikan dari versi-versi tersebut dan Google memilih versi yang salah, maka hal ini bisa berdampak pada penurunan trafik organik dengan menampilkan versi yang salah kepada pengguna.
Alasan utama dari masalah status index ini adalah karena “sinyal yang tidak konsisten.” Sebagai contoh, Anda menambahkan tag kanonikal ke satu versi halaman, namun link internal dan sitemap menunjukkan bahwa ada versi lain yang merupakan versi kanonikal.
Dalam kasus tersebut, Google perlu menentukan mana yang merupakan halaman kanonikal asli dan mungkin akan mengabaikan tag kanonikal Anda. Maka dari itu, sangat penting untuk memastikan Anda konsisten dengan semua sinyal yang mengarah ke satu versi halaman.
Penjelasan Status “Duplicate without User-selected Canonical”
Dalam Index Coverage Report, status “Duplicate without user-selected canonical” berarti halaman Anda tidak terindeks karena Google menganggapnya sebagai konten duplikat, dan Anda tidak memberikan tag kanonikal untuk membedakannya.
Kami menjadikan masalah ini sebagai peluang untuk melihat apa jenis halaman yang Google anggap sebagai konten duplikat. Hal ini dapat membantu Anda untuk mengambil keputusan dan menggabungkan konten yang duplikat. Misalnya dengan mengalihkan semua versi ke satu halaman atau menggunakan tag kanonikal.
Di dalam Index Coverage Report juga ada status “Duplicate, submitted URL not selected as canonical.” Status ini memiliki kasus yang sama dengan “Duplicate without user-selected canonical.” Akan tetapi, status “Duplicate, submitted URL not selected as canonical” ini ditemukan di dalam sitemap.
Status yang Menunjukkan Bahwa Anda Tidak Ingin Halaman Terindeks
Penjelasan status Index Coverage Report di bagian ini memang mengindikasikan halaman website tidak terindeks, karena memang Anda yang memberikan sinyal kepada Google untuk tidak mengindeksnya. Tentunya, Search Engine menghargai keputusan Anda.
Status “Excluded by ‘noindex’ tag”
Tag “noindex” adalah alat yang powerful di tangan pemilik website. Ini adalah potongan kode HTML yang digunakan untuk memberikan sinyal kepada Search Engine, bahwa URL tidak boleh diindeks. Tag noindex ini merupakan sebuah perintah, dan Google harus mematuhinya.
Jika Google menemukan tag tersebut, maka mesin pencari ini tidak akan melakukan indeks halaman, sehingga diberikan status “Excluded by ‘noindex’ tag” atau “Submitted URL marked ‘noindex’” jika Anda menambahkan halaman ini ke dalam sitemap.
Jika halaman diberikan tanda “Excluded by ‘noindex’ tag” yang tidak boleh diindeks, Anda tidak perlu melakukan hal lainnya. Namun terkadang, tim SEO salah menambahkan tag noindex ke halaman penting, yang mengakibatkan halaman tersebut tidak terindeks oleh Google.
Maka dari itu, kami menyarankan Anda untuk membuat daftar mana saja URL yang memiliki tag noindex, untuk memastikan tidak ada kesalahan saat melakukan indeks halaman.
Status “Alternate page with proper canonical tag”
Status “Alternate page with proper canonical tag” berarti Google tidak melakukan indeks halaman karena mematuhi tag kanonikal pengguna.
Hmm… Apa maksudnya?
Di beberapa kasus, Anda tidak perlu melakukan banyak tindakan. Sebagian besar informasi yang diberikan berfungsi dengan baik terkait URL Anda. Namun, ada dua kasus di mana Anda tidak boleh melewati hasil dari Index Coverage Report ini:
- Terkadang, Anda menggunakan tag kanonikal yang salah. Sebagai contoh, Anda menjadikan semua halaman dikanonikal ke satu halaman. Anda perlu memantau tag kanonikal tersebut untuk memastikan tidak ada kesalahan.
- Tag kanonikal adalah sebuah petunjuk, dan Google mungkin tidak mengikutinya. Jika tidak ada halaman yang muncul dalam laporan ini, hal tersebut bisa berarti bahwa tag kanonikal Anda diabaikan oleh Google.
Google Tidak Bisa Mengakses Halaman Anda
Sebelum Google bisa mengindeks halaman Anda, halaman tersebut harus bisa diakses terlebih dahulu untuk memahami isi konten yang ada di dalamnya.
Proses crawling tersebut bisa diblokir oleh beberapa alasan. Anda mungkin saja melakukannya dengan sengaja untuk memprioritaskan mengindeks halaman penting demi menghemat crawl budget. Namun, hal ini juga bisa terjadi karena kesalahan.
Di bawah ini, Anda bisa menemukan beberapa status dari Index Coverage Report yang mengindikasikan bahwa proses crawling diblokir oleh beberapa alasan.
Soft 404
Google ingin memastikan bahwa halaman yang ditampilkannya kepada pengguna berkualitas. Untuk menerapkannya, Google menggunakan algoritma pendeteksi Soft 404. Google menandai halaman sebagai Soft 404 jika mendeteksi bahwa halaman tersebut tidak ada, bahkan jika kode status HTTP tidak menunjukkannya.
Jika halaman Anda terdeteksi sebagai Soft 404, maka Google tidak akan mengindeksnya. Di beberapa kasus, Google menandainya dengan status:
- Soft 404,
- Submitted URL seems to be a Soft 404.
Namun seperti kebanyakan kasus, pendeteksi 404 bisa saja terjadi kesalahan. Maksudnya adalah, halaman Anda mungkin salah dikategorikan sebagai soft 404 dan akhirnya dihapus indeksnya. Beberapa alasan yang terjadi karena masalah ini adalah:
Redirect ke Halaman yang Tidak Relevan
Jika Google mendeteksi adanya halaman yang di-redirect ke halaman yang tidak relevan, maka pengalihan halaman ini tidak akan sukses dan dikategorikan sebagai Soft 404. Untuk itu, Anda perlu memastikan redirect hanya ke halaman yang memang relevan saja.
Banyak Kata yang Mengandung “404” di Satu Halaman
Sebagai contoh, sebuah halaman e-commerce menambahkan kata seperti “Produk Tidak Tersedia.” Di dalam kasus ini, Google mungkin saja salah menilai bahwa halaman tersebut tidak ada sama sekali. Untuk mengatasinya, Anda perlu menghapus kata-kata “404” ini dengan kata-kata lainnya.
Tidak Ada Konten
Jika tidak ada konten pada sebuah halaman (misalnya kategori halaman produk yang kosong), atau Google tidak bisa menemukan konten Anda, maka itu diasumsikan sebagai halaman yang tidak ada.
Inilah mengapa Anda perlu memastikan bahwa halaman Anda memiliki konten yang unik (atau bisa juga menambahkan tag noindex di halaman yang memang sengaja dikosongi).
Akhir Kata
Memahami Index Coverage Report merupakan hal penting untuk memudahkan halaman website Anda terindeks dengan sempurna di Google. Sayangnya, penjelasan di halaman resmi Google tidak memberikan informasi lengkap dari setiap poin penting.
Kami harap, hadirnya artikel ini dapat membantu Anda dalam memahami masalah status yang muncul pada URL halaman website Anda.
