Robots Meta Tag adalah elemen penting dalam SEO.
Tag ini membantu mengontrol bagaimana mesin pencari merayapi dan mengindeks halaman web.
Tanpa pengaturan yang tepat, mesin pencari dapat mengakses konten yang seharusnya tetap privat atau tidak relevan.
Daftar Isi…
Apa Itu Robots Meta Tag?
Robots meta tags adalah elemen HTML yang memberi tahu robot mesin pencari bagaimana cara merayapi, mengindeks, dan menampilkan konten halaman web.
Meta tag robots ini terletak di bagian <head> dari halaman dan dapat terlihat seperti ini:
<meta name="robots" content="noindex">
Contoh ini memberi tahu perayap mesin pencari untuk tidak mengindeks halaman tersebut.
Meta tag robots dapat mengontrol banyak perilaku perayap lainnya, dan sangat penting untuk SEO karena memungkinkan Anda untuk menentukan konten mana yang harus muncul di hasil pencarian.
Meta Robots vs. Robots.txt
Baik meta robots tag maupun file robots.txt memengaruhi bagaimana mesin pencari merayapi halaman.
Namun, keduanya bekerja dengan cara yang berbeda:
- File robots.txt adalah file teks yang diterapkan pada seluruh situs dan memberi instruksi kepada mesin pencari tentang halaman mana yang harus dirayapi.
- Meta robots tag diterapkan hanya pada halaman tertentu dan memberi instruksi kepada mesin pencari bagaimana caramengindeks (atau tidak mengindeks) konten halaman tersebut.
Fungsi Meta Tag Robots
Meta robots tags membantu Anda mengontrol bagaimana Google dan mesin pencari lain menangani konten halaman Anda.
Anda bisa menentukan apakah akan:
- Menyertakan halaman dalam hasil pencarian
- Mengikuti tautan di halaman tersebut
- Mengindeks gambar di halaman
- Menampilkan hasil yang di-cache dalam hasil pencarian (SERPs)
- Menampilkan cuplikan halaman dalam SERPs
Mengapa Meta Robots Tag Penting Untuk SEO?
Meta robots tags memungkinkan mesin pencari untuk merayapi dan mengindeks halaman Anda dengan efisien.
Hal ini sangat berguna untuk situs yang besar atau sering diperbarui. Anda mungkin tidak ingin setiap halaman masuk ke hasil pencarian, seperti:
- Halaman pengujian atau pengembangan
- Halaman konfirmasi, seperti halaman terima kasih
- Halaman admin atau login
- Halaman hasil pencarian internal
- Halaman dengan konten duplikat
Menggabungkan meta robots tags dengan arahan lainnya (seperti sitemap dan robots.txt) sangat membantu untuk SEO teknis.
Ini dapat mencegah masalah merayapi dan mengindeks yang merugikan kinerja.
Apa Saja Nama dan Spesifikasi Konten untuk Meta Robots Tags?
Meta robots tags mengandung dua atribut: nama dan konten. Keduanya wajib ada.
Atribut Nama
Atribut “name” menunjukkan perayap mana yang akan menerima instruksi ini. Misalnya:
name="crawler"
Untuk mengarahkan semua perayap, gunakan name="robots". Atribut ini tidak case-sensitive, jadi “robots”, “ROBOTS”, dan “Robots” akan bekerja.
Untuk menargetkan mesin pencari tertentu, gunakan nama perayap mereka (misalnya, Googlebot, Bingbot).
Perhatikan bahwa tidak semua bot menghormati meta robots tags, jadi hindari menggunakannya untuk keamanan.
Atribut Konten
Atribut “content” berisi instruksi untuk perayap, seperti:
content="instruction"
Atribut ini juga tidak case-sensitive. Google mendukung beberapa nilai “content”:
Nilai Konten Default
Jika tidak ada meta robots tag, perayap akan mengindeks konten dan mengikuti tautan secara default.
Ini setara dengan menambahkan content="all".
Noindex
<meta name="robots" content="noindex">
Memberi tahu perayap untuk tidak mengindeks atau menampilkan halaman dalam hasil pencarian.
Biasanya digunakan untuk halaman keranjang atau checkout.
Nofollow
<meta name="robots" content="nofollow">
Memberi tahu perayap untuk tidak mengikuti tautan apa pun di halaman.
Atribut nofollow berguna jika Anda tidak mengontrol tautan di halaman, seperti dalam konten yang dihasilkan pengguna.
Noarchive
<meta name="robots" content="noarchive">
Mencegah Google menampilkan salinan halaman yang di-cache dalam hasil pencarian.
Berguna untuk dokumen yang sensitif terhadap waktu atau dokumen internal.
Noimageindex
<meta name="robots" content="noimageindex">
Menghentikan Google dari mengindeks gambar di halaman.
Pengguna tetap bisa melihat gambar di halaman, jadi gunakan ini dengan hati-hati jika Anda menginginkan lalu lintas berbasis gambar.
Notranslate
<meta name="robots" content="notranslate">
Mencegah Google menawarkan terjemahan halaman. Berguna jika Anda tidak ingin nama produk atau istilah penting diterjemahkan otomatis.
Nositelinkssearchbox
<meta name="robots" content="nositelinkssearchbox">
Mencegah Google membuat kotak pencarian untuk situs Anda di hasil pencarian.
Nosnippet
<meta name="robots" content="nosnippet">
Mencegah Google menampilkan cuplikan teks atau video.
Juga mencegah konten muncul sebagai input langsung untuk AI Overview. Tetapi ini juga menghapus deskripsi meta dan cuplikan kaya.
Max-snippet
<meta name="robots" content="max-snippet:100">
Menentukan panjang karakter maksimum untuk cuplikan teks.
0 berarti tidak ada cuplikan.
-1 berarti tidak ada batasan.
Max-image-preview
<meta name="robots" content="max-image-preview:large">
Mengontrol ukuran maksimum cuplikan gambar. Nilainya bisa “none”, “standard”, atau “large”.
Max-video-preview
<meta name="robots" content="max-video-preview:10">
Mengontrol panjang cuplikan video dalam detik.
0 berarti tidak ada cuplikan video.
-1 berarti tidak ada batasan.
Indexifembedded
<meta name="robots" content="noindex, indexifembedded">
Memungkinkan Google mengindeks konten halaman jika di-embed di halaman lain melalui iframe.
Ini membantu penerbit media yang tidak ingin mengindeks halaman media secara langsung, tetapi ingin mengindeks saat media di-embed di tempat lain.
Unavailable_after
<meta name="robots" content="unavailable_after: 2024-10-21">
Memberi tahu Google untuk berhenti menampilkan halaman di SERP setelah tanggal atau waktu yang ditentukan.
Gunakan format RFC 822, RFC 850, atau ISO 8601. Ini berfungsi seperti noindex berbatas waktu.
Menggabungkan Aturan Meta Tag Robots
Anda bisa menggabungkan aturan dalam dua cara:
Nilai Ganda dalam Satu Atribut “content”
<meta name="robots" content="noindex, nofollow">
Contoh ini memberi tahu perayap untuk tidak mengindeks halaman atau mengikuti tautan.
Anda juga bisa menggunakan content="none" untuk menggabungkan noindex dan nofollow bersama-sama, tetapi beberapa mesin pencari (seperti Bing) tidak mendukung kata kunci ini.
Jika terdapat perintah yang bertentangan, Google akan menerapkan perintah yang lebih restriktif.
Beberapa Elemen Meta Robots
<meta name="robots" content="nofollow">
<meta name="YandexBot" content="noindex">
Contoh ini memberi tahu semua perayap untuk tidak mengikuti tautan, tetapi juga memberi instruksi kepada Yandex untuk tidak mengindeks halaman sama sekali.
Dukungan Mesin Pencari Untuk Meta Robots Tags
| Nilai | Bing | Yandex | |
|---|---|---|---|
| noindex | Y | Y | Y |
| noimageindex | Y | N | N |
| nofollow | Y | N | Y |
| noarchive | Y | Y | Y |
| nocache | N | Y | N |
| nosnippet | Y | Y | N |
| nositelinkssearchbox | Y | N | N |
| notranslate | Y | N | N |
| max-snippet | Y | Y | N |
| max-video-preview | Y | Y | N |
| max-image-preview | Y | Y | N |
| indexifembedded | Y | N | N |
| unavailable_after | Y | N | N |
Cara Mengimplementasikan Robots Meta Tags
Menambahkan Robots Meta Tags ke Kode HTML Anda
Tempatkan meta robots tags di bagian <head> dari halaman:
<meta name="robots" content="noindex, nofollow">Mengimplementasikan Robots Meta Tags di WordPress
Jika Anda menggunakan Rank Math:
- Pergi ke tab “Tingkat Lanjut” di meta box.
- Pilih perintah yang sesuai dari kotak centang atau kolom yang disediakan.
Jika Anda menggunakan Yoast SEO:
Di editor halaman, buka tab “Advanced”.
Setel “Allow search engines to show this page in search results?” ke “No” untuk noindex.
Setel “Should search engines follow links on this page?” ke “No” untuk nofollow.
Untuk perintah lainnya, gunakan kolom “Meta robots advanced”.
Menambahkan Robots Meta Tags di Shopify:
- Edit bagian
<head>pada file layout theme.liquid Anda. - Untuk halaman tertentu, gunakan kode berikut:
{% if handle contains 'page-name' %}
<meta name="robots" content="noindex">
{% endif %}
- Gunakan entri terpisah untuk halaman yang berbeda.
- Edit file tema dengan hati-hati atau konsultasikan dengan pengembang jika perlu.
Apa itu X-Robots-Tag?
X-Robots-Tag memberikan instruksi kepada crawler tentang bagaimana mengindeks sumber non-HTML (seperti PDF atau gambar).
Ini ditambahkan dalam respons header HTTP:
X-Robots-Tag: noindex, nofollow
Anda bisa menggunakan aturan yang sama seperti meta robots tag.
Namun, Anda harus mengedit file konfigurasi server seperti .htaccess pada Apache atau .conf pada Nginx.
Cara Mengimplementasikan X-Robots-Tag
Menggunakan X-Robots-Tag di Server Apache
Di file .htaccess atau httpd.conf situs Anda, tambahkan:
<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</Files>
Ini memberi instruksi kepada crawler untuk tidak mengindeks atau mengikuti tautan pada PDF di seluruh situs.
Menggunakan X-Robots-Tag di Server Nginx
Di file .conf situs Anda, tambahkan:
location ~* \.pdf$ {
add_header X-Robots-Tag "noindex, nofollow";
}
Ini akan mengaplikasikan noindex, nofollow pada semua PDF di situs Anda.
Kesalahan Umum pada Robots Meta Tag
- Menggunakan Meta Robots pada Halaman yang Diblokir oleh Robots.txt: Jika sebuah halaman dilarang di robots.txt, bot mesin pencari tidak akan melihat meta robots tag di halaman tersebut.
- Menambahkan Robots Directives pada Robots.txt: Google tidak lagi mendukung aturan noindex di robots.txt. Sebaiknya gunakan meta robots tag atau x-robots-tag.
- Menghapus Halaman dengan Noindex dari Sitemaps Terlalu Cepat: Biarkan halaman tetap ada di sitemap hingga halaman tersebut benar-benar diindeks ulang. Jika tidak, proses deindexing mungkin tertunda.
- Lupa Menghapus Staging ‘Noindex’: Saat memindahkan situs dari staging ke produksi, pastikan untuk menghapus instruksi noindex agar situs langsung dapat diindeks oleh mesin pencari.
FAQs
1. Apa perbedaan antara noindex dan nofollow?
noindex mencegah pengindeksan halaman, sedangkan nofollow mencegah crawler mengikuti tautan.
2. Apakah semua mesin pencari mematuhi Robots Meta Tag?
Sebagian besar mesin pencari utama, seperti Google, mematuhi tag ini, tetapi crawler ilegal mungkin tidak.
3. Apakah Robots Meta Tag menggantikan Robots.txt?
Tidak. Robots.txt berfungsi untuk seluruh situs, sedangkan Robots Meta Tag berlaku pada tingkat halaman.
4. Apa risiko kesalahan penggunaan Robots Meta Tag?
Kesalahan, seperti penggunaan noindex pada halaman penting, dapat mengurangi visibilitas di mesin pencari.
5. Bagaimana cara memeriksa apakah Robots Meta Tag bekerja?
Gunakan alat seperti Google Search Console untuk memverifikasi perilaku crawler.
Kesimpulan
Robots Meta Tag adalah alat penting untuk mengelola perilaku crawler. Dengan pemahaman yang tepat, tag ini dapat meningkatkan efisiensi crawling dan visibilitas halaman web.
Implementasi yang bijaksana memastikan bahwa mesin pencari hanya mengindeks konten yang relevan.
