Seperti Upin-Ipin, Meta Robots Tags dan robots.txt seringkali bikin bingung. Padahal, keduanya memiliki peran yang berbeda namun sama pentingnya dalam hal crawlability.
1️⃣ Meta robots tags dan robots.txt merupakan dua cara yang memberi tahu bot bagaimana melakukan crawling dan pengindeksan situs web Anda.
2️⃣ Meta robots tags ditempatkan di bagian <head> setiap halaman, sementara robots.txt adalah file yang ditempatkan di direktori root situs web Anda.
3️⃣ Robots.txt dapat digunakan untuk memblokir direktori atau halaman secara keseluruhan dari crawling oleh mesin pencari.
*Mulai ini, saya akan menggunakaan contoh bot crawls nya google, yaitu Googlebot
Lalu bagaimana jika bentrok settingnya?
=====================================
Googlebot akan mengikuti aturan yang paling restriktif!
1️⃣ Jika kita memblokir halaman dengan robots.txt, Googlebot tidak akan merayapi (crawling) halaman tersebut dan tidak akan membaca meta tag apa pun di halaman tersebut.
2️⃣ Namun, jika kita mengizinkan halaman dengan robots.txt tetapi memblokirnya dari pengindeksan menggunakan meta tag, Googlebot akan mengakses halaman tersebut, membaca meta tag, dan kemudian tidak mengindeksnya.
Kurang lebih prosesnya seperti ini:
1️⃣ Googlebot datang berkunjung ke situs web kita.
2️⃣ Googlebot membaca file robots.txt kita.
3️⃣ Googlebot membaca meta tag di setiap halaman yang dikunjunginya.
4️⃣ Jika Googlebot menemukan instruksi yang saling bertentangan pada robots.txt dan meta tag, Googlebot akan memilih instruksi yang paling ketat.
Jadi, jika kita ingin memblokir halaman dari Googlebot, kita harus menggunakan robots.txt. Meta tag hanya akan berfungsi jika halaman tersebut diizinkan oleh robots.txt.
Bagaimana Penggunaan paling rekomemndasi?
=====================================
1️⃣ Gunakan Robots.txt jika kita ingin memblokir banyak URL dengan tipe, path, atau sub yang serupa.
2️⃣ Gunakan meta robots tags dengan bijak. Hanya gunakan mereka jika Anda memiliki alasan spesifik untuk memblokir halaman dari crawling atau pengindeksan.
3️⃣ Gunakan keduanya jika Anda benar-benar ingin memblokir Googlebot!
Penggunaan yang seringkali kita jumpai
=====================================
1️⃣ Robots.txt biasa digunakan untuk melindungi konten sensitif, menyembunyikan halaman dalam maintence, menangani halaman berukuran besar, memblokir akses ke halaman tertentu (e.g. internal search), dan mencegah halaman diindeks oleh mesin pencari.
2️⃣ Meta Robots Tags umumnya digunakan untuk menyembunyikan halaman dari indeks search engine (e.g. Faceted navigation), mencegah search engine follow link, dan menampilkan halaman dalam bentuk tertentu dalam SERP.
Bagaimana pendapat Anda tentang topik ini? Apakah Anda punya strategi lain dalam menggunakan meta robots tags dan robots.txt?
#SEO #robots.txt #metarobotstag
source : linkedin.com/in/ryo-anjasmoro
