Apa Itu Robot.txt?
Menurut backlinko, robot.txt adalah file yang menginstruksikan robot mesin pencari untuk tidak merayapi halaman tertentu atau bagian tertentu dari sebuah website.
Robot.txt atau protokol pengecualian memungkinkan web developer untuk mengatur bagian mana file atau folder dari website yang boleh dan tidak boleh diakses oleh bot atau crawler.
Dalam praktiknya, harus dipertimbangkan dengan matang jika ingin menggunakan robot.txt. Hal itu karena bila salah digunakan halaman website Anda tidak ditemukan, bahkan tidak terindeks di SERP, seperti Google. Kenali apa itu SERP.
Apakah Robot.txt Itu Penting?
Sebagian besar website tidak membutuhkan robot.txt. Itulah sebabnya Google biasanya menemukan dan mengindeks semua halaman penting di website Anda.
Kemudian, otomatis tidak mengindeks halaman yang tidak penting atau versi duplikat dari halaman lain.
Namun, ada beberapa alasan kenapa perlu menggunakan robot.txt, antara lain:
-
Memblokir Non-Public Pages
Terkadang Anda mempunyai halaman website yang tidak ingin di-indeks oleh search engine. Sebagai contoh, Anda mempunyai halaman login. Halaman tersebut harus ada, tetapi tidak ingin orang yang tidak berkepentingan mengakses halaman tersebut. Nah, keadaan seperti dimana Anda membutuhkan robot.txt untuk memblokir halaman tersebut dari robot dan crawler mesin pencari.
Apa itu web crawler? Web crawling atau web crawler adalah bot yang bisa mengindeks berbagai jenis content yang berada di halaman sebuah website yang ada di internet. Dengan begitu, content tersebut bisa ditampilkan di SERP (Search Engine Result Page).
-
Memaksimalkan Crawl Budget
Apa itu crawl budget? Crawl budget adalah jumlah halaman yang Googlebot rayapi dan index pada suatu website dalam kurun waktu tertentu. Maksudnya adalah seberapa banyak perhatian yang diberikan search engine kepada website Anda.
Jika Anda mempunyai masalah mengindeks semua halaman terindeks, Anda kemungkinan mempunyai masalah crawl budget. Memblokir halaman yang tidak penting dengan robot.txt, Googlebot akan menghabiskan lebih banyak crawl budget Anda di halaman yang penting saja. Dengan begitu, memaksimalkan crawl budget website Anda.
Perbedaan SEO dan Robot.txt
Cara kerja SEO dan robot.txt sangat berbeda. SEO atau Search Engine Optimazation dijalankan agar halaman website diindeks oleh mesin pencari, seperti Google. Jadi, halaman website dioptimasi agar mendapatkan ranking teratas di SERP, khususnya organic search.
Sedangkan, robot.txt bertujuan agar halaman website tertentu tidak dirayapi atau di-crawl oleh web crawler atau robot mesin pencari. Dengan begitu, halaman tersebut tidak terindeks.
Fungsi Robot.txt
Berikut ini beberapa fungsi robot.txt:
-
Membatasi Rayapan Robot Indexing
Fungsi robot.txt yang utama adalah mengontrol crawler pada website. Bila Anda mempunyai content atau halaman website yang tidak ingin dikunjungi user, entah karena duplikat atau bersifat pribadi, hanya diakses oleh orang tertentu, Anda bisa menggunakan robot.txt. Cara ini bertujuan agar halaman tersebut tidak dirayapi oleh web crawler atau robot mesin pencari.
-
Mengontrol Aktivitas Crawler
Web crawler akan mengindeks apa pun yang ada di halaman website Anda bila tidak dikontrol. Dengan menggunakan robot.txt, Anda bisa mengontrol halaman mana yang ingin diindeks dan halaman mana yang tidak ingin diindeks oleh mesin pencari. Dengan begitu, halaman tidak akan muncul di SERP (Search Engine Result Pages).
FAQ (Frequently Asked Questions)
Apakah halaman website yang tidak diizinkan dalam robot.txt masih bisa diindeks apabila ditautkan dari situs lain?
Menurut Google, Meskipun Google tidak akan meng-crawl atau mengindeks content yang diblokir oleh file robot.txt, Google masih mungkin menemukan, bahkan mengindeks URL yang tidak diizinkan tersebut. Hal ini terjadi apabila URL tersebut ditautkan dari tempat lain di website. Akibatnya, alamat URL tersebut dan informasi lain seperti anchor text yang menuju ke halaman tertentu masih bisa muncul di SERP Google.
Itulah ulasan mengenai robot.txt. Penting untuk memahami kebutuhan website Anda, mana halaman yang boleh diindeks dan mana yang tidak. Jika Anda ingin mengoptimalkan website Anda, ada banyak hal yang harus diperhatikan dalam optimasi SEO agar mendapatkan hasil yang maksimal. Jika Anda membutuhkan jasa SEO, niftyseo pilihan yang tepat.
Author: Uswatun Hasanah