Hati-hati Salah Konfigurasi File ROBOTS.TXT

Tahukah apa itu file ROBOTS.TXT ? ROBOTS.TXT adalah sebuah file konfigurasi yang mengatur spider/crawler dari Search Engine untuk meng-indeks suatu website / blog, terutama website/blog yang memakai hosting dan domain sendiri.

File ini bisa kita buat sendiri atau menggunakan bantuan Google Webmaster Tools atau dibuat sendiri menggunakan editor teks biasa.

Mengingat fungsinya yang penting dalam peng-indeks-an web oleh Search Engine maka saya menambahkan file robots.txt ke dalam direktori public_html di server dengan isi file robots.txt sebagai berikut :

image

Efeknya ternyata luar biasa. Mari kita lihat statistik pengunjung blog www.isparmo.web.id setelah di pasangi file robots.txt :

image

Amati statistik mulai tanggal 4 April 2009 s/d sekarang. Sangat memprihatinkan. Sebelum tanggal 4 April rata-rata pengunjung dalam sehari bisa mencapai 150 kunjungan dan 200 page view, tetapi setelah tanggal 4 April ke atas haya terdapat rata-rata 15 kunjungan. Ada apa iniā€¦?

Untuk menganalisanya saya menggunakan Google Webmaster Tools, inilah yang saya dapat : 

image

Ternyata crawler oleh Googlebot terhadap www.isparmo.web.id di blokir oleh robots.txt, berarti ada kesalahan konfigurasi dalam file robots.txt :

BACA JUGA :  Pantau Google SERP Menggunakan Google Webmaster Tools

image

Konfigurasi tersebut ternyata memblokir semua bot search engine, karena ada kata-kata Disallow. Sehingga diputuskan untuk segera diperbaiki.

Langkah-langkah perbaikkan agar web www.isparmo.web.id bisa terindeks kembali oleh search engine :

  1. Menghapus file robots.txt, karena sebenarnya keberadaanya untuk membatasi crawler search engine terhadap direktori atau file yang sifatnya krusial, seperti halam login atau file yang sifatnya rahasia pada suatu website.
  2. Memasang plugin Google Site XML pada www.isparmo.web.id agar men-generate file sitemap.xml sehingga bot search engine bisa merayapi web dengan mudah.
  3. Men-submit kembali www.isparmo.web.id ke Google agar segera terindeks kembali.

Pengalaman yang didapat dari kesalahan konfigurasi robots.txt ini :

  1. Baca referensi dan teliti lebih baik lagi ketika melakukan sesuatu.
  2. Betapa pentingnya mempelajari teknik Searh Engine Optimation (SEO) dalam mendatangkan pengunjung ke blog.
  3. Search Engine menyumbangkan kontribusi yang sangat signifikan dalam mendatangkan pengunjung.

Semoga bermanfaat.

Hati-hati Salah Konfigurasi File ROBOTS.TXT

Berikan review artikel ini menurut Anda :
Updated: April 15, 2009 — 8:53 am

7 Comments

  1. trus bagaimana mas caranya menghapus robot txt, di perjelas lagi dunk……
    trus minimal harus dapat berapa posting kalo mau daftarkan blog ke GWT???
    thanks ya mas atas referensinya, he… sukses selalu deh buat isparmo.com
    jangan lupa di balas ya mas, tak tunggu~~~~~~~

     
  2. Webnya keren dan lengkap referensinya, koq gak di daftarkan di GA aja ya, itung-itung jadi TKInya mbah google gitu,he…

     
  3. oh ya mas komen yang No.1 itu di kasih screenshot ya mas, biyar jelas!!!! maaf banyak tanya, cos kayaknya lengkap banget ini blog.he..

     
  4. Mas/mbk Birgomi,

    Untuk menghapus robot.txt tinggal login ke hosting yang digunakan trus tinggal hapus file robot.txt. Jika Anda menggunakan blog gratisan maka file robot.txt tidak akan terlihat.

    Untuk mendaftarkan blog/web ke GWT minimal posting 1 saja sudah cukup. Tapi sebaiknya 5 posting.

    Untuk mendaftar di Google Adsense blog bahasa Indonesia belum diterima.

    Mohon maaf, saat ini belum bisa memberikan jawaban disertai dengan screenshot lengkap.

    Terima kasih

     
  5. Wah, saya baru ngerti kalo robot.txt. itu malah menyusahkan ya

     
  6. mas gimana cara hapus robots.txt saya mengalami masalah serupa…parahhh…padahal saya mengandalkan seach engine buat usaha saya..trims

     

Comments are closed.

Pembicara Internet Marketing SEO | Konsultan | Trainer © 2016 Frontier Theme
%d bloggers like this: