Setiap pemilik website tentunya menginginkan agar situsnya aman, apalagi pemilik online store. Untuk melindungi folder dimana data-data penting anda disimpan. Konsep dari robot.txt ini adalah mencegah pengindeksan terhadap ditus yang anda punya. Langsung saja, cara membuatnya hanya notepad dengan mengetikan.
User-Agent: *
Disallow: /
Setelah tanda (/) anda dapat langsung memasukan folder mana yang anda ingin sembunyikan
Contoh : Disallow: /comersus/
Selanjutnya tinggal menyimpan (upload) robot.txt yang berisikan text diatas pada root situs anda.
Contoh posisi dimana robot.txt harus disimpan:http://www.contohwarung.com/robot.txt
Tahap selanjutnya adalah mengirimkan email kepada googlebot@google.com yang berisi tentang pemberitahuan atas perubahan dan lokasi file tersebut. Tinggal menunggu admin google memproses permintaan anda selama 2 x 24 jam (bisa saja lebih dari itu, makanya bersabarlah).
