Sesuai dengan janji saya kemarin, pada artikel ini saya akan memberikan beberapa link menujur ke situs-situs yang berhubungan dengan robots.txt, baik generator (untuk membuat file robots.txt) maupun checker (untuk validasi file robots.txt). Saya sudah menemukan 10 situs untuk membuat file robots.txt:
http://www.mcanerin.com/EN/search-engine/robots-txt.asp
http://www.seochat.com/seo-tools/robots-generator/
http://www.yellowpipe.com/yis/tools/robots.txt/
http://www.robotstxt.ca/Robots.htm
http://www.invision-graphics.com/robotstxt_generator.html
http://www.submitcorner.com/Tools/Robots/server.shtml
http://www.searchbliss.com/webmaster_tools/robots-txt-text-generator.htm
http://www.positiongoldltd.com/SEO-Tools/RobotsTxtGenerator.html
http://www.submitcorner.com/Tools/Robots/
http://www.daremedy.com/webmasters/robots-generator-tool.html
Dan 4 situs untuk validasi file robots.txt yang kita miliki valid atau tidak:
https://www.google.com/webmasters/tools/robots
http://www.searchenginepromotionhelp.com/m/robots-text-tester/robots-checker.php
http://www.sxw.org.uk/computing/robots/check.html
http://tool.motoricerca.info/robots-checker.phtml

Robots.txt, merupakan file untuk mengatur hak akses dari para web spider atau web robots yang akan meng-index sebuah situs. File robots.txt biasa ditemukan pada root sebuah situs, misalnya situs yang saya miliki, file robots.txt bisa ditemukan di http://duniati.com/robots.txt. Walaupun kecil, file ini mempunyai fungsi yang tidak sebandingan dengan ukurannya, file ini bisa mempengaruhi bagaimana situs [...]