robots.txt的文件，格式如下：
　　User-agent: *
　　Allow: /
　　Disallow: /admin
　　Sitemap:http://www.crossfitbingo.com/sitemap.xml

　　其中：User-agent:* 是指針對據有搜索引擎，Allow:/ 是允許訪問根目錄，Disallow:/admin是指不允許訪問網站的admin這個文件夾內的文件，即不允許訪問我們的后臺文件。這樣設計搜索引擎是不會訪問這個admin文件夾內的東西的，就不會收錄這個路徑下的鏈接。如果你不想讓搜索引擎收錄哪個網址，直接寫成Disallow:url。不想訪問哪個路徑下的所有文件，就直接把這個路徑添加到禁止訪問這一行里。

　　最下面一行，表示你的網站地圖放在哪個位置，一般都是放在網站的根目錄下。

　　設置好了，還要先設計好網站地圖，再上傳。關于網站地圖的設置，請參閱：網站地圖制作