robots.txt的文件,格式如下:
User-agent: *
Allow: /
Disallow: /admin
Sitemap:http://www.crossfitbingo.com/sitemap.xml
其中:User-agent:* 是指針對據有搜索引擎,Allow:/ 是允許訪問根目錄,Disallow:/admin是指不允許訪問網站的admin這個文件夾內的文件,即不允許訪問我們的后臺文件。這樣設計搜索引擎是不會訪問這個admin文件夾內的東西的,就不會收錄這個路徑下的鏈接。如果你不想讓搜索引擎收錄哪個網址,直接寫成Disallow:url。不想訪問哪個路徑下的所有文件,就直接把這個路徑添加到禁止訪問這一行里。
最下面一行,表示你的網站地圖放在哪個位置,一般都是放在網站的根目錄下。
設置好了,還要先設計好網站地圖,再上傳。關于網站地圖的設置,請參閱:網站地圖制作
User-agent: *
Allow: /
Disallow: /admin
Sitemap:http://www.crossfitbingo.com/sitemap.xml
其中:User-agent:* 是指針對據有搜索引擎,Allow:/ 是允許訪問根目錄,Disallow:/admin是指不允許訪問網站的admin這個文件夾內的文件,即不允許訪問我們的后臺文件。這樣設計搜索引擎是不會訪問這個admin文件夾內的東西的,就不會收錄這個路徑下的鏈接。如果你不想讓搜索引擎收錄哪個網址,直接寫成Disallow:url。不想訪問哪個路徑下的所有文件,就直接把這個路徑添加到禁止訪問這一行里。
最下面一行,表示你的網站地圖放在哪個位置,一般都是放在網站的根目錄下。
設置好了,還要先設計好網站地圖,再上傳。關于網站地圖的設置,請參閱:網站地圖制作