解讀robots文件與優(yōu)化的關(guān)系 文章來源：周口中原傳媒有限公司     瀏覽次數(shù)：1641次     發(fā)布日期：2012.12.19     首先我們要明白什么是robots是什么？其實(shí)說白了robot文件和瀏覽者沒有任何的關(guān)系，這個文件時放在網(wǎng)站程序的根目錄的，是針對蜘蛛而做的一個文件，在這個文件里設(shè)置的有蜘蛛可以抓取的頁面，可以訪問的頁面，不可以訪問的頁面，等等都是在這個文件里面設(shè)置的，比如說，Disallow: /目錄名1/ 這就是不允許爬行蜘蛛不能訪問目錄名1文件夾面的所有文件，在這文件夾里面所有的文件都不會被百度蜘蛛抓取，同樣的我們也可以設(shè)置多個這樣的文件，比如說：Disallow: /目錄名1/ ，Disallow: /目錄名1/ ，Disallow: /目錄名2/ ，Disallow: /目錄名3/ 這里的設(shè)置就是說不允許蜘蛛抓取目錄名1、目錄名2、目錄名3、等等，我們這里設(shè)置了不能抓取一個文件夾的內(nèi)容，那么我們怎么設(shè)置不讓他抓取一個網(wǎng)站的內(nèi)容呢？那么我們可以設(shè)置百度蜘蛛不能訪問，比如說：User-agent: Baiduspider，這里的設(shè)置就是說不允許百度蜘蛛抓取網(wǎng)站的所有內(nèi)容，除了這樣的設(shè)置以外我們換可以設(shè)置網(wǎng)站只能訪問那個根目錄,比如說：Allow：/目錄名/運(yùn)行訪問“目錄名”，以上就是robot與優(yōu)化的關(guān)系 下一篇: 關(guān)于召開2013年周口中原傳媒有限公司乒乓球比賽的通知上一篇: 公司業(yè)務(wù)新拓展，服務(wù)拓展至省外