更新時(shí)間：2024-11-07 16:59:52
網(wǎng)站建設(shè)
283網(wǎng)站制作公司推來客（www.tlkjt.com）：誤區(qū)一、Allow覆蓋的比Disallow多，位置在Disallow的前面。
比如很多人寫：
用戶代理：*
允許： /
Disallow: /mulu/
我想讓所有的蜘蛛爬取本站除了/mulu/下的url之外的所有頁面，禁止爬取/mulu/下的所有url。
SEO網(wǎng)站優(yōu)化搜索引擎蜘蛛從上到下執(zhí)行規(guī)則，這會導(dǎo)致第二句失敗。也就是說，禁止爬取/mulu/目錄的規(guī)則是無效的。正確的是Disallow應(yīng)該在Allow之上，這樣才會生效。
誤區(qū)二、Disallow命令和Allow命令后沒有斜杠“/”。
這也很容易被忽視。比如有人這樣寫Disallow: 123.html，沒有效果。斜杠“/”表示文件所在的位置到根目錄。如果不包含，自然無法確定是哪個(gè)url，所以是錯(cuò)誤的。
正確的應(yīng)該是Disallow: /123.html，這樣就可以屏蔽/123.html這個(gè)文件，這條規(guī)則才能生效。
誤區(qū)三、屏蔽目錄后沒有斜杠“/”。
也就是比如你要屏蔽/mulu/目錄的爬取，有人這樣寫Disallow: /mulu。那么這是正確的嗎？
首先，這樣寫（Disallow: /mulu）確實(shí)可以屏蔽所有/mulu/下的url，但是也屏蔽了所有像/mulu123.html這樣以/mulu開頭的頁面，效果等同于Disallow: /mulu*。
正確的做法是，如果只想屏蔽目錄，必須在末尾加上斜杠“/”。
本文發(fā)表于北京網(wǎng)站制作公司推來客http://www.tlkjt.com/
我們專注高端建站，小程序開發(fā)、軟件系統(tǒng)定制開發(fā)、BUG修復(fù)、物聯(lián)網(wǎng)開發(fā)、各類API接口對接開發(fā)等。十余年開發(fā)經(jīng)驗(yàn)，每一個(gè)項(xiàng)目承諾做到滿意為止，多一次對比，一定讓您多一份收獲！
