搜索引擎如何抓取網(wǎng)頁(yè)(學(xué)SEO優(yōu)化就上《SEO自學(xué)網(wǎng)》一個(gè)拒絕搜索引擎收錄網(wǎng)站

)

　　在“SEO自學(xué)網(wǎng)”學(xué)習SEO優(yōu)化

　　新建一個(gè)網(wǎng)站后，只要搜索引擎蜘蛛抓取到的網(wǎng)站內容不是很差，那么搜索引擎很有可能收錄我們的網(wǎng)站，如果我因為某種原因不想讓搜索引擎收錄網(wǎng)站怎么辦？

　　事實(shí)?拒絕搜索引擎收錄網(wǎng)站可以使用robots.txt（什么是robots.txt）來(lái)屏蔽搜索引擎蜘蛛，僅供參考

　　Robots是搜索引擎必須遵守的互聯(lián)網(wǎng)協(xié)議，所以可以通過(guò)robots拒絕所有搜索引擎收錄，代碼如?：

　　用戶(hù)代理：*

　　禁止：/

　　?旁邊的兩行代碼表示禁止所有搜索引擎（User-agent: *）抓取所有內容（Disallow: /）

　　當然也可以用?碼禁止百度收錄：（如果要拒絕其他搜索引擎，請將user-agent:后面的內容替換成其他搜索引擎蜘蛛的名名稱(chēng)，各大搜索引擎蜘蛛的名字可以參考：

　　)

　　用戶(hù)代理：baiduspider

　　禁止：/

　　如果您不希望搜索引擎拍攝快照，您可以這樣做：

　　將此代碼添加到頭部?

　　如果您希望搜索引擎對網(wǎng)頁(yè)進(jìn)行索引并禁止跟蹤，您可以這樣做：

　　所以我們需要明確是禁止搜索引擎收錄網(wǎng)站還是拒絕搜索引擎創(chuàng )建快照，然后選擇合適的方法