最新seo內容優(yōu)化有哪些(seo優(yōu)化的細節都有什么)

　　我們很多時(shí)候感覺(jué)網(wǎng)站頁(yè)面被搜索引擎收錄得越多越好，這句話(huà)本身沒(méi)有什么錯誤，但是我們會(huì )發(fā)現很多網(wǎng)站頁(yè)面是我們不需要被收錄都被收錄了，我們需要搜索引擎收錄的頁(yè)面的反而沒(méi)有被收錄，其實(shí)爬蟲(chóng)在爬取我們網(wǎng)站的時(shí)間是有限的，怎么樣才能在有限的時(shí)間爬取我們的更多的頁(yè)面，我們就要告訴爬蟲(chóng)爬取我們需要它去爬取的內容頁(yè)面，那么就需要一個(gè)robots.txt文本文件。

　　什么是robots.txt文件

　　robots是網(wǎng)站跟爬蟲(chóng)間的協(xié)議，用簡(jiǎn)單直接的txt格式文本方式告訴對應的爬蟲(chóng)被允許的權限，也就是說(shuō)robots.txt是搜索引擎中訪(fǎng)問(wèn)網(wǎng)站的時(shí)候要查看的第一個(gè)文件。當一個(gè)搜索引擎蜘蛛訪(fǎng)問(wèn)一個(gè)站點(diǎn)時(shí)，它會(huì )首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機器人就會(huì )按照該文件中的內容來(lái)確定訪(fǎng)問(wèn)的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪(fǎng)問(wèn)網(wǎng)站上所有沒(méi)有被口令保護的頁(yè)面。

　　robots.txt文件放置的位置

　　robots.txt文件放在網(wǎng)站根目錄下。搜索引擎蜘蛛訪(fǎng)問(wèn)一個(gè)站點(diǎn)時(shí)，首先檢查該站點(diǎn)根目錄下是否存在robots.txt文件，如果搜索引擎蜘蛛找到這個(gè)文件，它就會(huì )根據這個(gè)文件的內容，來(lái)確定它訪(fǎng)問(wèn)權限的范圍。

　　robots.txt規則

　　該文件中的記錄通常以一行或多行User-agent開(kāi)始，后面加上若干Disallow行,詳細情況如下：

　　User-agent:

　　該項的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多條User-agent記錄說(shuō)明有多個(gè)robot會(huì )受到該協(xié)議的限制，對該文件來(lái)說(shuō)，至少要有一條User-agent記錄。如果該項的值設為*，則該協(xié)議對任何機器人均有效，在"robots.txt"文件中，"User-agent:*"這樣的記錄只能有一條。

　　Disallow:

　　該項的值用于描述不希望被訪(fǎng)問(wèn)到的一個(gè)URL，這個(gè)URL可以是一條完整的路徑，也可以是部分的，任何以Disallow開(kāi)頭的URL均不會(huì )被robot訪(fǎng)問(wèn)到。例如"Disallow:/help"對/help.html 和/help/index.html都不允許搜索引擎訪(fǎng)問(wèn)，而"Disallow:/help/"則允許robot訪(fǎng)問(wèn)/help.html，而不能訪(fǎng)問(wèn)/help/index.html。任何一條Disallow記錄為空，說(shuō)明該網(wǎng)站的所有部分都允許被訪(fǎng)問(wèn)，在"/robots.txt"文件中，至少要有一條Disallow記錄。如果"/robots.txt"是一個(gè)空文件，則對于所有的搜索引擎robot，該網(wǎng)站都是開(kāi)放的。

　　Allow:

　　該項的值用于描述希望被訪(fǎng)問(wèn)的一組URL，與Disallow項相似，這個(gè)值可以是一條完整的路徑，也可以是路徑的前綴，以Allow項的值開(kāi)頭的URL是允許robot訪(fǎng)問(wèn)的。例如"Allow:/baidu"允許robot訪(fǎng)問(wèn)/baidu.htm、/baiducom.html、/baidu/com.html。一個(gè)網(wǎng)站的所有URL默認是Allow的，所以Allow通常與Disallow搭配使用，實(shí)現允許訪(fǎng)問(wèn)一部分網(wǎng)頁(yè)同時(shí)禁止訪(fǎng)問(wèn)其它所有URL的功能。