Robots.txt文件看似只有幾行字母，但是其實(shí)有很多細(xì)節(jié)需要注意的。因?yàn)槿绻悴蛔⒁膺@些細(xì)節(jié)，有的語(yǔ)句將不會(huì)發(fā)揮效果，甚至出現(xiàn)反效果。robots.txt文件是搜索引擎進(jìn)入文匯軟件站點(diǎn)后訪問(wèn)的第一個(gè)文件，文匯軟件（濟(jì)南網(wǎng)站建設(shè)）提醒大家robots.txt文件寫(xiě)的好不好直接關(guān)系到站點(diǎn)的seo能否順利進(jìn)行。

1、robots的用法

User-agent：定義進(jìn)制搜索引擎名字，比如說(shuō)：百度（Baiduspider）、谷歌（Googlebot）、360（360Spider）等。*號(hào)代表全部搜索引擎
Disallow：不允許收錄

Allow：允許收錄

案例：

User-agent: * （聲明禁止所有的搜索引擎抓取以下內(nèi)容）

Disallow：/blog/（禁止網(wǎng)站blog欄目下所有的頁(yè)面。比如說(shuō)：/blog/123.html）

Disallow：/api（比如說(shuō)：/apifsdfds/123.html也會(huì)被屏蔽。）

Allow：/blog/12/（一般情況下不需要寫(xiě)Allow的，而我們?cè)诮沟哪夸浵旅?，我們需要讓搜索引擎收錄，那么我們就可以使用Allow，比如說(shuō)我們前面禁止了blog欄目下所有的頁(yè)面，同時(shí)我們想/12/欄目下被收錄，這個(gè)時(shí)候我們就需要通過(guò)Allow來(lái)允許搜索引擎的收錄。）

Disallow：*?*（只要你的路徑里面帶有問(wèn)號(hào)的路徑，那么這條路徑將會(huì)被屏蔽

Disallow：/*.php$（意思是以.php結(jié)尾的路徑全部屏蔽掉。）

對(duì)于robots.txt文件的重要性想必很多站長(zhǎng)都深有體會(huì)。如果濟(jì)南網(wǎng)站建設(shè)不重視這些書(shū)寫(xiě)的小細(xì)節(jié)的不僅會(huì)失去robotss.txt原有的效果，還會(huì)引起不必要的反效果。