設(shè)置好robots文件對SEO優(yōu)化的重要性
robots文件是網(wǎng)站非常重要的一個優(yōu)化部分,這個方面往往制約著網(wǎng)站的成敗,這當(dāng)然是網(wǎng)站優(yōu)化非常細(xì)節(jié)的一個方面,不過往往細(xì)節(jié)決定成敗,很多人卻沒有意識到這一點,希望通過下面的介紹,大家都會明白這方面的重要性。
一、robots文件是用來干什么的?
其實這個文件是一種協(xié)議,所有的搜索引擎蜘蛛進(jìn)入網(wǎng)站的時候第一個訪問的就是這個文件,具體的.作用就是用來我們站長自由設(shè)置哪些文件可以抓取,哪些不能抓取。
二、robots文件設(shè)置的格式:
User-agent: 定義搜索引擎的類型;
Crawl-delay: 定義抓取延遲
Disallow:定義禁止搜索引擎收錄的地址
Allow: 定義允許搜索引擎收錄的地址
三、為什么說robots文件對SEO非常重要?
1.網(wǎng)站優(yōu)化切忌的就是重復(fù)或者相似的頁面,而搜索引擎瀏覽一個網(wǎng)站不是像人那樣的,靠的還是蜘蛛的抓取。但是不少人沒有重視的是,現(xiàn)在的主流網(wǎng)站程序都很容易自動產(chǎn)生一些沒用的頁面,比如緩存頁面,搜索頁面,feed頁面等等,這些頁面內(nèi)容往往和主體內(nèi)容相重復(fù),而且沒有什么用,如果不小心被蜘蛛抓到,那么對網(wǎng)站排名會有非常嚴(yán)重的負(fù)面影響,很多網(wǎng)站之所以沒有排名,就是因為搜索引擎發(fā)現(xiàn)了網(wǎng)站存在大量的重復(fù)或者相似的頁面。
2.搜索引擎喜歡原創(chuàng)內(nèi)容,這是眾所周知的事情,而這一方面并不是單單是指網(wǎng)站文章的原創(chuàng)度,另一方面網(wǎng)站模板的原創(chuàng)度也是非常重要的評分點,所以如果自己網(wǎng)站的模板不是原創(chuàng),最好要屏蔽css目錄和模板目錄。
3.利用robots文件可以用來屏蔽一些沒有用的頁面,比如隱私頁面,后臺登陸頁面,圖片目錄等內(nèi)容,或者屏蔽其他的一些網(wǎng)站關(guān)鍵詞無關(guān)的頁面。
4.可以大大的增強(qiáng)蜘蛛網(wǎng)站的爬取效率,與網(wǎng)站的內(nèi)鏈有異曲同工之用,幫助搜索引擎理解哪些才是網(wǎng)站最重要的內(nèi)容,不再浪費到其它的那些無用的頁面上。
【設(shè)置好robots文件對SEO優(yōu)化的重要性】相關(guān)文章:
利于SEO網(wǎng)站優(yōu)化的設(shè)置08-14
SEO優(yōu)化技巧08-26
SEO優(yōu)化策略08-18
seo標(biāo)簽優(yōu)化08-16
seo優(yōu)化通用的方法11-20
SEO日常優(yōu)化的建議08-21