怎樣減少無效URL的爬行-解決方案
昆信通昆山網(wǎng)絡(luò)公司簡單說一個普遍存在而且現(xiàn)實(shí)的SEO問題:很多網(wǎng)站,尤其是B2C,產(chǎn)品條件過濾系統(tǒng)(如選擇產(chǎn)品的品牌、價格、尺寸、性能、參數(shù)等)會產(chǎn)生大量無效URL,之所以稱為無效只是從SEO角度看的,這些URL并不能產(chǎn)生SEO作用,反倒有負(fù)面作用,所以這些URL不收錄為好,原因包括五點(diǎn):
第一點(diǎn):大量過濾條件頁面內(nèi)容重復(fù)或極為類似(大量復(fù)制內(nèi)容將使網(wǎng)站整體質(zhì)量下降)
第二點(diǎn):大量過濾條件頁面沒有對應(yīng)產(chǎn)品,頁面無內(nèi)容(如選擇“100元以下42寸LED電視”之類的)
第三點(diǎn):絕大部分過濾條件頁面沒有排名能力(排名能力比分類頁面低得多)卻浪費(fèi)一定權(quán)重
第四點(diǎn):這些過濾條件頁面也不是產(chǎn)品頁面收錄的必要通道(產(chǎn)品頁面應(yīng)該有其它內(nèi)鏈幫助爬行和收錄)
第五點(diǎn):爬行大量過濾條件頁面極大浪費(fèi)蜘蛛爬行時間,造成有用頁面收錄機(jī)會下降(過濾條件頁面組合起來是巨量的)
那么怎樣盡量使這些URL不被爬行和索引、收錄呢?前幾天的一篇帖子如何隱藏內(nèi)容也可能成為SEO問題討論的是類似問題,這種過濾頁面就是想隱藏的內(nèi)容種類之一。不過可惜,我目前想不出完美的解決方法。昆山網(wǎng)絡(luò)公司提出兩個方法,我覺得都無法完美解決。
第一個方法,是將不想收錄的URL保持為動態(tài)URL,甚至故意越動態(tài)越好,以阻止被爬行和收錄。但是,搜索引擎現(xiàn)在都能爬行、收錄動態(tài)URL,而且技術(shù)上越來越不是問題。雖然參數(shù)多到一定程度確實(shí)不利于收錄,但4、5個參數(shù)通常還可以收錄。我們無法確認(rèn)需要多少參數(shù)才能阻止收錄,所以不能當(dāng)作一個可靠的方法。而且這些URL接收內(nèi)鏈,又沒有什么排名能力,還是會浪費(fèi)一定權(quán)重。
第二個方法,robots禁止收錄。同樣,URL接收了內(nèi)鏈也就接收了權(quán)重,robots文件禁止爬行這些URL,所以接收的權(quán)重不能傳遞出去(搜索引擎不爬行就不知道有什么導(dǎo)出鏈接),頁面成為權(quán)重只進(jìn)不出的黑洞。
連向這些URL的鏈接配合nofollow也不完美,和robots禁止類似,nofollow在Google的效果是這些URL沒有接收權(quán)重,權(quán)重卻也沒有被分配到其它鏈接上,所以權(quán)重同樣浪費(fèi)了。百度據(jù)稱支持nofollow,但權(quán)重怎么處理未知。
將這些URL鏈接放在Flash、JS里也沒有用,搜索引擎已經(jīng)可以爬行Flash、JS里的鏈接,而且估計(jì)以后越來越擅長爬。很多SEO忽略了的一點(diǎn)是,JS中的鏈接不僅能被爬,也能傳遞權(quán)重,和正常連接一樣。
也可以將過濾條件鏈接做成AJAX形式,用戶點(diǎn)擊后不會訪問一個新的URL,還是在原來URL上,URL后面加了#,不會被當(dāng)成不同URL。和JS問題一樣,搜索引擎正在積極嘗試爬行、抓取AJAX里的內(nèi)容,這個方法也不保險。
目前比較好的方法之一是iframe+robots禁止。將過濾部分代碼放進(jìn)iframe,等于調(diào)用其它文件內(nèi)容,對搜索引擎來說,這部分內(nèi)容不屬于當(dāng)前頁面,也即隱藏了內(nèi)容。但不屬于當(dāng)前頁面不等于不存在,搜索引擎是可以發(fā)現(xiàn)iframe中的內(nèi)容和鏈接的,還是可能爬行這些URL,所以加robots禁止爬行。iframe中的內(nèi)容還是會有一些權(quán)重流失,但因?yàn)閕frame里的鏈接不是從當(dāng)前頁面分流權(quán)重,而只是從調(diào)用的那個文件分流,所以權(quán)重流失是比較少的。除了排版、瀏覽器兼容性之類的頭疼問題,iframe方法的一個潛在問題是被認(rèn)為作弊的風(fēng)險。現(xiàn)在搜索引擎一般不認(rèn)為iframe是作弊,很多廣告就是放在iframe中,但隱藏一堆鏈接和隱藏廣告有些微妙的區(qū)別。回到搜索引擎判斷作弊的總原則上,很難說這不是專門為搜索引擎做的。記得Matt Cutts說過,Google以后可能改變處理iframe的方式,他們還是希望在同一個頁面上看到普通用戶能看到的所有內(nèi)容。
總之,對這個現(xiàn)實(shí)、嚴(yán)重的問題,昆信通昆山網(wǎng)絡(luò)公司目前沒有自己覺得完美的答案。當(dāng)然,不能完美解決不是就不能活了,不同網(wǎng)站SEO重點(diǎn)不同,具體問題具體分析,采用上述方法中的一種或幾種應(yīng)該可以解決主要問題。