9月12日百度站長平臺lee撰文介紹了怎樣的網(wǎng)站才是符合搜索抓取習慣的網(wǎng)站。站長們建站時主要應注意:1、簡單明了的網(wǎng)站結構;2、簡潔美觀的url規(guī)則;還有robots文件、sitemap文件等相關因素亦不可忽略。
以下為百度站長平臺lee發(fā)布全文《建立符合搜索抓取習慣的網(wǎng)站》:
1、簡單明了的網(wǎng)站結構
Spider抓取相當于對web這個有向圖進行遍歷,那么一個簡單明了結構層次分明的網(wǎng)站肯定是它所喜歡的,并盡量保證spider的可讀性。
(1)樹型結構最優(yōu)的結構即“首頁—頻道—詳情頁”;
(2)扁平首頁到詳情頁的層次盡量少,既對抓取友好又可以很好的傳遞權重。
(3)網(wǎng)狀保證每個頁面都至少有一個文本鏈接指向,可以使網(wǎng)站盡可能全面的被抓取收錄,內鏈建設同樣對排序能夠產生積極作用。
(4)導航為每個頁面加一個導航方便用戶知曉所在路徑。
(5)子域與目錄的選擇相信有大批的站長對此有疑問,在我們看來,當內容較少并且內容相關度較高時建議以目錄形式來實現(xiàn),有利于權重的繼承與收斂;當內容量較多并且與主站相關度略差時建議再以子域的形式來實現(xiàn)。
2、簡潔美觀的url規(guī)則
(1)唯一性網(wǎng)站中同一內容頁只與唯一一個url相對應,過多形式的url將分散該頁面的權重,并且目標url在系統(tǒng)中有被濾重的風險;
(2)簡潔性動態(tài)參數(shù)盡量少,保證url盡量短;
(3)美觀性使得用戶及機器能夠通過url即可判斷出頁面內容的主旨;
我們推薦如下形式的url:url盡量短且易讀使得用戶能夠快速理解,例如使用拼音作為目錄名稱;同一內容在系統(tǒng)中只產生唯一的url與之對應,去掉無意義的參數(shù);如果無法保證url的唯一性,盡量使不同形式的url301到目標url;防止用戶輸錯的備用域名301至主域名。
3、其他注意事項
(1)不要忽略倒霉的robots文件,默認情況下部分系統(tǒng)robots是封禁搜索引擎抓取的,當網(wǎng)站建立后及時查看并書寫合適的robots文件,網(wǎng)站日常維護過程中也要注意定期檢查;
(2)建立網(wǎng)站sitemap文件、死鏈文件,并及時通過百度站長平臺進行提交;
(3)部分電商網(wǎng)站存在地域跳轉問題,有貨無貨建議統(tǒng)一做成一個頁面,在頁面中標識有無貨即可,不要此地區(qū)無貨即返回一個無效頁面,由于spider出口的有限性將造成正常頁面無法收錄。
(4)合理利用站長平臺提供的robots、sitemap、索引量、抓取壓力、死鏈提交、網(wǎng)站改版等工具。