蜘蛛為什么會(huì)抓取純文本鏈接的URL
2013/9/27 14:22:17 閱讀:1788
發(fā)布者:1788
百度為什么會(huì)抓取純文本鏈接的URL呢?今天我們就這個(gè)問題來探討下。
1,文本鏈接url地址,百度會(huì)發(fā)現(xiàn)他是一個(gè)url地址并通過這個(gè)地址到相應(yīng)的url地址上去抓取。
2,我們對(duì)鏈接是否應(yīng)該傳遞權(quán)重,唯一的判斷標(biāo)準(zhǔn)是:這個(gè)鏈接是否用戶or對(duì)方網(wǎng)站真心推薦你的網(wǎng)站、這個(gè)推薦,是否對(duì)用戶有價(jià)值。
3,這個(gè)鏈接所指向的網(wǎng)站是否包含不友好的內(nèi)容信息。