蜘蛛會(huì)不會(huì)抓取百度推廣鏈接?今日發(fā)現(xiàn)百度統(tǒng)計(jì)的SEO建議要求修改百度推廣鏈接后面的谷歌分析參數(shù),說是“在靜態(tài)頁面上使用動(dòng)態(tài)參數(shù),會(huì)造成spider多次和重復(fù)抓取”。
但是推廣鏈接并不是24小時(shí)都存在的,百度蜘蛛是否真的會(huì)抓取推廣鏈接?
自己解決了。
查看了下百度首頁的robots.txt,發(fā)現(xiàn)百度禁止了蜘蛛抓取百度……
User-agent: Baiduspider
Disallow: /baidu
Disallow: /s?
所以推廣鏈接是不會(huì)被百度蜘蛛抓取到的。
【 微信掃一掃 】