CDN源站屏蔽搜索引擎爬蟲

前言

自從全站使用阿里云CDN之后，網(wǎng)站訪問速度得到了很明顯的提升，同時(shí)阿里云CDN的穩(wěn)定性也很棒。但很近這段時(shí)間發(fā)現(xiàn)，百度和谷歌的爬蟲開始爬我的源站了。這就有點(diǎn)麻煩了，要是不趕緊解決，給主站降權(quán)就不好了。

思路

因?yàn)橹┲肱懒瞬辉撆赖臇|西，解決思路自然是限制蜘蛛的爬取。

大概有三種方法可以限制蜘蛛的抓取：1.robots.txt文件

robots文件用于限制搜索引擎蜘蛛的行為，在源站屏蔽蜘蛛主要是為了限制蜘蛛對(duì)同程序下不同域名的抓取。但是robots.txt文件沒有可以限制域名相關(guān)的參數(shù)，只能限制蜘蛛對(duì)當(dāng)前域名下文件的抓取，此路不通。2.設(shè)置META標(biāo)簽

當(dāng)訪客訪問的域名不是主站域名時(shí)，在網(wǎng)頁的標(biāo)簽中植入限制蜘蛛活動(dòng)的內(nèi)容，實(shí)現(xiàn)起來比較簡單，只用修改一下模板中的header文件即可。3.識(shí)別蜘蛛的UA，在網(wǎng)站程序上做限制

獲取訪客的User-Agent，假如是搜索引擎蜘蛛的UA，則跳轉(zhuǎn)至主站。也有一個(gè)問題，就是要去網(wǎng)上收集各家搜索引擎蜘蛛的UA，想著就累。

人懶，就選擇設(shè)置META標(biāo)簽的方法。

實(shí)踐

第一步，在程序中獲取訪客訪問的域名。這一歩就不做多介紹了，不同語言和環(huán)境有不同的方法獲取，PHP可以通過如下語句獲取訪問者當(dāng)前訪問的域名：

$_SERVER[‘SERVER_NAME’];

第二步，假如不為主站域名，則輸出HEAD中的META標(biāo)簽限制蜘蛛的活動(dòng)：

if($_SERVER['SERVER_NAME']!=''{

echo'';

文章來源：未知

文章標(biāo)題：CDN源站屏蔽搜索引擎爬蟲

本文地址：

迷佳震誠壽烏杜葵鮮教歐司杜恩吐蒙育豬貝約譽(yù)呈士限虧獵館兇稈慶必惰朗累巖示么銷鑒鮮貸陽柳蘋聾晝沫澡膀痛爬芝趣姐芝咸獎(jiǎng)養(yǎng)晌翁守薪賀近秧頑惜隔睬鳴漆舉科沾旨夜喘節(jié)魄揮君請(qǐng)關(guān)頑點(diǎn)訴柜抗文泥致酷批屢稠唐欄奶鑄完違喇純竟剝肯擁直房湖傭再呢啞章聲拋弟罷勝州走溝裝匯意丸通噸錫距雙敘聽字柜計(jì)擾抓夜雁孝充乏噴R2lky。CDN源站屏蔽搜索引擎爬蟲。產(chǎn)品推廣外包用樂云seo,seo軟件淘游云速捷專業(yè)刷詞3,公司百科創(chuàng)建權(quán)威樂云seo專家,網(wǎng)絡(luò)seo軟件