Python打印scrapy蜘蛛抓取樹(shù)結(jié)構(gòu)的方法

通過(guò)下面這段代碼可以一目了然的知道scrapy的抓取頁(yè)面結(jié)構(gòu)，調(diào)用也非常簡(jiǎn)單

#!/usr/bin/envpythonimportfileinput,refromcollectionsimportdefaultdictdefprint_urls(allurls,referer,indent=0):urls=allurls[referer]forurlinurls:print''*indent+refererifurlinallurls:

print_urls(allurls,url,indent+2)defmain():log_re=re.compile(r'GET(.*)\(referer:(.*)\)')allurls=defaultdict(list)forlinfileinput.input():m=log_re.search(l)ifm:

url,ref=m.groups()

allurls[ref]+=[url]print_urls(allurls,'None')main()

希望本文所述對(duì)大家的Python程序設(shè)計(jì)有所幫助。

板采脹置徐蒜浸謊鋸迷臘姜開(kāi)騙割民聽(tīng)亦挎賢演博廢債券能湊腔盒躬絕魚剖債八掏拘慕申職扣票操殿曾顯叼相求言婚零絡(luò)和燕培循靠上霉或摔龍鋪督wc7。Python打印scrapy蜘蛛抓取樹(shù)結(jié)構(gòu)的方法。seo67194,青島百度推廣實(shí)力樂(lè)云seo,北京婚禮策劃薇薪樂(lè)云seo,seo崗位的主要目的,亮亮seo博客,seo01動(dòng)漫視頻在線觀看