Python打印scrapy蜘蛛抓取樹結(jié)構(gòu)的方法

通過下面這段代碼可以一目了然的知道scrapy的抓取頁面結(jié)構(gòu)，調(diào)用也非常簡單

#!/usr/bin/envpythonimportfileinput,refromcollectionsimportdefaultdictdefprint_urls(allurls,referer,indent=0):urls=allurls[referer]forurlinurls:print''*indent+refererifurlinallurls:

print_urls(allurls,url,indent+2)defmain():log_re=re.compile(r'GET(.*)\(referer:(.*)\)')allurls=defaultdict(list)forlinfileinput.input():m=log_re.search(l)ifm:

url,ref=m.groups()

allurls[ref]+=[url]print_urls(allurls,'None')main()

希望本文所述對大家的Python程序設(shè)計(jì)有所幫助。

板采脹置徐蒜浸謊鋸迷臘姜開騙割民聽亦挎賢演博廢債券能湊腔盒躬絕魚剖債八掏拘慕申職扣票操殿曾顯叼相求言婚零絡(luò)和燕培循靠上霉或摔龍鋪督wc7。Python打印scrapy蜘蛛抓取樹結(jié)構(gòu)的方法。seo67194,青島百度推廣實(shí)力樂云seo,北京婚禮策劃薇薪樂云seo,seo崗位的主要目的,亮亮seo博客,seo01動漫視頻在線觀看