建站
咨詢
售后
建站咨詢
新聞中心
這篇文章將為大家詳細(xì)講解有關(guān)Link Extractors在python分布式爬蟲中的使用方法，小編覺得挺實(shí)用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。
成都創(chuàng)新互聯(lián)公司公司2013年成立，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項目網(wǎng)站設(shè)計、網(wǎng)站建設(shè)網(wǎng)站策劃，項目實(shí)施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元山陽做網(wǎng)站,已為上家服務(wù),為山陽各地企業(yè)和個人服務(wù),聯(lián)系電話:028-86922220
LinkExtractors
class scrapy.linkextractors.LinkExtractor
Link Extractors 的目的很簡單: 提取鏈接?
每個LinkExtractor有唯一的公共方法是 extract_links()，它接收一個 Response 對象，并返回一個 scrapy.link.Link 對象。
Link Extractors要實(shí)例化一次，并且 extract_links 方法會根據(jù)不同的 response 調(diào)用多次提取鏈接?
class scrapy.linkextractors.LinkExtractor(
allow = (),
deny = (),
allow_domains = (),
deny_domains = (),
deny_extensions = None,
restrict_xpaths = (),
tags = ('a','area'),
attrs = ('href'),
canonicalize = True,
unique = True,
process_value = None
)主要參數(shù)：
allow：滿足括號中“正則表達(dá)式”的值會被提取，如果為空，則全部匹配。
deny：與這個正則表達(dá)式(或正則表達(dá)式列表)不匹配的URL一定不提取。
allow_domains：會被提取的鏈接的domains。
deny_domains：一定不會被提取鏈接的domains。
restrict_xpaths：使用xpath表達(dá)式，和allow共同作用過濾鏈接。
關(guān)于Link Extractors在python分布式爬蟲中的使用方法就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。
標(biāo)題名稱：LinkExtractors在python分布式爬蟲中的使用方法
網(wǎng)站鏈接：http://ef60e0e.cn/article/pogihi.html
