建站
咨詢
售后
建站咨詢
新聞中心
小編給大家分享一下分享10個(gè)python爬蟲經(jīng)典例子，希望大家閱讀完這篇文章后大所收獲，下面讓我們一起去探討吧！
創(chuàng)新互聯(lián)公司成立以來不斷整合自身及行業(yè)資源、不斷突破觀念以使企業(yè)策略得到完善和成熟，建立了一套“以技術(shù)為基點(diǎn)，以客戶需求中心、市場(chǎng)為導(dǎo)向”的快速反應(yīng)體系。對(duì)公司的主營(yíng)項(xiàng)目，如中高端企業(yè)網(wǎng)站企劃 / 設(shè)計(jì)、行業(yè) / 企業(yè)門戶設(shè)計(jì)推廣、行業(yè)門戶平臺(tái)運(yùn)營(yíng)、手機(jī)APP定制開發(fā)、手機(jī)網(wǎng)站制作設(shè)計(jì)、微信網(wǎng)站制作、軟件開發(fā)、溫江服務(wù)器托管等實(shí)行標(biāo)準(zhǔn)化操作，讓客戶可以直觀的預(yù)知到從創(chuàng)新互聯(lián)公司可以獲得的服務(wù)效果。
python爬蟲例子：首先導(dǎo)入爬蟲的庫，生成一個(gè)response對(duì)象；然后設(shè)置編碼格式，并打印狀態(tài)碼；最后輸出爬取的信息，代碼為【print(response.text)】。
python爬蟲例子：
1.爬取強(qiáng)大的BD頁面，打印頁面信息
# 第一個(gè)爬蟲示例,爬取百度頁面
import requests #導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)
response = requests.get("http://www.baidu.com") #生成一個(gè)response對(duì)象
response.encoding = response.apparent_encoding #設(shè)置編碼格式
print("狀態(tài)碼:"+ str( response.status_code ) ) #打印狀態(tài)碼
print(response.text)#輸出爬取的信息
點(diǎn)擊并拖拽以移動(dòng)2.常用方法之get方法實(shí)例，下面還有傳參實(shí)例
# 第二個(gè)get方法實(shí)例
import requests #先導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)
response = requests.get("http://httpbin.org/get") #get方法
print( response.status_code ) #狀態(tài)碼
print( response.text )
點(diǎn)擊并拖拽以移動(dòng)3. 常用方法之post方法實(shí)例，下面還有傳參實(shí)例
# 第三個(gè) post方法實(shí)例
import requests #先導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)
response = requests.post("http://httpbin.org/post") #post方法訪問
print( response.status_code ) #狀態(tài)碼
print( response.text )
點(diǎn)擊并拖拽以移動(dòng)4. put方法實(shí)例
# 第四個(gè) put方法實(shí)例
import requests #先導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)
response = requests.put("http://httpbin.org/put") # put方法訪問
print( response.status_code ) #狀態(tài)碼
print( response.text )
點(diǎn)擊并拖拽以移動(dòng)5.常用方法之get方法傳參實(shí)例(1)
如果需要傳多個(gè)參數(shù)只需要用&符號(hào)連接即可如下
# 第五個(gè) get傳參方法實(shí)例
import requests #先導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)
response = requests.get("http://httpbin.org/get?name=hezhi&age=20") # get傳參
print( response.status_code ) #狀態(tài)碼
print( response.text )
點(diǎn)擊并拖拽以移動(dòng)6.常用方法之get方法傳參實(shí)例(2)
params用字典可以傳多個(gè)
# 第六個(gè) get傳參方法實(shí)例
import requests #先導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)
data = {
"name":"hezhi",
"age":20
}
response = requests.get( "http://httpbin.org/get" , params=data ) # get傳參
print( response.status_code ) #狀態(tài)碼
print( response.text )
點(diǎn)擊并拖拽以移動(dòng)7.常用方法之post方法傳參實(shí)例(2) 和上一個(gè)有沒有很像
# 第七個(gè) post傳參方法實(shí)例
import requests #先導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)
data = {
"name":"hezhi",
"age":20
}
response = requests.post( "http://httpbin.org/post" , params=data ) # post傳參
print( response.status_code ) #狀態(tài)碼
print( response.text )
點(diǎn)擊并拖拽以移動(dòng)8.關(guān)于繞過反爬機(jī)制，以zh爸爸為例
# 第好幾個(gè)方法實(shí)例
import requests #先導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)
response = requests.get( "http://www.zhihu.com") #第一次訪問知乎，不設(shè)置頭部信息
print( "第一次,不設(shè)頭部信息,狀態(tài)碼:"+response.status_code )# 沒寫headers，不能正常爬取，狀態(tài)碼不是 200
#下面是可以正常爬取的區(qū)別，更改了User-Agent字段
headers = {
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"
}#設(shè)置頭部信息,偽裝瀏覽器
response = requests.get( "http://www.zhihu.com" , headers=headers ) #get方法訪問,傳入headers參數(shù)，
print( response.status_code ) # 200！訪問成功的狀態(tài)碼
print( response.text )
點(diǎn)擊并拖拽以移動(dòng)9.爬取信息并保存到本地,
因?yàn)槟夸涥P(guān)系，在D盤建立了一個(gè)叫做爬蟲的文件夾，然后保存信息
注意文件保存時(shí)的encoding設(shè)置
# 爬取一個(gè)html并保存
import requests
url = "http://www.baidu.com"
response = requests.get( url )
response.encoding = "utf-8" #設(shè)置接收編碼格式
print("\nr的類型" + str( type(response) ) )
print("\n狀態(tài)碼是:" + str( response.status_code ) )
print("\n頭部信息:" + str( response.headers ) )
print( "\n響應(yīng)內(nèi)容:" )
print( response.text )
#保存文件
file = open("D:\\爬蟲\\baidu.html","w",encoding="utf") #打開一個(gè)文件，w是文件不存在則新建一個(gè)文件，這里不用wb是因?yàn)椴挥帽４娉啥M(jìn)制
file.write( response.text )
file.close()
點(diǎn)擊并拖拽以移動(dòng)10.爬取圖片，保存到本地
#保存百度圖片到本地
import requests #先導(dǎo)入爬蟲的庫，不然調(diào)用不了爬蟲的函數(shù)
response = requests.get("/upload/otherpic52/baidu_jgylogo3.gif") #get方法的到圖片響應(yīng)
file = open("D:\\爬蟲\\baidu_logo.gif","wb") #打開一個(gè)文件,wb表示以二進(jìn)制格式打開一個(gè)文件只用于寫入
file.write(response.content) #寫入文件
file.close()#關(guān)閉操作，運(yùn)行完畢后去你的目錄看一眼有沒有保存成功看完了這篇文章，相信你對(duì)分享10個(gè)python爬蟲經(jīng)典例子有了一定的了解，想了解更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！
網(wǎng)站題目：分享10個(gè)python爬蟲經(jīng)典例子
分享路徑：http://ef60e0e.cn/article/gsjeds.html
