建站
咨詢
售后
建站咨詢
新聞中心
這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)碛嘘P(guān)Python爬取世紀(jì)佳緣的數(shù)據(jù)是否能證明它不靠譜的示例分析，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。
創(chuàng)新互聯(lián)企業(yè)建站,10年網(wǎng)站建設(shè)經(jīng)驗(yàn)，專注于網(wǎng)站建設(shè)技術(shù)，精于網(wǎng)頁設(shè)計(jì)，有多年建站和網(wǎng)站代運(yùn)營(yíng)經(jīng)驗(yàn)，設(shè)計(jì)師為客戶打造網(wǎng)絡(luò)企業(yè)風(fēng)格，提供周到的建站售前咨詢和貼心的售后服務(wù)。對(duì)于網(wǎng)站建設(shè)、成都網(wǎng)站制作中不同領(lǐng)域進(jìn)行深入了解和探索，創(chuàng)新互聯(lián)在網(wǎng)站建設(shè)中充分了解客戶行業(yè)的需求，以靈動(dòng)的思維在網(wǎng)頁中充分展現(xiàn)，通過對(duì)客戶行業(yè)精準(zhǔn)市場(chǎng)調(diào)研，為客戶提供的解決方案。
前言
今天在知乎上看到一個(gè)關(guān)于【世紀(jì)佳緣找對(duì)象靠譜嗎？】的討論，其中關(guān)注的人有1903，被瀏覽了1940753次，355個(gè)回答中大多數(shù)都是不靠譜。用Python爬取世紀(jì)佳緣的數(shù)據(jù)是否能證明它的不靠譜？
翻了幾頁找到一個(gè)search_v2.php的鏈接，它的返回值是一個(gè)不規(guī)則的json串，其中包含了昵稱，性別，是否婚配，匹配條件等等
通過url +參數(shù)的get方式，抓取了10000頁的數(shù)據(jù)總計(jì)240116
需要安裝的模塊有openpyxl，用于過濾特殊的字符
# coding:utf-8
import csv
import json
import requests
from openpyxl.cell.cell import ILLEGAL_CHARACTERS_RE
import re
line_index = 0
def fetchURL(url):
headers = {
'accept': '*/*',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36',
'Cookie': 'guider_quick_search=on; accessID=20201021004216238222; PHPSESSID=11117cc60f4dcafd131b69d542987a46; is_searchv2=1; SESSION_HASH=8f93eeb87a87af01198f418aa59bccad9dbe5c13; user_access=1; Qs_lvt_336351=1603457224; Qs_pv_336351=4391272815204901400%2C3043552944961503700'
}
r = requests.get(url, headers=headers)
r.raise_for_status()
return r.text.encode("gbk", 'ignore').decode("gbk", "ignore")
def parseHtml(html):
html = html.replace('\\', '')
html = ILLEGAL_CHARACTERS_RE.sub(r'', html)
s = json.loads(html,strict=False)
global line_index
userInfo = []
for key in s['userInfo']:
line_index = line_index + 1
a = (key['uid'],key['nickname'],key['age'],key['work_location'],key['height'],key['education'],key['matchCondition'],key['marriage'],key['shortnote'].replace('\n',' '))
userInfo.append(a)
with open('sjjy.csv', 'a', newline='') as f:
writer = csv.writer(f)
writer.writerows(userInfo)
if __name__ == '__main__':
for i in range(1, 10000):
url = 'http://search.jiayuan.com/v2/search_v2.php?key=&sex=f&stc=23:1,2:20.30&sn=default&sv=1&p=' + str(i) + '&f=select&listStyle=bigPhoto'
html = fetchURL(url)
print(str(i) + '頁' + str(len(html)) + '*********' * 20)
parseHtml(html)二，去重
在處理數(shù)據(jù)去掉重復(fù)的時(shí)候發(fā)現(xiàn)有好多重復(fù)的，還以為是代碼寫的有問題呢，查了好久的bug最后才發(fā)現(xiàn)網(wǎng)站在100頁上只有數(shù)據(jù)有好多重復(fù)的，下面兩個(gè)圖分別是110頁數(shù)據(jù)和111頁數(shù)據(jù)，是不是有很多熟面孔。
110頁數(shù)據(jù)
111頁數(shù)據(jù)
過濾重復(fù)后的數(shù)據(jù)只剩下 1872 了，這個(gè)水分還真大
def filterData():
filter = []
csv_reader = csv.reader(open("sjjy.csv", encoding='gbk'))
i = 0
for row in csv_reader:
i = i + 1
print('正在處理：' + str(i) + '行')
if row[0] not in filter:
filter.append(row[0])
print(len(filter))上述就是小編為大家分享的Python爬取世紀(jì)佳緣的數(shù)據(jù)是否能證明它不靠譜的示例分析了，如果剛好有類似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
網(wǎng)頁標(biāo)題：Python爬取世紀(jì)佳緣的數(shù)據(jù)是否能證明它不靠譜的示例分析
標(biāo)題來源：http://ef60e0e.cn/article/jhcgoj.html
