字段login_place，一共267725行記錄,隨機(jī)15條記錄如下：
后續(xù)數(shù)據(jù)分析工作需要用到地理維度進(jìn)行分析，所以需要把login_place字段進(jìn)行拆分成：國家、省份、地區(qū)。
第三方中文分詞庫：jieba，可以對文本進(jìn)行拆分。使用參考資料：jieba庫的使用。
初步方案：
代碼：（抽取1000條記錄，看一下我這臺(tái)機(jī)器的運(yùn)行時(shí)間）
%%time
# 地區(qū)拆分
for i in range(1000):
list_word=[word for word in jieba.cut(df.iloc[i,0])]
if len(list_word)==1:
if '中國' in df.iloc[i,0]:
df.loc[i,'國家']=df.iloc[i,0][0:2]
df.loc[i,'省份']=df.iloc[i,0][2:]
else:
df.loc[i,'國家']=df.iloc[i,0]
elif len(list_word)==2:
df.loc[i,'國家']=list_word[0]
df.loc[i,'省份']=list_word[1]
else:
df.loc[i,'國家']=list_word[0]
df.loc[i,'省份']=list_word[1]
df.loc[i,'地區(qū)']=list_word[2]
if i%100==0:
print(f'{round(i*100/(int(1000)),2)}%')
1000條用了1min 37秒。如果全部進(jìn)行數(shù)據(jù)解析等待時(shí)間應(yīng)該很久很久。有很多重復(fù)的記錄，這里先去重，再跑一次代碼。
去重之后，只有404不重復(fù)的記錄。
再跑一遍代碼，并且把結(jié)果保存到本地文件‘df_test.xlsx'。便于查看jieba第三方分詞庫對本次數(shù)據(jù)拆分是不是想要的結(jié)果。
國家：
‘國家'這一列，中國臺(tái)灣沒有拆分出來。
代碼試了一下，發(fā)現(xiàn)‘中國臺(tái)灣'確實(shí)拆分不了。證實(shí)了臺(tái)灣確實(shí)中國不可缺失的一部分。
省份：
‘省份'這一列拆分的更加糟糕。
總結(jié)：總數(shù)據(jù)集運(yùn)行時(shí)間長，切詞不準(zhǔn)確。需要優(yōu)化拆分方案！
在上面查看Excel文件時(shí)候發(fā)現(xiàn)‘login_place'字段的數(shù)據(jù)有以下特點(diǎn)：
優(yōu)化方案：
%%time
# 地區(qū)拆分
for i in range(df.shape[0]):
if '中國' in df.iloc[i,0] :
df.loc[i,'國家'] = '中國'
if ('內(nèi)蒙古' in df.iloc[i,0]) or ('黑龍江' in df.iloc[i,0]):
# print(df.iloc[i,0])
df.loc[i,'省份'] = df.iloc[i,0][2:5]
if len(df.iloc[i,0]) > 5:
df.loc[i,'地區(qū)'] = df.iloc[i,0][5:]
else:
df.loc[i,'省份'] = df.iloc[i,0][2:4]
df.loc[i,'地區(qū)'] = df.iloc[i,0][4:]
else:
list_word = [word for word in jieba.cut(df.iloc[i,0])]
if len(list_word) == 1:
df.loc[i,'國家'] = df.iloc[i,0][0:2]
df.loc[i,'省份'] = df.iloc[i,0][2:]
else:
df.loc[i,'國家'] = list_word[0]
df.loc[i,'省份'] = list_word[1]
if i%100==0:
print(f'{round(i*100/(int(df.shape[0])),2)}%')
保存Excel文件，再次查看拆分情況。經(jīng)過去重后的測試集拆分符合想要的結(jié)果。
運(yùn)行未去重源數(shù)據(jù)集結(jié)果：
到此這篇關(guān)于pandas數(shù)據(jù)處理清洗實(shí)現(xiàn)中文地址拆分案例的文章就介紹到這了,更多相關(guān)pandas 中文地址拆分內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
標(biāo)簽：清遠(yuǎn) 吉林 長春 泉州 岳陽 洛陽 怒江 安慶
巨人網(wǎng)絡(luò)通訊聲明：本文標(biāo)題《pandas數(shù)據(jù)處理清洗實(shí)現(xiàn)中文地址拆分案例》，本文關(guān)鍵詞 pandas,數(shù)據(jù)處理,清洗,實(shí)現(xiàn),；如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題，煩請?zhí)峁┫嚓P(guān)信息告之我們，我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò)，涉及言論、版權(quán)與本站無關(guān)。
