Pandas實戰(zhàn)——靈活使用pandas基礎(chǔ)知識輕松處理不規(guī)則數(shù)據(jù)
回復(fù)“書籍”即可獲贈Python從入門到進階共10本電子書
今
日
雞
湯
劍閣崢嶸而崔嵬,一夫當(dāng)關(guān),萬夫莫開。大家好,我是皮皮。
一、前言前幾天在Python最強王者群【wen】問了一個pandas數(shù)據(jù)合并處理的問題,一起來看看吧。他的原始數(shù)據(jù)如下所示:
然后預(yù)期的結(jié)果如下所示:
二、實現(xiàn)過程這里【瑜亮老師】給了一個指導(dǎo)如下:原始數(shù)據(jù)中包含所有所需的信息,但是因為源系統(tǒng)導(dǎo)出的格式問題,有些數(shù)據(jù)被分配到了合并行中,并且每個單獨的表中都是統(tǒng)一格式。
源數(shù)據(jù)中"商品", "單價", "支付方式", "銷售地", "銷量"是已經(jīng)處理好的數(shù)據(jù),不需要單獨處理。需要獲取的信息是"平臺", "商戶", "賬號",這三個均在合并行中,群友的建議都是使用re正則表達式獲取。
獲取到上面數(shù)據(jù)后,還需要刪掉多余的行。仔細觀察原始表格我們可以發(fā)現(xiàn):每個單獨表格是由一個平臺、商戶、賬號所查詢的,且所需平臺、商戶、賬號數(shù)據(jù)分布在合并行中,而這些合并行在被pandas讀取后會形成只有第一列有數(shù)值,其他列為NaN的情況。
處理過后的格式情況如下:
這就給了我們?nèi)サ暨@些合并行的簡便方法:dropna。
而用正則獲取到的平臺、商戶、賬號只有一行,需要對數(shù)據(jù)進行向下填充空值。而pandas中fillna(method="ffill")即可實現(xiàn)使用前值去填充下面空值的需求。最后,瑜亮老師出手,實現(xiàn)需求,代碼如下:
importpandasaspd
#讀取Excel文件
df=pd.read_excel("20230812.xlsx",header=None)
#去除重復(fù)行
df=df.drop_duplicates(ignore_index=False).reset_index(drop=True)
#根據(jù)正則表達式獲取“賬號”,“平臺”,“商戶”
df["賬號"]=df[0].str.extract(r"賬號:(\d+)",expand=False).fillna(method="ffill")
df["平臺"]=df[0].str.extract(r"平臺:(.*?),",expand=False).fillna(method="ffill")
df["商戶"]=df[0].str.extract(r"商戶:(.*?),",expand=False).fillna(method="ffill")
#去除含有空值的行(即excel中所有的合并行
df=df.dropna().reset_index(drop=True)
#設(shè)置df的列名
df.columns=["商品","單價","支付方式","銷售地","銷量","賬號","平臺","商戶"]
df=df[["平臺","商戶","賬號","商品","單價","支付方式","銷售地","銷量"]]
print(df)
代碼運行后的結(jié)果如下:
完美實現(xiàn)群友的需求!
三、總結(jié)大家好,我是皮皮。這篇文章主要盤點了一個Pandas數(shù)據(jù)合并處理問題,文中針對該問題,給出了具體的解析和代碼實現(xiàn),幫助粉絲順利解決了問題。
最后感謝粉絲【wen】提問,感謝【瑜亮老師】給出的思路和代碼解析,感謝【莫生氣】等人參與學(xué)習(xí)交流。
【提問補充】溫馨提示,大家在群里提問的時候??梢宰⒁庀旅鎺c:如果涉及到大文件數(shù)據(jù),可以數(shù)據(jù)脫敏后,發(fā)點demo數(shù)據(jù)來(小文件的意思),然后貼點代碼(可以復(fù)制的那種),記得發(fā)報錯截圖(截全)。代碼不多的話,直接發(fā)代碼文字即可,代碼超過50行這樣的話,發(fā)個.py文件就行。
大家在學(xué)習(xí)過程中如果有遇到問題,歡迎隨時聯(lián)系我解決(我的微信:pdcfighting1),應(yīng)粉絲要求,我創(chuàng)建了一些ChatGPT機器人交流群和高質(zhì)量的Python付費學(xué)習(xí)交流群和付費接單群,歡迎大家加入我的Python學(xué)習(xí)交流群和接單群!
小伙伴們,快快用實踐一下吧!如果在學(xué)習(xí)過程中,有遇到任何問題,歡迎加我好友,我拉你進Python學(xué)習(xí)交流群共同探討學(xué)習(xí)。
-------------------End-------------------
往期精彩文章推薦:
if a and b and c and d:這種代碼有優(yōu)雅的寫法嗎?
Pycharm和Python到底啥關(guān)系?
都說chatGPT編程怎么怎么厲害,今天試了一下,有個靜態(tài)網(wǎng)頁,chatGPT居然沒搞定?
站不住就準備加倉,這個pandas語句該咋寫?
歡迎大家點贊,留言,轉(zhuǎn)發(fā),轉(zhuǎn)載,感謝大家的相伴與支持
想加入Python學(xué)習(xí)群請在后臺回復(fù)【入群】
萬水千山總是情,點個【在看】行不行
/今日留言主題/
隨便說一兩句吧~~
關(guān)鍵詞:
相關(guān)閱讀
-
Pandas實戰(zhàn)——靈活使用pandas基礎(chǔ)知識...
點擊上方“Python爬蟲與數(shù)據(jù)挖掘”,進行關(guān)注回復(fù)“書籍”即可獲贈P... -
使用Pandas返回每個個體/記錄中屬性為1...
點擊上方“Python爬蟲與數(shù)據(jù)挖掘”,進行關(guān)注回復(fù)“書籍”即可獲贈P... -
如何快速做出高級感 BI 大屏?讀完這...
在當(dāng)今這個數(shù)據(jù)驅(qū)動的時代,BI大屏成為了大部分公司企業(yè)展示數(shù)據(jù),洞察 -
只需五步,就能設(shè)計出令人驚嘆的PowerBI
相信許多小伙伴在設(shè)計PowerBI報告的時候是很頭疼的,比如我們有這樣一 -
如何修改 Power BI 中的主題
PowerBI是一款強大的商業(yè)分析工具,可以幫助我們從各種來源中可視化和 -
鋰礦又?跌了
鋰礦最大的終端需求是電動車。先看看7月的電動車數(shù)據(jù)。分品牌看:比亞