Search
終於收到最新剛出爐的
TQC+的Python3 網頁擷取與分析證照，
這是我的TQC+ Python3的第二張證照，
是1/23日考的，隔了約一個月收到。
考試主要是用Python3考四類：
第一類考CSV、XML、JSON之讀取與寫入
第二類考網頁資料擷取與轉換
第三類考numpy 與 pandas
第四類考matplotlib視覺圖表
似乎可以把課程融入課程，但資料庫部分考的不多，
SQLite只有一題，更沒有MYSQL，有點可惜。
另外，原本以為會很難，
結果只考填空題，似乎不是那麼困難。
年後要加薪或是換跑道，
也許先考一張，會更有機會。
終於收到最新剛出爐的
TQC+的Python3 網頁擷取與分析證照，
這是我的TQC+ Python3的第二張證照，
是1/23日考的，隔了約一個月收到。
考試主要是用Python3考四類：
第一類考CSV、XML、JSON之讀取與寫入
第二類考網頁資料擷取與轉換
第三類考numpy 與 pandas
第四類考matplotlib視覺圖表
似乎可以把課程融入課程，但資料庫部分考的不多，
SQLite只有一題，更沒有MYSQL，有點可惜。
另外，原本以為會很難，
結果只考填空題，似乎不是那麼困難。
年後要加薪或是換跑道，
也許先考一張，會更有機會。
VBA到Python程式2019開發2班第12次402市場成交行情與開檔方式&403月份統計長條圖與圓餅圖&長條圖與圓餅圖繪製多圖表&404成績統計長條圖&住宅案件統計樞紐分析表&讀取CSV檔&405樣本直方圖與散佈圖&301學生成績與產生Data Frame&讀寫EXCEL檔案到DataFrame)
01_重點回顧與繪製圖表
02_402市場成交行情與開檔方式
03_403月份統計長條圖與圓餅圖
04_長條圖與圓餅圖繪製多圖表
05_404 成績統計長條圖(讀取CSV與計算筆數)
06_補充台北市住宅案件統計樞紐分析表
07_安裝pandas與讀取CSV檔
08_405樣本直方圖與散佈圖
09_301學生成績與產生Data Frame
10_301學生成績改為外部讀取CSV
11_傳遞參數說明與讀寫EXCEL檔案到DataFrame
完整影音
http://goo.gl/aQTMFS
教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/tcfst_python_2019_2
懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524
[初階]從VBA的自動化到PYTHON網路爬蟲應用
01 建置Python開發環境 3
02 基本語法與結構控制 3
03 迴圈敘述演示與資料結構及函式 3
04 檔案處理與SQLite資料庫處理 6
05 TQC+Python證照第1、2、3類：
基本程式設計與選擇敘述與迴圈敘述 12
06 TQC+Python證照第4、5類：
進階控制流程與函式(Function) 9
[進階]網頁資料擷取、分析與資料視覺化能力
07 網頁資料擷取與分析 3
09 實戰：處理 CSV 檔和 JSON 資料 3
10 實戰：PM2.5即時監測顯示器轉存資料庫 3
11 實戰：下載台銀外匯、下載YAHOO股市類股 3
12 實戰：下載威力彩開獎結果 3
13 TQC+Python 3網頁資料擷取與分析第1類：資料處理能力 3
14 TQC+Python 3第2類：網頁資料擷取與轉換 6
15 TQC+Python 3第3類：資料分析能力 6
16 TQC+Python 3第4類：資料視覺化能力 6
上課用書：
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者： 鄧文淵/總監製, 文淵閣工作室/編著
出版社：碁峰? 出版日期：2016/11/29
吳老師 108/6/21
EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境,資料視覺化
VBA到Python程式2019開發2班第12次402市場成交行情與開檔方式&403月份統計長條圖與圓餅圖&長條圖與圓餅圖繪製多圖表&404成績統計長條圖&住宅案件統計樞紐分析表&讀取CSV檔&405樣本直方圖與散佈圖&301學生成績與產生Data Frame&讀寫EXCEL檔案到DataFrame)
01_重點回顧與繪製圖表
02_402市場成交行情與開檔方式
03_403月份統計長條圖與圓餅圖
04_長條圖與圓餅圖繪製多圖表
05_404 成績統計長條圖(讀取CSV與計算筆數)
06_補充台北市住宅案件統計樞紐分析表
07_安裝pandas與讀取CSV檔
08_405樣本直方圖與散佈圖
09_301學生成績與產生Data Frame
10_301學生成績改為外部讀取CSV
11_傳遞參數說明與讀寫EXCEL檔案到DataFrame
完整影音
http://goo.gl/aQTMFS
教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/tcfst_python_2019_2
懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524
[初階]從VBA的自動化到PYTHON網路爬蟲應用
01 建置Python開發環境 3
02 基本語法與結構控制 3
03 迴圈敘述演示與資料結構及函式 3
04 檔案處理與SQLite資料庫處理 6
05 TQC+Python證照第1、2、3類：
基本程式設計與選擇敘述與迴圈敘述 12
06 TQC+Python證照第4、5類：
進階控制流程與函式(Function) 9
[進階]網頁資料擷取、分析與資料視覺化能力
07 網頁資料擷取與分析 3
09 實戰：處理 CSV 檔和 JSON 資料 3
10 實戰：PM2.5即時監測顯示器轉存資料庫 3
11 實戰：下載台銀外匯、下載YAHOO股市類股 3
12 實戰：下載威力彩開獎結果 3
13 TQC+Python 3網頁資料擷取與分析第1類：資料處理能力 3
14 TQC+Python 3第2類：網頁資料擷取與轉換 6
15 TQC+Python 3第3類：資料分析能力 6
16 TQC+Python 3第4類：資料視覺化能力 6
上課用書：
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者： 鄧文淵/總監製, 文淵閣工作室/編著
出版社：碁峰? 出版日期：2016/11/29
吳老師 108/6/21
EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境,資料視覺化
pandas寫入csv 在 Re: [問題] pandas.to_csv 字串型態的數字- 看板Python - 批踢踢 ... 的美食出口停車場
※ 引述《nepholi (我不是砲哥)》之銘言：
: Hi all,
: 小弟剛接觸Py沒多久
: 經歷只有用google大神邊查邊學基本語法
: 然後只拚出一套暴力型爬蟲
: 所以可能有些東西不知道怎麼查或找錯方向再請各位指教
: 這次要處理一筆資料是excel檔要轉成csv給後續一支正常運作中的C++讀取
: 其中excel的內容為 (以下為虛構)
: 部門 | 卡號 | 名字 | 時間 |
: ABC | 00010 | John | 2019/12/25 08:00:01 |
: ABC | 00011 | Tom | 2019/12/25 08:02:55 |
: ..以此類推
: 用最直接的寫法
: df = pd.read_excel('test.xlsx', usecols="A:D", dtype={'卡號':str})
: 可以成功讀進我想要的資料及型態
: 1.卡號為str (為了保留完整五位數)
: 2.日期為datatime
: 然後
: df.to_csv('hello.csv', index=None, header=True, encoding='utf-8-sig',
: quoting=csv.QUOTE_NONNUMERIC)
: 這句跑完之後產出的csv其中卡號跟日期欄位卻不是我想要的5位數及顯示秒數
: 而是
: 部門 | 卡號 | 名字 | 時間 |
: ABC | 10 | John | 2019/12/25 08:00 |
: ABC | 11 | Tom | 2019/12/25 08:02 |
: 我有想過是不是csv的儲存格格式造成
: 日期的部分證實的確是
: 但卡號的部分被預設為"通用格式"導致我的卡號被去掉了前置0
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
據我所知，如果你在使用 pandas 讀入檔案的時候已經有使用 dtype，
或者在後續操作 dataframe 時，有透過 astype 將資料表內容轉為字串格式的話。
那麼在最後使用 to_csv() 轉換成 csv 格式的純文字檔是不會格式跑掉的。
由於你提到了「通用格式」，那麼最有可能造成被截去前方零位的原因，
是使用了 Excel, Numbers 或是 LibreOffice 這類試算表軟體去打開 csv 檔
如果你沒有特別規定讀入時要進行的格式操作，
這些軟體通常會自作聰明地替你處理。
---
關於 csv 檔，我們可以看一下 Wiki 上面的說明：
逗號分隔值 （CSV, Comma-Separated Values），其檔案以純文字形式儲存表格資
料（數字和文字）。純文字意味著該檔案是一個字元序列，不含必須像二進位數字
那樣被解讀的資料。
因為通常可以用表格形式表現，所以可以用試算表軟體打開，但是本質是純文字
。建議使用純文字的編輯器，比如：記事本、notepad++、Sublime Text 或者是
VS Code 去開，看看這些數值是不是帶有 leading zero，如果有的話就不用管
他了，你轉換的檔案是正確的，只是試算表自己自作聰明而已，對於後續用 C++
操作是不會有影響的。
至於日期的部份，你也可以同樣在讀入時存成字串就不會有這個問題了。
: 不曉得有沒有辦法可以在python的code裡面去設定這個呢
: 我找了pandas的官網說明to_csv但無斬獲
: 不知道是不是我誤會或漏看了..
: 感謝XD
: P.S. 因為C++裡面讀取卡號後並沒有預設要做補0的動作
: 所以希望能在py這部分就處理掉
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.112.247.1 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1577247803.A.76C.html
這好像跟我的理解有所不同，如果是浮點數的話，會取到小數點後的最大有效值
，比如說：
1.903900 -> 1.9049
2.410000 -> 2.41
3.541130 -> 3.54113
如果是整數的話，出來應該依然還是整數而不會被轉換。另一個可能的狀況是由
於有 NaN 的存在所進行的型態轉換：
https://bit.ly/2Qev3Iy
> In the absence of high performance NA support being built into NumPy
> from the ground up, the primary casualty is the ability to represen
> NAs in integer arrays.
>
> This trade-off is made largely for memory and performance reasons,
> and also so that the resulting Series continues to be “numeric”.
>
> If you need to represent integers with possibly missing values, use
> one of the nullable-integer extension dtypes provided by pandas:
>
> Int8Dtype, Int16Dtype, Int32Dtype, Int64Dtype
轉字串應該會比較快一點...
試算表工具可以拿來開啟 csv 檔案，但 csv 檔案並不具備試算表的詳細格式，
這是很多人常常會搞不清楚的，要用試算表開啟 csv 檔案，建議使用匯入的方
式而非直接開啟，除此之外建議保存時另存新檔。
甚至我之前也有遇過 Excel 匯入 csv 之後，他的 parser 抓錯沒有成功匯入的
狀況。
※ 編輯: Hsins (140.112.247.1 臺灣), 12/25/2019 18:26:21
... <看更多>