Search
在處理財務資料時，最關鍵和最昂貴的部分是什麼？
Pandas 程式碼編輯？建立一些先進的演算法來分析和優化投資組合？建立演算法交易和機器人建議的解決方案？也許吧！但是很多時候是…獲取資料！
金融資料是稀缺的且高等級資料提供商通常收取年費 US$20,000 或更多！
然而，在所有金融專業人士或研究人員需要財務資料的案例中，95% 的案例實際上可以從免費或低價的網路資源獲得。其中一些提供了強大的 APIs 和 Python 包裝套件，這使得用 Python 匯入資料和將資料匯入 Python 變得更加容易和自在。
+ + 本課程向你展示如何從網上獲取大量金融資訊，並提供可下載的 Python 程式碼模板(Jupyter notebook)以方便你使用！+++
https://softnshare.com/importing-free-financial-data-with-python/
［淺談近期從履歷看到的3個現象］
如果有看之前限動應該會知道，我們最近有在找兩個職缺：資料科學家（Data scientist)和商業資料分析師(Business Data Analyst)，首先先感謝大家對這兩個職缺的愛戴，我們收到不少履歷。
-
1. 面試這兩個職位的人很難有明確的分界
我當初會設定這兩種職位是因為需要專注在不同的工作階段：#資料科學家 專注在資料統計處理與開發模型；#商業資料分析師 專注在定義上商業問題、資料視覺化以及廣告成效追蹤。但事實上發現，不少candidate 都是介在這兩種專長之間（現在的資料人好辛苦，在學校或是在工作上都一次學了好多面向😳）。
-
2. 現在的社會新鮮人有不少實習和 side project 經驗
我看到不少資料新鮮人的履歷，覺得非常讚嘆😌，不少人在在學期間都有積極爭取實習經驗、且可能同時準備作品集。所以如果你們也是新鮮人或還是學生，未來想往資料職涯發展的人必須加把勁了😆
-
3. 看到不少不是本科系，但努力往資料職涯發展的人
這些人普遍會從商業資料分析師的履歷看到，他們有個共同點，都會用公開資源學習 Python，不管是網路上的社群、購買線上課程、直接參加程式競賽，他們都會很努力的爭取。也有不少從行銷角色想跳往資料分析師的人，大部分是因為發現自己對數據很有熱情，且開始也接觸到 SQL 語言，發現自己有程式魂？並擅長製作 Tableau 或 Data Studio 報表。
-
以上現象跟大家分享，同時也給還在迷惘中的人一點參考。但不得不說，因為現在學習資源太多，所以要找到一個規律證明自己並脫穎而出會有些辛苦😣 包含我現在的職涯歷程也是，我們一起加油。
-
-
這張照片是紀錄我剛得到一個小飾品櫃，再來要脫離 WFH 的日子了，趕快把外出用品整理一下😆
#職涯發展
📜 [專欄新文章] [zkp 讀書會] Cairo 語言介紹
✍️ NIC Lin
📥 歡迎投稿： https://medium.com/taipei-ethereum-meetup #徵技術分享文 #使用心得 #教學文 #medium
Cairo 是 STARK 證明系統的其中一個編程語言，讓開發者能透過 Cairo 來使用 STARK，撰寫效能更高的 Dapp
Photo by Simon Berger on Unsplash
Warning：本篇會保持在 high level 的介紹，實際深入的部分請見文內附上的文檔或是官方開發者文件
背景介紹
建構於密碼學的零知識證明能提供計算的隱私性，但同時在區塊鏈生態系也被用來提升 Scalability — 我可以用 10 秒的運算資源來驗證原本耗費 1000 秒運算資源的計算過程
如同更多人熟悉的 SNARK，STARK 也是一個零知識證明的證明系統，但當前的 STARK 著重的是在 Scalability ，而非大家比較習以為常零知識證明提供的隱私性特質
其實目前基於 SNARK 的 Rollup 項目，例如 zkSync、Loopring、Aztec、zkopru，除了 Aztec 外，其他都是利用 SNARK 來增加 Scalability — 這些 Rollup 上資料都還是公開、沒有隱私性的
StarkWare 是目前唯一基於 STARK 的開發團隊
STARK 要加上隱私保護不會太難，只是 StarkWare 還沒有把這項功能放在未來規劃中
Cairo 簡介
標榜為圖靈完備的零知識證明系統語言，Cairo 對原本熟悉 Solidity 的開發者來說還是會感到比較難上手和陌生的。再加上套件庫還不夠充足，目前支援的雜湊函式是 Pedersen，數位簽章演算法是 ECDSA（相對於 SNARK，EdDSA 的效能反而比較差所以沒有支援）。
但 Cairo 還在早期開發的階段，相信開發體驗會越來越好的。
另外需要注意的是作為一個證明系統，會有 Prover 和 Verifier 的角色。而 STARK 的 Verifier 是公開的，但 Prover 軟體預計會有 License 保護。Prover 一般情況下不得用於商業用途，除非將 proof 上傳至官方的 Verifier。
最後要提及的是，第一版的 Cairo 是設計來方便開發者將 Dapp 的運算遷移至鏈下。不同於 Rollup，這個鏈下只會有它自己一個 Dapp。這個 Dapp 的項目方自己維護自己 Dapp 的 state。（ Rollup 則是 operator 維護所有 Dapp 的 state，Dapp 開發者不需自己操煩）
這可能有點難懂。如果你有在寫 Solidity，想像一下今天你在合約要用到合約裡宣告的 storage 變數時，你要自己提供 merkle proof 上來，證明這個storage 變數真的是這個值。這個就是開發者要自己維護 state 的意思。
而第二版的 Cairo 則是 StarkNet 裡使用的 Cairo（第一和第二版是不同編譯器），這版的 Cairo 就是作為 Dapp 在 Rollup 開發所使用 — 開發者可以在合約裡宣告變數，變數的值不需開發者維護，可以直接假設存在。
註1：StarkWare 不喜歡 Rollup 這個詞，他們覺得 Data Availability 的需求是一段光譜：不一定得要把 data 全都送上 L1，中間有其他方式可以做不同層級的 Data Availability。
註2：第一版和第二版實際上在官方版本裡是 0.0.1 及 0.0.2，在撰文當前最新版即是 0.0.2
官方網站：https://www.cairo-lang.org
開發者文件：https://www.cairo-lang.org/docs/
開發環境
Cairo 有提供像是 Remix 的瀏覽器 IDE：playground。裡面提供各種範例練習和挑戰，除了可以編譯，還可以直接生成並上傳 proof。
註：但有些功能還是沒辦法在 playground 裡使用，例如要給你的程式 custom input 時。這時候只能在本地端開發才能使用這個功能。
開發 Cairo 要先安裝python，我將開發者文件整理出來的資料統整在這個 hackmd 文檔裡：https://hackmd.io/w690dpAQTsKeKZv3oikzTQ
裡面包含簡介、設置本地開發環境以及 Cairo 基礎（因為篇幅原因，所以不將內容複製到這裡）
註：我把開發者文件裡的代碼整理到這裡：https://github.com/NIC619/cairo_practice/tree/master/practices
如果不想在研究開發者文件過程中，還要自己手動拼湊裡面例子的話，可以直接用整理好的代碼來執行。同時 repo 裡還有包含一些額外自己測試 Cairo 功能的範例。
深入 Cairo
在那份 hackmd 文檔裡的開頭，可以連結到第二部分 — 深入 Cairo 的部分。裡面也是從開發者文件裡擷取出來我覺得比較重要的部分。如果你要讀開發者文件的話，我建議從 Hello Cairo 開始，它會從例子切入，會比較好知道 Cairo 怎麼使用。接著如果要更深入了解，再去讀 How Cairo Works。
StarkNet Cairo
第二版的 Cairo 其實功能和第一版的 Cairo 是差不多的，所以不必擔心在開發者文件裡學到的 Cairo 在 StarkNet 版本會不能用或差很多。在讀完 Hello Cairo/How Cairo works 後，就可以接著看 Hello StarkNet。會很順利的切換到 StarkNet 版本的 Cairo。
註1：我整理的文檔裡是按照第一版 Cairo 所寫的
註2：如果你從開發者文件一路看下來，體驗過非 StarkNet 版的 Cairo，那你在體驗 StarkNet 版的 Cairo 時一定會發現這更像一般智能合約的使用方式 — 你可以用 view 函式查詢 storage 變數，可以用 external 函式去執行合約（非 StarkNet 版本不是這樣操作 Dapp 的，這邊因為篇幅原因沒有詳細介紹）。
非常建議嘗試兩種版本的 Cairo，你會知道 1. 操作一個單獨在 L2 的 Dapp 和2. 操作與其他 Dapp 共存在 Rollup 上的 Dapp 的不同。這對了解 L2 怎麼運行、需要哪些資料、為什麼需要這些資料非常有幫助。
0.0.2 版的 StarkNet Cairo 目前還缺少一些功能：
函式還沒辦法宣告陣列或 struct 型態的參數
合約和合約之間還沒辦法互動
L1 沒有辦法讀取到 L2 的資料，L2 也沒辦法讀取到 L1 的資料。如果要建立跨 L2 Bridge，這個功能非常重要。
補充及個人心得
STARK 的 proof size 相比於 SNARK 系列的 proof size 大很多，又其證明所包含的交易數量對 proof size 和驗證時間的影響不大，所以把很多筆交易一併做一個 proof 會是對 STARK 非常有利、節省成本的方式（SNARK、STARK 比較表）。但這同時也是一個缺點，如果你的 Dapp 或 Rollup 的 TPS 不高，那就只能等更久時間搜集多一點的交易，要不然就只能提高成本來維持驗證 proof 的頻率。
StarkWare和 zkSync 一樣都有 Rollup 宇宙的概念（ Rollup 宇宙的用詞並不精確，因為在他們的宇宙中不會所有子鏈都是 Rollup，而是會有依照 Data Availability 程度不同所區分的子鏈，像是 Validium、zk Porter 的設計），個人覺得能夠有（針對 Data Availability 程度的）選擇是會比只有一個選擇（完全 Data Available） 還好的方式，但實際上的可行性就要等其團隊釋出更多的資訊。
在 Rollup 越趨成熟的情況下，能夠提供快速跨 Rollup 服務的流動性提供者的角色會越來越重要。zk Rollup（StarkNet、zkSync、etc…）比 Optimistic Rollup （Optimism、Arbitrum、etc…）有著短上許多的 finalize 時間，這對降低流動性提供者的風險有很大的幫助，但目前 zk Rollup 支援合約功能甚至 L1 <-> L2 互動的完成度都比 Optimistic Rollup 還低上許多。短期內快速跨 Rollup 的服務應該還是侷限在 Optimitic Rollup 之間。
abbrev
[zkp 讀書會] Cairo 語言介紹 was originally published in Taipei Ethereum Meetup on Medium, where people are continuing the conversation by highlighting and responding to this story.
👏 歡迎轉載分享鼓掌
因應疫情，剛好可以好好學習網路爬蟲，最簡單的還是用EXCEL裡的VBA來抓資料，這個範例適用IE物件來抓取，程式可以用本來改一改就好，細節不要出錯，很快資料就全部下來了，如下。
EXCEL VBA金融數據之網路爬蟲實作16
01_下載股市資訊網與YAHOO股市
02_用IE物件下載YAHOO股市說明
03_用IE物件下載YAHOO股市細節
04_改為下載股市所有資料
05_下載資料日期用className
完整影音
http://goo.gl/aQTMFS
懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524
課程簡介：入門
VBA重要函數到Python
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
檔案與資料庫處理
課程簡介：進階
處理 CSV 檔和 JSON 資料
PM2.5即時監測顯示器轉存到SQLITE資料庫
網頁資料擷取與分析、
Python網頁測試自動化、
下載外匯資料、下載YAHOO股市類股、下載威力彩
EXCEL VBA與Phython協同運作
資產負債表與券商分點買賣超
群益八大公股銀行買賣超
鉅亨網新聞與MoneyDJ新聞
7-11門市與PChome
參考書目
Excel VBA實戰技巧金融數據x網路爬蟲
作者：廖敏宏（廖志煌）
出版社：碁峰 出版日期：2019/06/30
Python大數據特訓班(第二版)
作者：鄧文淵,文淵閣工作室
出版社：碁峰?出版日期：2020/06/01
吳老師 110/5/22
因應疫情，剛好可以好好學習網路爬蟲，最簡單的還是用EXCEL裡的VBA來抓資料，這個範例適用IE物件來抓取，程式可以用本來改一改就好，細節不要出錯，很快資料就全部下來了，如下。
EXCEL VBA金融數據之網路爬蟲實作16
01_下載股市資訊網與YAHOO股市
02_用IE物件下載YAHOO股市說明
03_用IE物件下載YAHOO股市細節
04_改為下載股市所有資料
05_下載資料日期用className
完整影音
http://goo.gl/aQTMFS
懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524
課程簡介：入門
VBA重要函數到Python
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
檔案與資料庫處理
課程簡介：進階
處理 CSV 檔和 JSON 資料
PM2.5即時監測顯示器轉存到SQLITE資料庫
網頁資料擷取與分析、
Python網頁測試自動化、
下載外匯資料、下載YAHOO股市類股、下載威力彩
EXCEL VBA與Phython協同運作
資產負債表與券商分點買賣超
群益八大公股銀行買賣超
鉅亨網新聞與MoneyDJ新聞
7-11門市與PChome
參考書目
Excel VBA實戰技巧金融數據x網路爬蟲
作者：廖敏宏（廖志煌）
出版社：碁峰 出版日期：2019/06/30
Python大數據特訓班(第二版)
作者：鄧文淵,文淵閣工作室
出版社：碁峰?出版日期：2020/06/01
吳老師 110/5/22
因應疫情，剛好可以好好學習網路爬蟲，最簡單的還是用EXCEL裡的VBA來抓資料，這個範例適用IE物件來抓取，程式可以用本來改一改就好，細節不要出錯，很快資料就全部下來了，如下。
EXCEL VBA金融數據之網路爬蟲實作16
01_下載股市資訊網與YAHOO股市
02_用IE物件下載YAHOO股市說明
03_用IE物件下載YAHOO股市細節
04_改為下載股市所有資料
05_下載資料日期用className
完整影音
http://goo.gl/aQTMFS
懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524
課程簡介：入門
VBA重要函數到Python
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
檔案與資料庫處理
課程簡介：進階
處理 CSV 檔和 JSON 資料
PM2.5即時監測顯示器轉存到SQLITE資料庫
網頁資料擷取與分析、
Python網頁測試自動化、
下載外匯資料、下載YAHOO股市類股、下載威力彩
EXCEL VBA與Phython協同運作
資產負債表與券商分點買賣超
群益八大公股銀行買賣超
鉅亨網新聞與MoneyDJ新聞
7-11門市與PChome
參考書目
Excel VBA實戰技巧金融數據x網路爬蟲
作者：廖敏宏（廖志煌）
出版社：碁峰 出版日期：2019/06/30
Python大數據特訓班(第二版)
作者：鄧文淵,文淵閣工作室
出版社：碁峰?出版日期：2020/06/01
吳老師 110/5/22
