📜 [專欄新文章] 區塊鏈管線化的效能增進與瓶頸
✍️ Ping Chen
📥 歡迎投稿: https://medium.com/taipei-ethereum-meetup #徵技術分享文 #使用心得 #教學文 #medium
使用管線化(Pipeline)技術可以提升區塊鏈的處理效能,但也可能會產生相應的代價。
Photo by tian kuan on Unsplash
區塊鏈的擴容方案
說到區塊鏈的效能問題,目前討論度最高的應該是分片(sharding)技術,藉由將驗證者分成多組的方式,可以同時分別處理鏈上的交易需求,即使單分片效能不變,總交易量可以隨著分片/驗證者集的數量線性增加。
除了分片,另一個常用來提升程式效能的方案是將計算步驟拆解,以流水線的方式將複雜的運算攤平,降低系統的閒置時間,並大幅提升工作效率。為了達到管線化預期的目的,會需要先知道系統的瓶頸在哪。
區塊鏈的效能瓶頸
熟悉工作量證明設計哲學的人應該會知道,區塊鏈之所以需要挖礦,並不是為了驗證交易的正確性,而是要決定交易的先後順序,從而避免雙花和帳本分裂的發生。可以說,區塊鏈使用低效率的單線程設計,並付給礦工高額的成本,都只為了一件事,就是對交易的全局排序產生共識。
在這樣的基礎之上,區塊鏈在一段時間內可以處理的交易數量是有限的,這之中包含許多方面的限制,包括 CPU 效能、硬碟空間、網路速度等。其中,關於 TPS(每秒交易數) 提升和對硬體的要求大致上是線性增加的,但在設計共識演算法時,通訊複雜度常是平方甚至三次方的關係。
以現在的目標 TPS 來說,處理交易和生成一個合法的區塊並不困難,只是因為區塊鏈的特性,新區塊需要透過洪水法的方式擴散到全網路,每個節點在收到更新請求的時候都要先執行/驗證過區塊內的交易,等於整個廣播的延時會是「驗證區塊時間×經過的 hop 數量」這麼多。似乎網路越分散、節點越多,我們反而會需要降低計算量,以免讓共識不穩定。
管線化的共識機制
使用權益證明取代工作量證明算是行業發展的趨勢,除了環保或安全這些比較顯然的好處之外,權益證明對產生共識的穩定性也很有幫助。首先,權益證明在同一時間參與共識的節點數是已知的,比較容易控制數量級的邊界;其次,權益證明的出塊時間相較工作量證明固定很多,可以降低計算資源不足或閒置的機率。
相較於工作量證明是單一節點出塊,其餘節點驗證,權益證明的出塊本身就需要很多節點共同參與,瓶頸很像是從驗證轉移到通訊上。
以 PBFT 為例,每次產新區塊都需要經過 pre-prepare, prepare, commit 三個階段,你要對同意驗證的區塊簽名,還要對「你有收到某人的簽名」這件事簽名,再對「你有收到 A 說他有收到 B 的簽名」這件事簽名,過程中會有很多簽名飛來飛去,最後才能把一個區塊敲定。
為了降低每兩個區塊間都需要三輪簽名造成的延遲,後來的共識演算法包括 HotStuff 和 Casper FFG 採用了管線化的區塊驗證過程。也就是對區塊 T 的 pre-prepare 同時是對 T-1 的 prepare 和對 T-2 的 commit。再加上簽名聚合技術,出塊的開銷在複雜度等級和係數等級都降低許多。
然而,要保持管線化的區塊生產順利,需要驗證者集合固定不變,且網路通訊狀況良好。如果會經常更動驗證者集合或變換出塊的領導者,前後區塊間的相依性會是個大問題,也就是 T 的驗證者集合取決於 T-1 裡有沒有會導致刪除或新增驗證者的交易,T-1 的合法性又相依於 T-2,以此類推。
當激烈的分叉出現的時候,出塊跟共識的流水線式耦合就從優雅變成災難了。為了避免這種災難,更新的共識演算法會限制驗證者變更的時機,有些叫 epoch 有些叫 checkpoint,每隔一段時間會把前面的區塊徹底敲定,才統一讓驗證者加入或退出。到這些檢查點的時候,出塊的作業流程就會退化成原本的三階段驗證,但在大部分時候還是有加速的效果。
管線化的狀態更新
另一個可以用管線化加速的是區塊鏈的狀態更新。如前所述,現在公鏈的瓶頸在於提高 TPS 會讓區塊廣播變慢,進而導致共識不穩定,這點在區塊時間短的以太坊上尤其明顯。可是如果單看執行一個區塊內的交易所花的時間的話,實際上是遠遠低於區塊間隔的。
只有在收到新區塊的時候,節點才會執行狀態轉移函數,並根據執行結果是否合法來決定要不要把區塊資訊再廣播出去。不過其實只要給定了交易集合,新的狀態 s’ = STF(s, tx) 應該是確定性的。
於是我們有了一個大膽的想法:何不乾脆將交易執行結果移出共識外呢?反正只要大家有對這個區塊要打包哪些交易有共識,計算的結果完全可以當作業留給大家自己算吧。如果真的不放心,我們也可以晚點再一起對個答案,也就是把這個區塊執行後的新狀態根包在下個區塊頭裡面。
這就是對狀態更新的管線化,在區塊 T 中敲定交易順序但暫不執行,區塊 T+1 的時候才更新狀態(以及下一批交易)。這麼做的好處十分顯而易見,就是將原本最緊繃的狀態計算時間攤平了,從原本毫秒必爭的廣播期移出來,變成只要在下個塊出來之前算完就好,有好幾秒的時間可以慢慢來。新區塊在廣播的每個 hop 之間只要驗證交易格式合法(簽名正確,有足夠的錢付手續費)就可以放行了,甚至有些更激進的方案連驗簽名都省略了,如果真的有不合法交易混進去就在下個區塊處罰礦工/提案者便是。
把負擔最重的交易執行移出共識,光用想的就覺得效能要飛天,那代價呢?代價是區塊的使用程度會變得不穩定。因為我們省略了執行,所以對於一筆交易實際用掉多少 gas 是未知的。本來礦工會完整的執行所有交易,並盡可能的塞滿區塊空間,然而在沒有執行的情況下,只能以使用者設定的 gas limit 當作它的用量,能打包的交易會比實際的上限少。
緊接著,下一個問題是退費困難。如果我們仍然將沒用完的手續費退還給使用者,惡意的攻擊者可以透過發送 gas limit 超大,實際用量很小的交易,以接近零的成本「霸佔」區塊空間。所以像已故區塊鏈 DEXON 就直接取消 gas refund,杜絕濫用的可能。但顯然這在使用者體驗和區塊空間效率上都是次優的。
而最近推出的 smartBCH 嘗試擬了一套複雜的退款規則:交易執行後剩餘的 gas 如果小於 gas limit 的一半(代表不是故意的)就退款;如果剩餘量介於 50%-75% 可以退一半;超過 75% 推斷為惡意,不退款。乍看是個合理的方案,仔細一想會發現製造的問題似乎比解決的還多。無論如何,沒用掉的空間終究是浪費了,而根據殘氣比例決定是否退款也不會是個好政策,對於有條件判斷的程式,可能要實際執行才知道走哪條路,gas limit 一定是以高的情況去設定,萬一進到 gas 用量少的分支,反而會噴更多錢,怎麼想都不太合理。
安全考量,退費大概是沒希望了。不過呢,最近以太坊剛上線的 EIP1559 似乎給了一點方向,如果區塊的使用程度能以某種回授控制的方式調節,即使偶爾挖出比較空的區塊似乎也無傷大雅,也許能研究看怎麼把兩者融合吧。
管線化方案的發展性
考慮到以太坊已經堅定地選擇了分片的路線,比較激進的單鏈高 TPS 管線化改造方案應該不太有機會出線,不過管線化畢竟是種歷史悠久的軟體最佳化技巧,還是很有機會被使用在其他地方的,也許是 VDF 之於信標鏈,也許是 rollup 的狀態轉換證明,可以坐等開發者們表演。
倒是那些比較中心化的 EVM fork/sidechain,尤其是專門只 for DeFi 的鏈,管線化加速可以在不破壞交易原子性的前提下擴容,確實是有一些比分片優秀的地方可以說嘴,值得研究研究,但這就要看那些機房鏈們有沒有上進心,願不願意在分叉之餘也投資發展自己的新技術了。
給我錢
ping.eth
區塊鏈管線化的效能增進與瓶頸 was originally published in Taipei Ethereum Meetup on Medium, where people are continuing the conversation by highlighting and responding to this story.
👏 歡迎轉載分享鼓掌
同時也有1部Youtube影片,追蹤數超過1萬的網紅Real Darren Huang,也在其Youtube影片中提到,在運動前,記得先看都市浪人第一集,跟不上的動作,都有替代方案。 這是我的 workout route,不代表適合每個人的體能,一開始跟不上別氣餒,重點不在落後多少,重點在持之以恆,只要你每天 put in 十分鐘,下次下水一定能感受到進步! 分享給你愛玩水的朋友,喜歡這類內容的話幫我按個讚。 多利...
「pipeline教學」的推薦目錄:
- 關於pipeline教學 在 Taipei Ethereum Meetup Facebook 的最讚貼文
- 關於pipeline教學 在 謝晨彦股怪教授 Facebook 的最讚貼文
- 關於pipeline教學 在 矽谷牛的耕田筆記 Facebook 的最佳貼文
- 關於pipeline教學 在 Real Darren Huang Youtube 的最讚貼文
- 關於pipeline教學 在 [教學] 計概管線pipeline - 看板Army-Sir - 批踢踢實業坊 的評價
- 關於pipeline教學 在 Jenkins Pipeline | 5+1's 技術學習筆記 的評價
- 關於pipeline教學 在 使用CI 和Azure Pipelines 部署應用程式 - GitHub 的評價
- 關於pipeline教學 在 拯救資工系學生的基本素養—CI/CD 介紹 - YouTube 的評價
- 關於pipeline教學 在 Unity 應用領域- 通過這些Universal Render Pipeline 教學升級 ... 的評價
pipeline教學 在 謝晨彦股怪教授 Facebook 的最讚貼文
#股怪教授 #晨彥有約
【跌深的比特幣 該低接?還是趁機賺波動?】
比特幣有安全危機?
美國最大燃油管道商Colonial Pipeline在5月初遭駭客勒索75枚比特幣,但被勒索的比特幣贖金最終被FBI攔截,引發市場對加密貨幣去中心化的疑慮。但事後證實該駭客組織的雲端伺服器早已被FBI扣押,因此才能取得其電子錢包的私鑰進行攔截。事實上,今天比特幣若存在USB的冷錢包中,是無法被播解的,因此,比特幣仍是目前安全性較高的資產
FOMC是否打壓幣價
聯準會六月份的利率會議將開始討論縮減購債規模的可能,導致市場對聯準會的加息預期的上升。但除非聯準會提出具體的升息政策,才有可能造成較大規模的資金移轉潮。否則僅以目前的市場推測,對幣價的影響仍相對有限。
巨鯨仍在逢低掃貨
由於近期投資人焦點圍繞在各國政府對加密貨幣的監管可能趨嚴,因此,市場的追價意願不高,比特幣繼續呈現弱勢震盪,幣價短線在30000至36000美元的區間震盪整理。而巨鯨大戶近期持續逢低掃貨,根據Chainalysis的數據顯示,巨鯨們在近一周就蒐集了7.7萬枚比特幣。此外,ARK女股神近期再度買入1.8萬股的GBTC和1.3萬股的Coinbase,這些籌碼的集中現象,將有助於比特幣價格逐漸穩定下來。
走勢仍偏向震盪整理
從近期的比特幣交易量來觀察,近期的鏈上交易量下降到二0一八年的水準,合約交易的交易量也維持在今年相對低檔的水準,代表市場炒作的熱度持續降溫。在市場追價意願偏低的環境下,幣價維持震檔整理的機會仍偏高。雖然比特幣目前陷入沒有方向的中性震盪,但近期一天的波動仍高達10%,對於短線的波動交易者仍具有充足的獲利空間。
加入股怪教授LINE好友(@iu178)後輸入"btc",即可免費獲得教學懶人包,以及5USDT等多種好康~
#BTC
#波動交易
#比特幣新手變行家
pipeline教學 在 矽谷牛的耕田筆記 Facebook 的最佳貼文
這篇文章是 Tekton 這套號稱完全針對 Cloud-Native 所發展的 CI/CD 工具教學文,作者從基本概念到如何使用都詳細的介紹一番,讓讀者看完就對 Tekton 能夠有基本的認知。
就如同其他常見的 Pipeline 系統一樣,Tekton 的工作流程是由 Step, Task 以及 Pipeline 組成。Tekton 使用 Step 描述每個最小工作事項,而每個 Task 則由數個 Step 組成,這些 Step 會依序執行,且彼此會共用相同環境,譬如 Volume.
Pipeline 則是由數個 Task 所組成,不過比較特別的是這些 Task 可以有更為靈活的執行順序,譬如依序執行,平行執行,甚至是 DAG 這種有向無環圖的執行順序。
Tekton 的一大特色是其完全寄生於 Kubernetes 內,必須要搭配 k8s 的環境來使用,也因此上述的 Step,Task 以及 Pipeline 實質上都是屬於 K8s 的 CRD 一種,部署時需要透過 YAML 來撰寫,並且用常見的方式 (kubectl, helm, kustomize) 來安裝到 k8s 內去設定 Tekton。
這種模式帶來的一個好處就是每個元件都是獨立的 YAML 檔案與類別,因此相同的部分可以非常輕易的被重複使用,舉例來說一個運行 Git-Clone 的 Task 就可以被多個不同的 Pipeline 重複使用,而有需求需要修改的時候也只需要修改一個 Task 即可。
對於 Tekton 這套解決方案有興趣的可以參閱下列全文玩耍看看
https://lambda.grofers.com/adopting-tekton-cloud-native-ci-solution-67fb229f4992
pipeline教學 在 Real Darren Huang Youtube 的最讚貼文
在運動前,記得先看都市浪人第一集,跟不上的動作,都有替代方案。
這是我的 workout route,不代表適合每個人的體能,一開始跟不上別氣餒,重點不在落後多少,重點在持之以恆,只要你每天 put in 十分鐘,下次下水一定能感受到進步!
分享給你愛玩水的朋友,喜歡這類內容的話幫我按個讚。
多利用底下留言區,告訴我你們每次做完運動的感覺,我可以調整下集影片的強度。
「都市浪人」跟各位分享小弟淺薄的衝浪知識。內容將包括不住在海邊的你,該怎麼利用平日增進衝浪技巧,讓難得泡在水裡的時間更開心!
在IG上追蹤我 @realDarrenHuang 👉 https://ppt.cc/frRsJx
——————————— Gear I Use ———————————
Main Camera 📷 Canon EOS R
Mic 🎙 RØDE VideoMicro
Vlogging Lens 🔭 Canon RF 15-35mm F2.8 L IS USM
Telephoto Lens 🔭 Canon EF 70-300mm F4-5.6 IS II USM
Portrait Prime 🔭 Canon EF 50mm F1.8 STM
Wide-angle Prime 🔭 Canon EF 28mm f1.8 USM
Magic Close-up 🔭 Canon EF 100mm f2.8L Marco IS USM
Camera Bag 🎒 National Geographic Walkabout Camera Backpack NG W5072
Editing Software 🎬 Final Cut Pro X
——————————— Credits ———————————
How the World's Best Surfers Pop Up (Slow Motion) - Brent Rose
https://youtu.be/XYZ46bGfZ08
The Best of John John Florence...EVER! - WSL Highlights - World Surf League
https://youtu.be/r3IcMTzLh_8
No-paddle take off by Wingnut - cooolas
https://youtu.be/cBMi2yj3CSo
SURFING HAWAII’S BEST WAVE WITH MY GIRLFRIEND (PIPELINE) - Jamie O'Brien
https://youtu.be/gQ_1zX-F_No
Surfing With Alana Blanchard & Her Boyfriend Jack Freestone Ep. 305 - Network A
https://youtu.be/Z32qL2MRkJM
110% Surfing Techniques Volume 4
https://vimeo.com/ondemand/completeseries/213269807
Longest Barrel with Koa Smith in Skeleton Bay- GoPro - Surf Channel Television Network
https://youtu.be/LG9ei558NEA
Beach Buggy Ride by SIRPRICE https://soundcloud.com/sirpricedj
Creative Commons — Attribution 3.0 Unported— CC BY 3.0
Free Download / Stream: https://bit.ly/beach-buggy-ride
Music promoted by Audio Library https://youtu.be/qpxGxqhVXLA
攝影棚+燈具 - 晏人物 Timothy's photos
https://www.facebook.com/Timothysphotos
https://www.instagram.com/a420122000/
pipeline教學 在 Jenkins Pipeline | 5+1's 技術學習筆記 的推薦與評價
Pipeline Syntax 產生語法的小工具 · 選擇bat: Windows Batch Script · 按下Generate Pipeline Script,會產生語法,可以直接在pipeline 中使用. ... <看更多>
pipeline教學 在 使用CI 和Azure Pipelines 部署應用程式 - GitHub 的推薦與評價
教學 課程:將搭配CI/CD 的應用程式部署到Service Fabric 叢集. 本教學課程是一個系列中的第四部分,說明如何使用Azure Pipelines 來設定Azure Service Fabric 應用程式 ... ... <看更多>
pipeline教學 在 [教學] 計概管線pipeline - 看板Army-Sir - 批踢踢實業坊 的推薦與評價
pipeline觀念建立在,縮短指令間等待時間,並行處理加速整個CPU執行
without pipeline:
┌─┬─┬─┬─┬─┐┌─┬─┬─┬─┬─┐┌─┬─┬─┬─┬─┐
└─┴─┴─┴─┴─┘└─┴─┴─┴─┴─┘└─┴─┴─┴─┴─┘
指令1 指令2 指令3
time├─┼─┼─┼─┼─┤├─┼─┼─┼─┼─┤├─┼─┼─┼─┼─┤
|-------40sec------| |-------40sec------| |-------40sec------|
執行時間:
單個指令所需時間10+5+10+10+5 = 40
執行三個指令所需時間 3 x 40 = 120
----
pipeline
┌─┬─┬─┬─┬─┐ 指令1
└─┴─┴─┴─┴─┘
┌─┬─┬─┬─┬─┐ 指令2
└─┴─┴─┴─┴─┘
┌─┬─┬─┬─┬─┐ 指令3
└─┴─┴─┴─┴─┘
time├─┼─┼─┼─┼─┼─┼─┤
1 2 3 4 5 6 7
單個clock cycle所執行時間,挑最大的 MAX{10,5,10,10,5}=10
一共執行了七個clock cycle,執行時間為10 x 7 =70
----
公式化簡:
n級管線,m個指令,每級管線執行時間為t
總共實行時間為->n x t + (m-1) x t (自己觀察他的方式就可以得知為何了)
加速比:
n x t x m
─────────── ≒ n (if m >> n)
n x t + (m-1) x t
至於n級管線為何無法到達n倍,因為
1.需另外考慮管線暫存器的delay執行時間
2.管線沒有均勻分割
3.指令個數沒有遠大於n (m >> n 不成立)
4.可能產生hazard(違障)
----
管線設計可能會產生三種hazard
1.structure hazard
2.data hazard
3.control hazard
應該不用再下去了,再下去講不完了XXXXXXD
--
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 59.113.65.87
... <看更多>