本篇文章是 Netflix 技術分享文(Netflix 真的滿多技術文章的),本內容想要探討的是 Netflix 如何使用 eBPF 這個技術來洞察所有的網路流量與封包。
Netflix 開發了一個觀察網路流量封包的 sidecar 服務,稱為 Flow Exporter。這個服務使用 eBPF 來達到即時的 TCP 流量抓取,而產生額外的 CPU/Memory 都少於 1%,整體來說是非常好的表現。
挑戰
Netflix 目前使用 AWS 底層的網路元件來搭建其雲端網路基礎建設,包含了 AWS VPC, DirectConnect, VPC Peering, Transit Gateways, NAT Gatewats 以及 Netflix 自己的裝置與設備。
而 Netflix 的軟體基礎建設則是基於 AWS 搭建的一個大型的分散式環境,這些環境產生了下列挑戰
1. App Dependencies and Data Flow Mappings
隨者微服務架構的擴展,有愈來愈多的服務被部署,但是這些服務背後的彼此的依賴關係則是一個很難清楚描述的現象。開發與維運人員因為沒有辦法清楚的去定位這些資料,所以很多時候沒有很辦法很漂亮的去解決系統性的問題
2. Service Segamentation
因為雲端部署的簡單操作,導致整個環境內有愈來愈多的 AWS 帳號,愈來愈多不同的部署策略以及各種網路互相連接的需求。
3. Network Availability
隨者整個 Netflix 整個生態系的成長,如何瞭解當前網路效能的瓶頸以及可能潛在的問題是一個困難回答的問題。
為了解決上述的問題,Netflix 認為一個基於雲端網路流向的洞察工具必須要能夠針對維運與分析兩種情境去提供相關的資料,並且有辦法去找出當前的網路問題。
Netflix 目前會收集並分析不同來源的網路除錯資料,譬如
VPC Flow logs, ELB Access Logs 以及 eBPF flow logs 等,將其整理並分析後就可以傳給使用者或是內部不同的團隊來進行後續的除錯與處理。
Flow Exporter
本篇文章後半部分主要在介紹Flow Exporter 這個基於 eBPF 的 sidecare 是如何設計與運作的,其使用到了 Hive 以及 Druid 這兩種不同的 DB 來存放資料,對於這塊有興趣的可以再仔細閱讀全文。
https://netflixtechblog.com/how-netflix-uses-ebpf-flow-logs-at-scale-for-network-insight-e3ea997dca96?gi=d5fd990c9368
同時也有161部Youtube影片,追蹤數超過1萬的網紅Valentine in Paris,也在其Youtube影片中提到,裝潢日記第八集上線了! VLOG 第120到124天裝修進度|台北新家室內設計裝修 如何讓狹小的更衣室在視覺上變大?法式玻璃門 |客廳投影機第一次開機 廚房酒櫃 👉第1集:https://youtu.be/wxLuu0utjm0 👉第2集:https://youtu.be/x48PjDJ81B...
如何設計 app 在 矽谷牛的耕田筆記 Facebook 的最佳解答
本篇文章是個技術分享文,Netflix 分享內部過去四年來是如何打造一個分散式的 Tracing System。
Netflix 的串流服務想必大家都很熟悉,但是作為服務提供者來說,要如何維運這套分散式的串流服務就沒有這麼簡單。
舉例來說,當一個特定的使用者回報其服務有問題時,內部的系統要如何把下列資訊給全部串接起來組合出一個可以讓內部工程人員除錯的機制
1. Streaming Session
2. 微服務之間的流量
3. CDN 的處理
對使用者來說就是串流有問題,但是背後的網路封包實際上經過哪些 app,走過哪些節點,踏過哪些機房都是很複雜的事情,不把這些全部資訊都組合起來則非常困難除錯。
Netflix 決定要針對這個問題打造一個分散式的 Tracing 平台,而那時還沒有這麼多如 Opentracing, Zipkin, Jaeger 等相關的開源專案可以用,所以 Netflix 必須要自己去打造這套系統。
這套系統的組成跟現今常見的架構雷同,Application 本身要透過 Library 來產生出 Tracing 需要的資料,接者透過一套串流處理將資料給傳送到後端的儲存空間,最後則是由UI等相關服務來讀取資料方便使用
本篇文章基於這種架構下去探討 Netflix 的心路歷程,其中幾個比較有趣的問題這邊列出來
1. Tracing 資料的取樣該如何設計,過於頻繁會造成資料空間使用過量,過於稀少則會造成資料不夠完整,這部分 Netflix 採用基於 hybrid head-based 的取樣方式,針對特定區間採用 100% 的取樣方式,而其餘則是根據設定來隨機取樣
2. 資料儲存的部分則是有非常豐富的變化歷史,早期使用 ElasticSearch 後來對其 R/W 的效能感到不滿而輾轉到使用 Cassandra,而 Cassandra 最初使用 AWS 的 SSD 做為底層應用,後來改轉使用 EBS 並且搭配資料壓縮與一些過濾機制, 2021 決定要引入 Storage Gateway 的方式來處理
儲存方面幾乎是每年都在改善與改進,真的要遇到問題才有辦法針對問題下藥,這也是架構方面很難一口氣做到最好,隨者業務與流量擴大,很多現有的架構可能都需要打掉重來才有辦法應付
全文不算太短,但是推薦有興趣的人可以閱讀全文來看看 Netflix 是如何打造這套系統的
https://netflixtechblog.com/building-netflixs-distributed-tracing-infrastructure-bb856c319304
如何設計 app 在 法律白話文運動 Plain Law Movement Facebook 的最佳解答
#促轉星期四:服從威權真的不對嗎?大家都怎麼想?
——
🗣 來賓:熱吵民主協會 社會倡議處主任 林心乙/討論會議小場主持人 徐珮瑄/隨桌紀錄 珞亦
※ 本集節目由促進轉型正義委員會委託製作播出
本集我們邀請主持人心乙、桌長珮瑄,以及隨桌紀錄珞亦,來分享威權時期加害者討論會議桌上,激發出哪些意想不到的觀點,以及看到的有趣現象。
另外,本集也取得同意,擷取兩三個與會者發言的片段,直接帶你回到會議現場,並且這些民眾的觀點,可能跟你想的不一樣。
從去年年底開始,法律白話文運動和促進轉型正義委員會一起舉辦「 撥開迷霧:釐清威權統治時期加害者責任討論會議」,從舉辦公民教師示範場次開始,並且在今年 1 月,分別於台中、高雄、台北,依循審議的理念及精神,共舉辦了45場討論會議。
讓民眾透過工作坊的模式來進行,討論 1950 年代軍事審判體制劇本,使加害者的模樣慢慢從故事中浮現,讓大家去思考什麼樣的位置上,需要進行什麼樣的追究。
非法刑求的警察、沒有「有效實質」的公設辯護人、要求改判的軍事長官……等等,你認為這些人應該施以刑事追訴、追回退休金、不應該繼續擔任公職,還是不應該登記參選?抑或是不需要任何處置呢?
這幾場會議中,你可能會認為來參與的民眾都是同溫層,或者以為有各種激進的言論,但是你會發現,其實這些民眾的觀點,跟你想的大不同!
_
現在,打開你的 Podcast app 聽這一集
Apple Podcast : https://apple.co/3rCIIKN
Spotify:https://spoti.fi/3vcTWbl
Google Podcast:https://bit.ly/3vcTYQv
KKbox:https://bit.ly/3bCNnHc
SoundOn:https://sndn.link/plm/aA8ibc
【本集精彩重點】
✓ 03:25 什麼是審議式民主?桌長、主持人要幹嘛?
✓ 06:20 與會者之間有發生衝突嗎?
✓ 10:32 流程應該如何設計,才不會變成在灣家?
✓ 12:20 討論會議的劇本
✓ 13:30 與會者認為的「加害者樣貌」?「不可以剝奪退休金」?
✓ 28:20 關心轉型正義的人,不一定是按照你理解的方式關心
✓ 32:15 應該和解嗎?
✓ 35:49 小彩蛋:帶你到會議現場
✓ 39:28 心乙、珮瑄對於加害者議題的想法?觀念衝擊?
————
促轉會 Facebook 粉絲專頁 https://www.facebook.com/twtjc/
促轉會 Instagram https://www.instagram.com/tjctw/
「本集節目由促進轉型正義委員會委託製作播出」
————
#促轉星期四
#促進轉型正義委員會
#法律白話文運動
#法律白話文
#轉型正義
如何設計 app 在 Valentine in Paris Youtube 的最佳解答
裝潢日記第八集上線了!
VLOG 第120到124天裝修進度|台北新家室內設計裝修
如何讓狹小的更衣室在視覺上變大?法式玻璃門 |客廳投影機第一次開機 廚房酒櫃
👉第1集:https://youtu.be/wxLuu0utjm0
👉第2集:https://youtu.be/x48PjDJ81Bk
👉第3集:https://youtu.be/Q6EHn_bcLjM
👉第4集:https://youtu.be/MjrPxJ0Fz1I
👉第5集:https://youtu.be/VTKtTiluleE
👉第6集:https://youtu.be/hiZDZMm2o8o
👉第7集:https://youtu.be/Xnx-CWIvgOI
👉KE@HOME 嘉儀家品:
https://shop.kenk.com.tw
👉EPSON 家庭劇院投影機: EH-TW7000
硬體裝修來到了最後的階段
鐵工師傅已經把我們最期待的 玻璃圓拱門 做好了
二樓也開始油漆的打底工程 每次來都能看到一些新的變化
越來越接近我們想像中的家了
在這一集中我會和大家分享我們是如何決定客廳大理石的切割部位
之前提到過的
投影機小房子的自動門也已經安裝好了
我們今天一起來測試一下投影的位置有沒有需要調整的地方
如果你也對裝潢有興趣可以訂閱並追蹤我的instagram
我會在限時動態中更新最新的進度
💬目前房子仍在裝潢中所以大家有任何建議也請在留言區告訴我們👇🏻👇🏻👇🏻
當然也歡迎提問或是分享影片給身邊有興趣的朋友
___________________________________
L I N K S
個人 Instagram ➭ https://www.instagram.com/Valentineinparis
學法文 Instagram ➭ https://www.instagram.com/ValentineWords
個人 Facebook ➭ https://facebook.com/Valentineinparispage
歡迎追蹤!
---------------------------------------- -----------------------------------------
C O N T A C T
➭ Hello@ValentineinParis.com
#室內設計 #裝潢新家 #玻璃門
如何設計 app 在 Valentine in Paris Youtube 的最佳貼文
【裝潢日記】第七集上線了!
這個禮拜的新家進度:
臥室法式雙門的設計安裝
一起挑選廚房中島浴室洗手台的檯面
五金行挑選把手被困
👉第1集:https://youtu.be/wxLuu0utjm0
👉第2集:https://youtu.be/x48PjDJ81Bk
👉第3集:https://youtu.be/Q6EHn_bcLjM
👉第4集:https://youtu.be/MjrPxJ0Fz1I
👉第5集:https://youtu.be/VTKtTiluleE
👉第6集:https://youtu.be/hiZDZMm2o8o
🔹臥室門的設計軟體: https://www.sketchup.com/fr
🔹NEOLITH 西班牙耐麗石薄板: www.twneoreach.com
🔹OVOtoilet 京典衛浴: www.ovotoilet.com
新家裝潢已經來到了第115天
謝謝大家一直以來的陪伴以及留言私訊中的建議
還有差不多一個月 整個家就要裝好了
真的很期待馬上要進入我最喜歡的軟裝
可以開始佈置了
這個禮拜臥室門也做好了 我們會跟大家分享它的設計
因為臥室比較小 所以門和把手就成為了很重要的亮點
最後也會再確認一次 接下來要安裝品項的顏色與材質
跟現有的 是否搭配
因為在裝潢工程中我們有調整了一些設計
💬請大家在留言中告訴我你們比較喜歡第一種長的還是第二種兩邊都有把手的呢?木工馬上就需要把它裝好了 請大家幫我決定👇🏻👇🏻👇🏻
當然也歡迎提問或是分享影片給身邊有興趣的朋友
___________________________________
L I N K S
個人 Instagram ➭ https://www.instagram.com/Valentineinparis
學法文 Instagram ➭ https://www.instagram.com/ValentineWords
個人 Facebook ➭ https://facebook.com/Valentineinparispage
歡迎追蹤!
---------------------------------------- -----------------------------------------
C O N T A C T
➭ Hello@ValentineinParis.com
#室內設計 #裝潢新家 #臥室雙門
如何設計 app 在 Valentine in Paris Youtube 的最佳解答
【裝潢日記】第六集上線了!
VLOG 第100到113天裝修進度:
- 壁爐的種類有那些?又要如何選擇?我們從歐洲訂製壁爐終於運回來了!
- 浴室的雙洗手台圖紙設計收納空間完全公開不私藏
- 二樓書房的牆壁/天花板線條
- 訂做的投影機布幕測試
👉第1集:https://youtu.be/wxLuu0utjm0
👉第2集:https://youtu.be/x48PjDJ81Bk
👉第3集:https://youtu.be/Q6EHn_bcLjM
👉第4集:https://youtu.be/MjrPxJ0Fz1I
👉第5集:https://youtu.be/VTKtTiluleE
🔹壁爐品牌Planika
https://www.planikafires.com/
projects@planikafires.com (任何需求都可以麻煩他們評估)
🔹Planika 台灣代理
http://www.jongson.com.tw/
🔹製作浴室洗手台的軟體:
https://www.sketchup.com/fr
上次禮拜因為工作太忙了來不及更新
剛好在這個禮拜一起跟大家分享
▶️150天新家裝潢的過程已經來到了第100天
這個禮拜我們最期待的壁爐終於收到了
我會跟大家分享在不同種類的壁爐中
我們是如何確定了自己喜歡的以及挑選的過程
木工也在收尾中
最後一個比較重要的是浴室的雙洗手台
我們希望它不僅美觀有設計感還要非常的實用不容易亂
我會詳細的跟大家分享它的設計圖以及收納空間的分佈
二樓書房的牆壁以及天花板的 線條 都已經好了
還測試了投影機的布幕
這一集的內容真的非常豐富
請不要忘記訂閱並追蹤我的instagram
這對我來說會是最好的鼓勵
💬目前房子仍在裝潢中所以大家有任何建議也請在留言區告訴我們👇🏻👇🏻👇🏻
當然也歡迎提問或是分享影片給身邊有興趣的朋友
___________________________________
L I N K S
個人 Instagram ➭ https://www.instagram.com/Valentineinparis
學法文 Instagram ➭ https://www.instagram.com/ValentineWords
個人 Facebook ➭ https://facebook.com/Valentineinparispage
歡迎追蹤!
---------------------------------------- -----------------------------------------
C O N T A C T
➭ Hello@ValentineinParis.com
#室內設計 #裝潢新家 #壁爐 #台北新家室內設計裝修