本篇文章是 Netflix 的內部架構技術分享文,本篇文章要探討的是當 Netflix 內部大量採用 Google Drives(Sheets, DDocs, Slides...etc)進行檔案分享時所遇到的問題,以及 Netflix 是如何解決這些問題的。
問題: 對 Netflix 來說,由於下列兩個理由,導致目前 Google Drive 上大概有兩千萬的檔案
1. Netflix Studio 的合作夥伴大量使用 Google Service 來傳輸資料
2. 資料科學家需要將資料複製回本地的 Data 倉庫進行分析。
Netflix 內部為了方便存取這些資料,透過程式化的方式透過 Google API 來存取這些大量成長的資料,然而這樣的方式卻導致了兩個很麻煩的問題
1. 應用程式開發者與資料科學家必須要各自維護存取 Google 服務的帳號密碼,同時很多程式碼會大量的被重複開發。
2. 從可觀測性系統來說,到底有哪些檔案資料從 Google Drive 與 Data 倉庫移動是很不清楚的。
Netflix 為了解決這些問題,決定自行打造一個 Service Proxy 來處理所有流向 Google Services 的請求。透過這個中介層的服務,Google 服務認證的部分就可以有效率的於 Proxy 這層來處理掉,同時也能夠透過 Log 的方式來記錄到底哪些檔案目前正在移動,彌補了過往可觀性系統的缺失。
文中先介紹了關於 Google API 的架構,Netflix 內部原先大部分都透過 Python 或 Java 等程式語言來撰寫 Client 端的應用程式。為了讓整個 Proxy 能夠更有效的處理 Credential 的部分,Netflix 這邊還導入的內部工具(Metatron) 來管理這些資訊。
其他相關資訊還有
1. Proxy 基於 Java 開發
2. 使用 gRPC 來產生不同語言的 endpoints,統一由 Proxy 將請求轉為 HTTP 送往 Google 處理
此外,為了讓 Netflix 內部的所有人都可以很輕鬆的於 Google Drive 與 Data 倉庫間來更動資料, Netflix 為此打造一個可排程的 Job 來默默執行。文章後半段主要在介紹這個 Job 的架構與用法
對於全文有興趣的都歡迎閱讀~
https://netflixtechblog.medium.com/data-movement-for-google-services-at-netflix-9a77ca69f7c4
「proxy用法」的推薦目錄:
- 關於proxy用法 在 矽谷牛的耕田筆記 Facebook 的最佳貼文
- 關於proxy用法 在 喬的英文筆記 Joe's English Learning Notes Facebook 的最讚貼文
- 關於proxy用法 在 喬的英文筆記 Joe's English Learning Notes Facebook 的最佳貼文
- 關於proxy用法 在 英文單字筆記粉絲團 - Facebook - 登录或注册 的評價
- 關於proxy用法 在 Proxy和Reflect的用法 - 余真帆的博客 的評價
- 關於proxy用法 在 電腦跑得不夠快剪起來好卡!! 趕快學會用Encoder輸出Proxy ... 的評價
- 關於proxy用法 在 Webpack-dev-server的proxy用法#42 - GitHub 的評價
proxy用法 在 喬的英文筆記 Joe's English Learning Notes Facebook 的最讚貼文
轉貼喬之前整理的「因為」用法
--
✔ 喬的著作《我的第一本英文文法 國際學村出版》購買連結
博客來: https://bit.ly/38nOl5H
【喬的部落格網誌聊英文談職場/商務英文】
☛ Blogger: http://ohjoseph86.blogspot.com/
【快追蹤IG關注第一手更新與喬生活】
☛ Instagram: http://www.instagram.com/ohjoe86
<超重要!”因為”的用法整理!>
喬今天要分享的是非常重要的「因為」用法,要表達前因後果必然用到,那麼就請同學一起將這一同性質單字區記熟吧!
【以下都是連接詞,接子句。】
since 因為 [because]
例: Since you are already here, you might as well stay.
因為你已經在這了,你可能也會停留在這。
in that (正式用法) 因為; 由於
例: The research is important in that it confirms the link between aggression and alcohol.
這項研究非常重要,因為它證實了攻擊行為和酗酒之間的關聯。
as 因為 [since; because]
例: As you are leaving last, please turn out the lights.
因為你會最後離開,請關燈。
seeing (that) 因為; 既然
例: Seeing you are already here, just take whatever you want!
既然你在這了,拿走任何你想要的東西吧!
now (that) 既然; 由於
例: Now that she's got more responsibility, she's enjoying the job.
因為承擔了更多的職責,所以她很喜歡這份工作。
as long as 只要; 因為; 如果
[1] = provided (that ) 如果; 只要
As long as you can come by six, I'll be there.
[2] = since; seeing that
As long as long you're going to the grocery anyway, buy me a pint of ice cream.
[3] = so long as: during the time that; through the period that
As long as we were neighbors, they never invited us indie their house.
【以下後面都接主詞(動名詞Ving或名詞)】
for the sake of 為了幫助某人; 因為幫助(某人)
[in order to help or bring advantage to someone]
例: Please do it, for David's sake.
因為要幫助大衛,請做這件事。
例: Their parents only stayed together for the sake of the children.
他們的父母只是因為孩子才住在一起。
in view of 因為; 考慮到
[because of a particular thing or considering a particular fact]
例: In view of what you've said, I think we should reconsider our proposed course of action.
考慮到你剛才所說的,我認為我們應該重新考慮擬定的行動計劃。
in/on behalf of [as a representative of or a proxy for; in the interest or aid of (someone)]
例:He interceded in my behalf.
他因為要幫我而求情。
for 因為 [because of]
例: David's mother burst into tears for his addiction to alcohol.
大衛的媽媽崩潰大哭因為他對於酒物的成癮。
because of 因為
on account of [FORMAL] 由於; 因為
例: He doesn't drink alcohol on account of his health.
由於健康原因,他不喝酒。
owing to 因為; 由於
例: The concert has be canceled owing to lack of support.
由於缺乏資助,音樂會被取消了。
as a result of 因為; 由於
[because of something]
例: Profits have declined as a result of the recent drop in sales.
由於最近銷售量滑坡,利潤下降了。
as a consequence of 由於; 因為
(即為把result代換為consequence)
by dint of [正式用法] 由於; 憑藉
[as a result of something]
例: She got what she wanted by dint of pleading and threatening.
她軟硬兼施終於達到了目的。
due to 由於; 因為 [because of]
例: A lot of her unhappiness is due to boredom.
她的不開心主要是因為無聊。
thanks to 由於; 因為
例: Thanks to his aid, I made it to achieve the goal.
因為他的幫忙,我達成了目標。
by virtue of (正式用法) 因為; 由於; 憑藉
例: She succeeded by virtue of her tenacity rather than her talent.
她成功靠的是堅韌不拔,而不是天賦。
in the wake of 作為...的後果; 隨...之後而來 (有因果的關係)
例: Airport security was extra tight in the wake of yesterday's bomb attacks.
昨天的炸彈襲擊發生之後,機場安檢變得格外嚴格。
(以上字典取自- dictionary.cambridge.org | google.com | dictionary.com )
--
✔ 喬的著作《我的第一本英文文法 國際學村出版》購買連結
博客來: https://bit.ly/38nOl5H
【喬的部落格網誌聊英文談職場/商務英文】
☛ Blogger: http://ohjoseph86.blogspot.com/
【快追蹤IG關注第一手更新與喬生活】
☛ Instagram: http://www.instagram.com/ohjoe86
proxy用法 在 喬的英文筆記 Joe's English Learning Notes Facebook 的最佳貼文
【喬的回顧系列:與「因為」相關的字詞整理】
這篇的字詞分享並非全然可以直接翻譯為「因為」,但廣義上來說這些字詞帶有「因果關係」的概念,所以整理在同一篇。各位同學可以複習這篇,對於閱讀文章時會更能釐清篇章的邏輯因果關係。
--
✔ 喬的著作《我的第一本英文文法 國際學村出版》購買連結
博客來: https://bit.ly/38nOl5H
【喬的部落格網誌聊英文談職場/商務英文】
☛ Blogger: http://ohjoseph86.blogspot.com/
【快追蹤IG關注第一手更新與喬生活】
☛ Instagram: http://www.instagram.com/ohjoe86
<超重要!”因為”的用法整理!>
喬今天要分享的是非常重要的「因為」用法,要表達前因後果必然用到,那麼就請同學一起將這一同性質單字區記熟吧!
【以下都是連接詞,接子句。】
since 因為 [because]
例: Since you are already here, you might as well stay.
因為你已經在這了,你可能也會停留在這。
in that (正式用法) 因為; 由於
例: The research is important in that it confirms the link between aggression and alcohol.
這項研究非常重要,因為它證實了攻擊行為和酗酒之間的關聯。
as 因為 [since; because]
例: As you are leaving last, please turn out the lights.
因為你會最後離開,請關燈。
seeing (that) 因為; 既然
例: Seeing you are already here, just take whatever you want!
既然你在這了,拿走任何你想要的東西吧!
now (that) 既然; 由於
例: Now that she's got more responsibility, she's enjoying the job.
因為承擔了更多的職責,所以她很喜歡這份工作。
as long as 只要; 因為; 如果
[1] = provided (that ) 如果; 只要
As long as you can come by six, I'll be there.
[2] = since; seeing that
As long as long you're going to the grocery anyway, buy me a pint of ice cream.
[3] = so long as: during the time that; through the period that
As long as we were neighbors, they never invited us indie their house.
【以下後面都接主詞(動名詞Ving或名詞)】
for the sake of 為了幫助某人; 因為幫助(某人)
[in order to help or bring advantage to someone]
例: Please do it, for David's sake.
因為要幫助大衛,請做這件事。
例: Their parents only stayed together for the sake of the children.
他們的父母只是因為孩子才住在一起。
in view of 因為; 考慮到
[because of a particular thing or considering a particular fact]
例: In view of what you've said, I think we should reconsider our proposed course of action.
考慮到你剛才所說的,我認為我們應該重新考慮擬定的行動計劃。
in/on behalf of [as a representative of or a proxy for; in the interest or aid of (someone)]
例:He interceded in my behalf.
他因為要幫我而求情。
for 因為 [because of]
例: David's mother burst into tears for his addiction to alcohol.
大衛的媽媽崩潰大哭因為他對於酒物的成癮。
because of 因為
on account of [FORMAL] 由於; 因為
例: He doesn't drink alcohol on account of his health.
由於健康原因,他不喝酒。
owing to 因為; 由於
例: The concert has be canceled owing to lack of support.
由於缺乏資助,音樂會被取消了。
as a result of 因為; 由於
[because of something]
例: Profits have declined as a result of the recent drop in sales.
由於最近銷售量滑坡,利潤下降了。
as a consequence of 由於; 因為
(即為把result代換為consequence)
by dint of [正式用法] 由於; 憑藉
[as a result of something]
例: She got what she wanted by dint of pleading and threatening.
她軟硬兼施終於達到了目的。
due to 由於; 因為 [because of]
例: A lot of her unhappiness is due to boredom.
她的不開心主要是因為無聊。
thanks to 由於; 因為
例: Thanks to his aid, I made it to achieve the goal.
因為他的幫忙,我達成了目標。
by virtue of (正式用法) 因為; 由於; 憑藉
例: She succeeded by virtue of her tenacity rather than her talent.
她成功靠的是堅韌不拔,而不是天賦。
in the wake of 作為...的後果; 隨...之後而來 (有因果的關係)
例: Airport security was extra tight in the wake of yesterday's bomb attacks.
昨天的炸彈襲擊發生之後,機場安檢變得格外嚴格。
(以上字典取自- dictionary.cambridge.org | google.com | dictionary.com )
--
✔ 喬的著作《我的第一本英文文法 國際學村出版》購買連結
博客來: https://bit.ly/38nOl5H
【喬的部落格網誌聊英文談職場/商務英文】
☛ Blogger: http://ohjoseph86.blogspot.com/
【快追蹤IG關注第一手更新與喬生活】
☛ Instagram: http://www.instagram.com/ohjoe86
proxy用法 在 Proxy和Reflect的用法 - 余真帆的博客 的推薦與評價
PS:Proxy 对象的所有用法,都是上面这种形式,不同的只是handler参数的写法。其中,new Proxy()表示生成一个Proxy实例,target参数表示所要拦截的 ... ... <看更多>
proxy用法 在 英文單字筆記粉絲團 - Facebook - 登录或注册 的推薦與評價
對網路技術有一點熟稔的粉絲大概都知道什麼是proxy,所謂的proxy 就是代理伺服器, ... 代理英文是proxy(聽發音),名詞用法,例如常聽到的網路代理伺服器英文 ... ... <看更多>