本文延續前篇效能校正的經驗談,上篇文章探討了關於應用程式本身可以最佳化的部分,包含了應用程式以及框架兩個部分。本篇文章將繼續剩下最佳化步驟的探討。
Speculative Execution Mitigations
接下來探討這個最佳化步驟對於效能有顯著的提升,但是本身卻是一個非常具有爭議性的步驟,因為其涉及到整個系統的安全性問題。
如果大家對前幾年非常著名的安全性漏洞 Spectre/Meltdown 還有印象的話,本次這個最佳化要做的就是關閉這類型安全性漏洞的處理方法。
標題的名稱 Speculative Execution Migitations 主要跟這漏洞的執行概念與 Pipeline 有關,有興趣理解這兩種漏洞的可以自行研究。
作者提到,大部分情況下這類型的防護能力都應該打開,不應該關閉。不過作者認為開關與否應該是一個可以討論的空間,特別是如果已經確認某些特別情境下,關閉防護能力帶來的效能如果更好,其實也是一個可以考慮的方向。
舉例來說,假設今天你運行了基於 Linux 使用者權限控管與 namespaces 等機制來建立安全防護的多使用者系統,那這類型的防護能力就不能關閉,必須要打開來防護確保整體的 Security Boundary 是完整的。 但是如果今天透過 AWS EC2 運行一個單純的 API Server,假設整個機器不會運行任何不被信任的程式碼,同時使用 AWS Nitro Enclaves 來保護任何的機密資訊,那這種情況下是否有機會可以關閉這類型的檢查?
作者根據 AWS 對於安全性的一系列說明認為 AWS 本身針對記憶體的部分有很強烈的保護,包含使用者之間沒有辦法存取 Hyperviosr 或是彼此 instance 的 Memory。
總之針對這個議題,有很多的空間去討論是否要關閉,以下就單純針對關閉防護能力帶來的效能提升。
作者總共關閉針對四種攻擊相關的處理能力,分別是
Spectre V1 + SWAPGS
Spectre V2
Spectre V3/Meltdown
MDS/Zombieload, TSX Anynchronous Abort
與此同時也保留剩下四個,如 iTLB multihit, SRBDS 等
這種設定下,整體的運作效能再次提升了 28% 左右,從 347k req/s 提升到 446k req/s。
註: 任何安全性的問題都不要盲從亂遵循,都一定要評估判斷過
Syscall Auditing/Blocking
大部分的情況下,Linux/Docker 處理關於系統呼叫 Auditing/Blocking 兩方面所帶來的效能影響幾乎微乎其微,不過當系統每秒執行數百萬個系統呼叫時,這些額外的效能負擔則不能忽視,如果仔細觀看前述的火焰圖的話就會發線 audit/seccomp 等數量也不少。
Linux Kernel Audit 子系統提供了一個機制來收集與紀錄任何跟安全性有關的事件,譬如存取敏感的機密檔案或是呼叫系統呼叫。透過這些內容可以幫助使用者去除錯任何不被預期的行為。
Audit 子系統於 Amazon Linux2 的環境下預設是開啟,但是本身並沒有被設定會去紀錄系統呼叫的資訊。
即使 Audit 子系統沒有真的去紀錄系統呼叫的資訊,該子系統還是會對每次的系統呼叫產生一點點的額外處理,所以作者透過 auditctl -a never,task 這個方式來將整體關閉。
註: 根據 Redhat bugzilla issue #1117953, Fedora 預設是關閉這個行為的
Docker/Container 透過一連串 Linux Kernel 的機制來隔離與控管 Container 的執行權限,譬如 namespace, Linux capabilities., cgroups 以及 seccomp。
Seccomp 則是用來限制這些 Container 能夠執行的系統呼叫類型
大部分的容器化應用程式即使沒有開啟 Seccomp 都能夠順利的執行,執行 docker 的時候可以透過 --security-opt seccomp=unconfined 這些參數告訴系統運行 Container 的時候不要套用任何 seccomp 的 profile.
將這兩個機制關閉後,系統帶來的效能提升了 11%,從 446k req/s 提升到 495k req/s。
從火焰圖來看,關閉這兩個設定後,syscall_trace_enter 以及 syscall_slow_exit_work 這兩個系統呼叫也從火焰圖中消失,此外作者發現 Amazon Linux2 預設似乎沒有啟動 Apparmor 的防護,因為不論有沒有關閉效能都沒有特別影響。
Disabling iptables/netfilter
再來的最佳化則是跟網路有關,大名鼎鼎的 netfilter 子系統,其中非常著名的應用 iptables 可以提供如防火牆與 NAT 相關功能。根據前述的火焰圖可以觀察到,netfilter 的進入 function nf_hook_slow 佔據了大概 18% 的時間。
將 iptables 關閉相較於安全性來說比較沒有爭議,反而是功能面會不會有應用程式因為 iptables 關閉而不能使用。預設情況下 docker 會透過 iptables 來執行 SNAT與 DNAT(有-p的話)。
作者認為現在環境大部分都將 Firewall 的功能移到外部 Cloud 來處理,譬如 AWS Security Group 了,所以 Firewall 的需求已經減少,至於 SNAT/DNAT 這類型的處理可以讓容器與節點共享網路來處理,也就是運行的時候給予 “–network=host” 的模式來避免需要 SNAT/DNAT 的情境。
作者透過修改腳本讓開機不會去預設載入相關的 Kernel Module 來達到移除的效果,測試起來整體的效能提升了 22%,從 495k req/s 提升到 603k req/s
註: 這個議題需要想清楚是否真的不需要,否則可能很多應用都會壞掉
作者還特別測試了一下如果使用 iptables 的下一代框架 nftables 的效能,發現 nftables 的效能好非常多。載入 nftables 的kernel module 並且沒有規則的情況下,效能幾乎不被影響(iptables 則相反,沒有規則也是會影響速度)。作者認為採用 nftables 似乎是個更好的選擇,能夠有效能的提升同時也保有能力的處理。
不過 nftables 的支援相較於 iptables 來說還是比較差,不論是從 OS 本身的支援到相關第三方工具的支援都還沒有這麼完善。就作者目前的認知, Debian 10, Fedora 32 以及 RHEL 8 都已經轉換到使用 nftables 做為預設的處理機制,同時使用 iptables-nft 這一個中介層的轉換者,讓所有 user-space 的規則都會偷偷的轉換為底層的 nftables。
Ubuntu 似乎要到 20.04/20.10 的正式版本才有嘗試轉移到的動作,而 Amazon Linux 2 依然使用 iptables 來處理封包。
下篇文章會繼續從剩下的五個最佳化策略繼續介紹
https://talawah.io/blog/extreme-http-performance-tuning-one-point-two-million/
「移除ubuntu」的推薦目錄:
移除ubuntu 在 矽谷牛的耕田筆記 Facebook 的最佳解答
今天這篇文章用來介紹 docker 20.10 所帶來的改變,就算 kuberetes 未來不再預設使用 docker 作為其 CRI,但是對於本地開發者來說, docker 還是個短期不太可能淘汰的工具,所以適時的理解最新的一些變化也是不可或缺的一部分
1. Rootless 從過去的實驗性質到全面支援
自從 runc 這個 container runtime 支援 cgroupv2 之後,已經可以透過 rootless 來創造符合 OCI 標準的容器,因此 docker 也可以順便藉由這個過程一併支持 rootless 的環境
2. Logging drivers
過往大家可能比較少會去關注或是修改 docker logging 的輸出方式,比較常見的是直接基於預設的情況去使用,而有部分的解決方案可能會特別修改成 syslog 等不同方式
而 20.10 所做的事情就是強化整體的使用習慣,讓你不管底層是使用何種 logging driver,你都可以透過 docker logs 的方式去閱讀這些資訊
3. OS support
20.10 開始支援 Ubuntu 20.10, Fedora 33 以及 CentOS8
4. CLI improvements
docker CLI 一直持續改進與強化,移除沒用的功能同時也針對一些常見功能加入一些參數,譬如
1. docker push 與 docker pull 的概念一致,預設情況下,如果不給 tag 就會幫忙帶入 latest 進去
2. docker exec 可以透過事先撰寫檔案來一口氣傳入大量的環境變數
https://towardsdatascience.com/whats-new-in-docker-20-10-fd1de1216c0
移除ubuntu 在 矽谷牛的耕田筆記 Facebook 的最佳貼文
想必大家一定都有使用過 CPU Limit 的經驗,透過這個機制能夠確保每個 Container 使用的 CPU 資源量,也可以保證每個節點上面會有足夠 CPU 供 Kubernetes 原生服務 (kubelet) 使用。
然而本篇文章就要來跟大家分享一個設定 CPU Limit 反而造成效能更差的故事,故事中當 CPU 設定為 800ms 的時候,卻發現實際運行的 Container 最高大概就只有 200ms 左右,這一切的一切都是因為 Liniux Kernel 的臭蟲導致!
一個直接的做法就是針對那些本來就沒有過高 CPU 使用量服務取消其 CPU Limit,作者於文章中也探討了一些機制要如何保護與應對這些被移除 CPU 限制的服務。
這個臭蟲於 Linux Kernel 4.19 後已經修復,但是要注意你使用的發行版本是否有有包含這個修復,作者列出一些已知的發行版本修復狀況
Debian: The latest version buster has the fix, it looks quite recent (august 2020). Some previous version might have get patched.
Ubuntu: The latest version Ubuntu Focal Fosa 20.04 has the fix.
EKS has the fix since December 2019, Upgrade your AMI if necessary.
kops: Since June 2020, kops 1.18+ will start using Ubuntu 20.04 as the default host image.
GKE: THe kernel fix was merged in January 2020. But it does looks like throttling are still happening.
有興趣的歡迎點選原文閱讀更多
https://erickhun.com/posts/kubernetes-faster-services-no-cpu-limits/
移除ubuntu 在 該怎麼移除ubuntu? 的推薦與評價
該怎麼移除ubuntu? - 之前裝了ubuntu..因為用不習慣所以想改為ms的系統可是...用xp開機光碟也抓不到想ghost也不行?請問我要怎麼做才能刪除ubuntu改回 ... ... <看更多>
移除ubuntu 在 [Remove] Ubuntu 解除安裝應用程式 的推薦與評價
安裝與移除幾乎是每天都會作到的動作,移除相較安裝困難,Windows 作業系統中只需要進控制台移除程式,而在Linux 只能使用指令來做移除的動作, ... ... <看更多>
移除ubuntu 在 Re: [問題] 如何安全的移除Ubuntu? - 看板Linux - 批踢踢實業坊 的推薦與評價
1. 開機後進入grub選單,進入win7
2. 下載並安裝EASUS partition master,這是win7之下受歡迎的圖形介面的磁區分配
變更工具,很多人用它調整磁區大小。
https://www.easeus-software.com/download/epm.exe
3. 打開partition master,不管你有幾顆硬碟,在介面中可以看到ext4和swap分割區,
這兩個就是ubuntu 的,請放心delete !!!(滑鼠右鍵==>delete..有點忘記選項名稱了
XD)
4. 關閉partition master 應該會提示你重新開機,請千萬別衝動...還有一件事情要做。
下載 mbrfix https://tinyw.in/ErZU
解壓縮後會出現mbrfix和mbrfix64,如果你是安裝win7 64位元版,請用mbrfix64...
5. 進入win7 的命令列cmd (應該知道是什麼吧?)
切換到mbrfix.exe的下載目錄,輸入...
mbrfix64.exe /drive 0 listpartitions
mbrfix64.exe /drive 1 listpartitions
mbrfix64.exe /drive 2 listpartitions
這三條命令是因為你有3顆實體硬碟,要先確認win7到底是在編號幾號的drive下面...
如果看到列出ntfs和win7字樣,該編號就是win7的安裝碟!
假設確定之後是drive 0...
輸入...
mbrfix64.exe /drive 0 fixmbr /win7
6. 已經重新將win7的bootloader寫入mbr,此時請放心重新開機!
7. 完成!
※ 引述《KTiC (IV)》之銘言:
: 最近才從Windows進入Linux的世界
: 選擇了 Ubuntu 12.10當我的起始點
: 但目前需要先完整移除 Ubuntu 12.10
: 還請大家給點指示
: 情況整個系統的狀況是這樣的
: 目前主機中有三顆硬碟WD1,WD2,Seagate1
: 其中WD1只有安裝windows 7 NTFS單一作業系統
: WD2是資料碟
: Seagate1則是只有安裝 Ubuntu 12.10 Ext4
: 當時安裝Ubuntu 12.10時是抓取網路上面的ISO檔,燒錄到光碟片中,再使用光碟片來安裝
: 安裝完後每次開機都會出現一個Ubuntu創建的開機選單,有Ubuntu, win7 等選項
: 那麼我如果要反安裝整個Ubuntu 12.10
: 然後Ubuntu創建的開機選單也不要
: Windows 7在Ubuntu 12.10反安裝完後也能從我的電腦中看到Seagate1的硬碟
: 我該怎麼做或是參考那些資料呢?
: 先謝謝各位了
--
◤ ◥ ◢ ◣
傑米,炸掉它吧。 ⊙▁⊙─ ─⊙▂⊙ 碰到問題,用C4就對了!
╰ ∕皿﹨ ◥皿◤ ╯
◥█◤◢ ◥ ︶◤
Adam Savage ◤ ︶ ◥◤ ﹨▼∕◥ James Hyneman
MYTHBUSTERS ◥ ◤\◥ by dajidali
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.119.66.154
... <看更多>