繼之前分享如何實作「窮人版 ELK」之後，再來分享一下這個服務裡面的 DSL 是如何實作的。會想到要為這個服務做 DSL，主要是小編雖然已經把 Impala 產生的資料利用一些工具轉成 PNG 圖檔，但動作太繁雜，所以想把這些過程用 DSL 來表示，工程師只要會下 SQL 就能把資料轉成 PNG 圖檔了。
其實對於 DSL，有在 follow 粉絲頁的朋友應該有注意到，小編很久以前就有一個屬意的方案了，那就是 MSON。它結合了 Markdown 以及 JSON，所以不只人類易讀，機器也易讀。只不過 MSON Parser 一直都是殘缺不全，所以沒辦法讓小編完整的實作 DSL，這個方案就被捨棄了。
另一個也很適合拿來做 DSL 的就是 YAML 了，個人覺得跟 MSON 比起來易讀性稍低一點，但已經是目前還不錯的實作方式，所以就以這個來做為「窮人版 ELK」的 DSL 實作方案。
DSL 已經把所有轉換的細節都隱藏起來了，工程師只要先自己在 Impala 上撰寫正確的 SQL 指令，其他動作只要把必要欄位填完就可以了。下面是必要欄位的說明：
* SQL：要在 Impala 裡面執行的 SQL 指令，其中有用 ":VAR" 包起來的變數名稱，表示是從 INPUT 欄位取得
* CHART：highcharts 的圖表格式，DSL 目前支援 column (長條圖)、pie (圓餅圖)
* INPUT：這是一個陣列，表示這個變數名稱是從外部操作時取得，另外後面的 "date" 為資料型態，目前支援的類型為 HTML 的 input[type]
* OUTPUT：產生 PNG 圖檔時的欄位資訊，如 X 軸是從 Impala 的哪個欄位取得，顯示在圖表上的名稱要叫什麼
至於轉換細節又是另一件麻煩事，將 DSL 轉成最後的圖檔又經過了不少步驟：
1. js-yaml：雖然說 YAML 很適合拿來做 DSL，但 JSON 還是目前大家最常用的格式。所以當然要先把 YAML 轉成 JSON 這樣才好操作 XD
2. jq：轉換過程中 jq 幫了小編很大的忙，官網寫著這是一套輕量且靈活的命令列 JSON 處理工具。無論要對 JSON 取 key、取 value、取 length、做 group by、做 sort by、if-else、while-loop 都可以，就是很強大。所以小編就拿這個將 YAML 轉換完的 JSON，用一堆奇怪的語法把資料轉換成功。
其實在轉換過程最麻煩的不是操作 JSON，最麻煩的在小編不太會寫 bash script 啊！！！尤其是一堆變數轉換的過程，一下子用 ${}，一下子用 $()，還有 ${[$k]} 的這種寫法，看了頭好痛 Orz
最後把 jq 轉完的資料丟給前一篇提到的那些工具，就可以完美把 PNG 圖檔產生出來了，第二篇的「窮人版 ELK」文章到此也就結束了。其實這個專案還有另一個跟圖表無關的功能，那就是即時觀看 API 發送歷程，如果有第三篇的話再來分享一下好了。
* 如何實作「窮人版 ELK」：https://www.facebook.com/kewang.information/posts/2085843121692051
* 如何使用 MSON 的幾個方向：https://www.facebook.com/kewang.information/posts/1940647046211660
* jq：https://stedolan.github.io/jq
#mson #dsl #yaml #json #jq
bash變數 在 [問題] bash shell function傳入有含空格的變數- 看板Linux 的推薦與評價
最近剛開始學bash shell 遇到一個問題
如果我今天寫一個function
function printSth(){
echo $1
}
我要傳入的變數是
myVar="Hello World"
但我如果單純下指令:
printSth myVar
他只會印出Hello，而World就會被他當成第二個變數而沒有印出
請問有甚麼方法讓我傳入的變數可以包含空格嗎
(有試過跳脫字元也沒用 "Hello\ World")
感謝!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.25.15.205
※ 文章網址: https://www.ptt.cc/bbs/Linux/M.1413011040.A.3E0.html
... <看更多>