繼之前分享如何實作「窮人版 ELK」之後,再來分享一下這個服務裡面的 DSL 是如何實作的。會想到要為這個服務做 DSL,主要是小編雖然已經把 Impala 產生的資料利用一些工具轉成 PNG 圖檔,但動作太繁雜,所以想把這些過程用 DSL 來表示,工程師只要會下 SQL 就能把資料轉成 PNG 圖檔了。
其實對於 DSL,有在 follow 粉絲頁的朋友應該有注意到,小編很久以前就有一個屬意的方案了,那就是 MSON。它結合了 Markdown 以及 JSON,所以不只人類易讀,機器也易讀。只不過 MSON Parser 一直都是殘缺不全,所以沒辦法讓小編完整的實作 DSL,這個方案就被捨棄了。
另一個也很適合拿來做 DSL 的就是 YAML 了,個人覺得跟 MSON 比起來易讀性稍低一點,但已經是目前還不錯的實作方式,所以就以這個來做為「窮人版 ELK」的 DSL 實作方案。
DSL 已經把所有轉換的細節都隱藏起來了,工程師只要先自己在 Impala 上撰寫正確的 SQL 指令,其他動作只要把必要欄位填完就可以了。下面是必要欄位的說明:
* SQL:要在 Impala 裡面執行的 SQL 指令,其中有用 ":VAR" 包起來的變數名稱,表示是從 INPUT 欄位取得
* CHART:highcharts 的圖表格式,DSL 目前支援 column (長條圖)、pie (圓餅圖)
* INPUT:這是一個陣列,表示這個變數名稱是從外部操作時取得,另外後面的 "date" 為資料型態,目前支援的類型為 HTML 的 input[type]
* OUTPUT:產生 PNG 圖檔時的欄位資訊,如 X 軸是從 Impala 的哪個欄位取得,顯示在圖表上的名稱要叫什麼
至於轉換細節又是另一件麻煩事,將 DSL 轉成最後的圖檔又經過了不少步驟:
1. js-yaml:雖然說 YAML 很適合拿來做 DSL,但 JSON 還是目前大家最常用的格式。所以當然要先把 YAML 轉成 JSON 這樣才好操作 XD
2. jq:轉換過程中 jq 幫了小編很大的忙,官網寫著這是一套輕量且靈活的命令列 JSON 處理工具。無論要對 JSON 取 key、取 value、取 length、做 group by、做 sort by、if-else、while-loop 都可以,就是很強大。所以小編就拿這個將 YAML 轉換完的 JSON,用一堆奇怪的語法把資料轉換成功。
其實在轉換過程最麻煩的不是操作 JSON,最麻煩的在小編不太會寫 bash script 啊!!!尤其是一堆變數轉換的過程,一下子用 ${},一下子用 $(),還有 ${[$k]} 的這種寫法,看了頭好痛 Orz
最後把 jq 轉完的資料丟給前一篇提到的那些工具,就可以完美把 PNG 圖檔產生出來了,第二篇的「窮人版 ELK」文章到此也就結束了。其實這個專案還有另一個跟圖表無關的功能,那就是即時觀看 API 發送歷程,如果有第三篇的話再來分享一下好了。
* 如何實作「窮人版 ELK」:https://www.facebook.com/kewang.information/posts/2085843121692051
* 如何使用 MSON 的幾個方向:https://www.facebook.com/kewang.information/posts/1940647046211660
* jq:https://stedolan.github.io/jq
#mson #dsl #yaml #json #jq
同時也有9部Youtube影片,追蹤數超過7,970的網紅吳老師EXCEL VBA設計(大數據自動化)教學,也在其Youtube影片中提到,從EXCEL VBA到Python開發第7次上課(抓取開放資料CSV檔&將SQL改寫為查詢蔬菜名稱關鍵字&HTML與CSS基礎與擷取JSON格式&json轉存為CSV檔&xml與用ElementTree解析) 01_重點回顧與抓取開放資料CSV檔 02_安裝requests套件與下載CSV資料 0...
「html 讀 取 json檔」的推薦目錄:
- 關於html 讀 取 json檔 在 Kewang 的資訊進化論 Facebook 的最讚貼文
- 關於html 讀 取 json檔 在 吳老師EXCEL VBA設計(大數據自動化)教學 Youtube 的最佳貼文
- 關於html 讀 取 json檔 在 吳老師EXCEL VBA設計(大數據自動化)教學 Youtube 的精選貼文
- 關於html 讀 取 json檔 在 吳老師EXCEL VBA設計(大數據自動化)教學 Youtube 的精選貼文
- 關於html 讀 取 json檔 在 [問題] 網頁擷取JSON檔的資料- 看板Web_Design 的評價
- 關於html 讀 取 json檔 在 前端JQuery應用實戰筆記4 - JSON 資料格式(上) - Gary Note 的評價
- 關於html 讀 取 json檔 在 json檔案讀取2023-在Facebook/IG/Youtube上的焦點新聞和 ... 的評價
- 關於html 讀 取 json檔 在 json檔案讀取2023-在Facebook/IG/Youtube上的焦點新聞和 ... 的評價
- 關於html 讀 取 json檔 在 javascript讀取json檔案的問題包括PTT、Dcard、Mobile01 的評價
- 關於html 讀 取 json檔 在 javascript讀取json檔案的問題包括PTT、Dcard、Mobile01 的評價
- 關於html 讀 取 json檔 在 javascript讀取json檔案的問題包括PTT、Dcard、Mobile01 的評價
- 關於html 讀 取 json檔 在 06 HTML與CSS基礎與擷取JSON格式- YouTube 的評價
- 關於html 讀 取 json檔 在 javascript讀取本地檔案的推薦與評價,GITHUB - 最新趨勢觀測站 的評價
html 讀 取 json檔 在 吳老師EXCEL VBA設計(大數據自動化)教學 Youtube 的最佳貼文
從EXCEL VBA到Python開發第7次上課(抓取開放資料CSV檔&將SQL改寫為查詢蔬菜名稱關鍵字&HTML與CSS基礎與擷取JSON格式&json轉存為CSV檔&xml與用ElementTree解析)
01_重點回顧與抓取開放資料CSV檔
02_安裝requests套件與下載CSV資料
03_用Notepadplus查看特殊字元與切割資料
04_將下載資料寫入到資料庫與查詢
05_將SQL改寫為查詢蔬菜名稱關鍵字
06_HTML與CSS基礎與擷取JSON格式
07_讀取JSON資料與只取values部分
08_json轉存為CSV檔
09_xml與用ElementTree解析
完整教學
http://goo.gl/aQTMFS
吳老師教學論壇
http://www.tqc.idv.tw/
教學論壇(之後課程會放論壇上課學員請自行加入):
https://groups.google.com/forum/#!forum/scu_python111
課程簡介:入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介:進階
網頁資料擷取與分析、Python網頁測試自動化、YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理 CSV 檔和 JSON 資料
實戰:PM2.5即時監測顯示器、Email 和文字簡訊、處理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠
上課用書:
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者: 鄧文淵/總監製, 文淵閣工作室/編著?
出版社:碁峰 出版日期:2016/11/29
Python程式設計入門
作者:葉難
ISBN:9789864340057
出版社:博碩文化
出版日期:2015/04/02
吳老師 109/8/10
EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境

html 讀 取 json檔 在 吳老師EXCEL VBA設計(大數據自動化)教學 Youtube 的精選貼文
從EXCEL VBA到Python開發第7次上課(抓取開放資料CSV檔&將SQL改寫為查詢蔬菜名稱關鍵字&HTML與CSS基礎與擷取JSON格式&json轉存為CSV檔&xml與用ElementTree解析)
01_重點回顧與抓取開放資料CSV檔
02_安裝requests套件與下載CSV資料
03_用Notepadplus查看特殊字元與切割資料
04_將下載資料寫入到資料庫與查詢
05_將SQL改寫為查詢蔬菜名稱關鍵字
06_HTML與CSS基礎與擷取JSON格式
07_讀取JSON資料與只取values部分
08_json轉存為CSV檔
09_xml與用ElementTree解析
完整教學
http://goo.gl/aQTMFS
吳老師教學論壇
http://www.tqc.idv.tw/
教學論壇(之後課程會放論壇上課學員請自行加入):
https://groups.google.com/forum/#!forum/scu_python111
課程簡介:入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介:進階
網頁資料擷取與分析、Python網頁測試自動化、YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理 CSV 檔和 JSON 資料
實戰:PM2.5即時監測顯示器、Email 和文字簡訊、處理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠
上課用書:
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者: 鄧文淵/總監製, 文淵閣工作室/編著?
出版社:碁峰 出版日期:2016/11/29
Python程式設計入門
作者:葉難
ISBN:9789864340057
出版社:博碩文化
出版日期:2015/04/02
吳老師 109/8/10
EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境

html 讀 取 json檔 在 吳老師EXCEL VBA設計(大數據自動化)教學 Youtube 的精選貼文
從EXCEL VBA到Python開發第7次上課(抓取開放資料CSV檔&將SQL改寫為查詢蔬菜名稱關鍵字&HTML與CSS基礎與擷取JSON格式&json轉存為CSV檔&xml與用ElementTree解析)
01_重點回顧與抓取開放資料CSV檔
02_安裝requests套件與下載CSV資料
03_用Notepadplus查看特殊字元與切割資料
04_將下載資料寫入到資料庫與查詢
05_將SQL改寫為查詢蔬菜名稱關鍵字
06_HTML與CSS基礎與擷取JSON格式
07_讀取JSON資料與只取values部分
08_json轉存為CSV檔
09_xml與用ElementTree解析
完整教學
http://goo.gl/aQTMFS
吳老師教學論壇
http://www.tqc.idv.tw/
教學論壇(之後課程會放論壇上課學員請自行加入):
https://groups.google.com/forum/#!forum/scu_python111
課程簡介:入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介:進階
網頁資料擷取與分析、Python網頁測試自動化、YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理 CSV 檔和 JSON 資料
實戰:PM2.5即時監測顯示器、Email 和文字簡訊、處理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠
上課用書:
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者: 鄧文淵/總監製, 文淵閣工作室/編著?
出版社:碁峰 出版日期:2016/11/29
Python程式設計入門
作者:葉難
ISBN:9789864340057
出版社:博碩文化
出版日期:2015/04/02
吳老師 109/8/10
EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境

html 讀 取 json檔 在 前端JQuery應用實戰筆記4 - JSON 資料格式(上) - Gary Note 的推薦與評價
"讀取JSON檔案資料,文字目前顯示網頁正在維護中。請之後再重試!" all.js ... ... <看更多>
html 讀 取 json檔 在 json檔案讀取2023-在Facebook/IG/Youtube上的焦點新聞和 ... 的推薦與評價
我們公司的網站無法存取json檔案一開始我以為是我js寫錯了... 後來才發現是網站讀不了".json" ※直接瀏覽json網址會出現找不到網頁於是我請後端去幫我 ... ... <看更多>
html 讀 取 json檔 在 [問題] 網頁擷取JSON檔的資料- 看板Web_Design 的推薦與評價
如題
我電腦裡有一個JSON檔案
我現在在寫一個網頁,是HTML
我想讓這個網頁
可以對我的JSON檔裡面做搜尋
然後將結果顯示到網頁上
請問要怎麼做QQ
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.204.19.167 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Web_Design/M.1569384606.A.75E.html
問一下喔
我在html裡面插入這串
為什麼沒有反應QQ
<script type="text/javascript">
<!JavaScript的物件表示>
$(document).ready(function() {
var str = "C:\Users\UTV\Desktop\dbxr.json";
url =str;
$.ajaxSetup({
async: false
});
$.getJSON(url, {}, function (data)
$("#ip_str").text(data.ip_str);
$("#port").text(data.port);
});
});
</script>>
※ 編輯: kororoDX (180.204.19.167 臺灣), 09/25/2019 14:42:55
... <看更多>