2-1開始使用變數,同時要簡潔優化錄製巨集的程式。2-2以Workbooks.OpenText取得網路檔案,同步進行資料剖析清理。2-3會針對特殊型態網頁,利用Chrome工具分析POST封包參數。
歡迎報名這堂課,以網路爬蟲切入零基礎學習VBA,開始寫程式自動化Excel,現正直播中:
https://www.b88104069.com/excel-course8_vba-web-finance
同時也有19部Youtube影片,追蹤數超過7,970的網紅吳老師EXCEL VBA設計(大數據自動化)教學,也在其Youtube影片中提到,從EXCEL VBA到Python金融數據之網路爬蟲實作第7次(大樂透下載&排名取前七名與按順序輸出&安裝Python384懶人包設定&VBA用POST下載外幣匯率歷史&用VBA繪製折線圖) 01_重點回顧與大樂透下載 02_排名取前七名與按順序輸出 03_安裝Python384懶人包設定說明 0...
「爬蟲 post」的推薦目錄:
- 關於爬蟲 post 在 會計人的Excel小教室 Facebook 的最讚貼文
- 關於爬蟲 post 在 Facebook 的最佳貼文
- 關於爬蟲 post 在 吳老師excel函數與vba大數據教學 Facebook 的最讚貼文
- 關於爬蟲 post 在 吳老師EXCEL VBA設計(大數據自動化)教學 Youtube 的最佳解答
- 關於爬蟲 post 在 吳老師EXCEL VBA設計(大數據自動化)教學 Youtube 的精選貼文
- 關於爬蟲 post 在 吳老師EXCEL VBA設計(大數據自動化)教學 Youtube 的最讚貼文
- 關於爬蟲 post 在 Re: [問題] 爬蟲POST問題- 看板R_Language - 批踢踢實業坊 的評價
- 關於爬蟲 post 在 1 9 Html爬蟲Post實戰-UberEat - YouTube 的評價
- 關於爬蟲 post 在 如何使用POST 抓取網頁內容? - YouTube 的評價
- 關於爬蟲 post 在 利達祥爬蟲新世界- Posts 的評價
- 關於爬蟲 post 在 Facebook粉絲專頁爬蟲筆記 的評價
- 關於爬蟲 post 在 Facebook粉絲專頁爬蟲筆記 的評價
- 關於爬蟲 post 在 爬蟲Dcard API 2.0 版本?! - IT 空間 的評價
- 關於爬蟲 post 在 [問題] 期交所爬蟲POST回傳問題- Python | PTT Web 的評價
- 關於爬蟲 post 在 【Python 實作】PTT八卦版爬蟲 - Steven的行銷觀察 的評價
- 關於爬蟲 post 在 [問題] 爬蟲POST問題 - PTT 問答 的評價
- 關於爬蟲 post 在 Explore GitHub 的評價
爬蟲 post 在 Facebook 的最佳貼文
✅免費親子景點!!
看水豚君、鱷魚、蘇卡達象龜、鸚鵡、迷你馬...
販賣機還買的到昆蟲標本,也太有趣了!!
--------------------
✅kkday 95折折扣碼存起來
👉 https://may1215may.pixnet.net/blog/post/405292505
爬蟲 post 在 吳老師excel函數與vba大數據教學 Facebook 的最讚貼文
EXCEL VBA大數據分析視覺化程式設計
完整文字與影音連結:https://terry55wu.blogspot.com/2021/01/excel-vba.html
本學期應邀回母校台師大開課課程主要是:
用EXCEL VBA做大數據分析視覺化程式設計
另一個母校,東吳大學也邀請我開課,但限於自己的時間無法排出適合的時間,
於是系主任便推薦我開設遠距課程於是,
便有了可以在台師大上課,並將上課錄影除了提供上課學生複習,
也可以將後製後的影片,提供東吳的遠距課程的想法,
這樣我只要認真地把一次課程作法,就可以讓兩邊的學生都學習的好辦法。
於是開學後,台師大受限電腦教室,選修人數只有50人,加上加選5人,
有55位學生,幾乎是秒殺,至於東吳遠距課程,沒有這樣的限制,
所以選課人數近百人,有95位選修。
一、課程大綱:
期中前,主要從EXCEL高階函數、巨集錄製到VBA程式設計,
資料來源為政府開放資料,配合樞紐分析表。
期中後,網路爬蟲+樞紐分析到視覺化圖報表,用EXCEL內建功能與錄製巨集寫爬蟲,
無法抓取資料則用IE物件,將IE瀏覽器嵌入EXCEL VBA程式中,只要能連結的網頁,單可以下載裡面的資料。
課程進行中提供雲端講義,裡面有說明、畫面與老師自己寫的程式碼,並隨課全程錄影,
後製後上傳YOUTUBE,建立播放清單,直接件給學生複習與學習。
建立一個GOOGLE論壇,只有學生可以加入,
課後會將上課的YOUTUBE影片建立播放清單,並貼到論壇,
好處就是會自動轉信給學生,這樣我就不用一個一個的郵寄了,
用了超過十年覺得沒什麼問題,只是雖是論壇,
但討論的介面做的很不好,最好用的還是分享上課影片清單。
二、修課人數/學院分布
三、期中專題作業
四、期末專題作業
五、本學期授課心得:
1.兩學分真的有點趕,因此輔以影音錄製與雲端講義,對認真學習學生幫助很大。
2.期中專題有範圍,但許多學生都能加入自己的需求和想法,加上EXCEL容易上手,雖說需要撰寫VBA程式,但因為懂得錄製巨集與修改的方式,都能完成理想專題。
3.期末專題為難度很高的網路爬蟲+製作圖表,但結果超過預期的好,可見學生接受度很好,以學生回饋意見可知,上課錄影可重複學習備查,與雲端講義助益很大。
4.遠距學習(東吳)結果因為有影音與雲端輔助,成果不遜於實體上課。
非資訊背景教程式設計
非資訊卻講程式設計二十一年(89年巨匠教VB)
比較沒包袱,能從非資訊角度看學習與應用
重視實作,很多人看的懂書上寫的但寫不出程式
程式寫作要會寫,還要熟練,更需要完全正確(99分程式還是無法執行)
教學的核心都在如何幫助學生學會寫程式。
從EXCEL函數開始,再學習錄製巨集,再慢慢進入VBA程式設計的世界
如何幫學生寫出又快會好又正確程式
1.所有程式都是自己預先多次撰寫,用自己的寫作風格撰寫,不要求學生有標準答案,可以用自己的方式與邏輯寫程式。
2.提供雲端即時講義,取名雲端白板,有解答程式畫面結果與文字敘述。
3.隨課錄影,並課後上傳YOUTUBE播放清單用用GOOGLE論壇分享。
4.期中報告以開放資料為資料來源,用EXCEL樞紐分析圖表、函數、巨集與VBA完成專題。
5.期末報告以網路爬蟲取得資料(GET與POST),用EXCEL製作圖表與VBA完成專題。
Pyhton V.S. VBA
自己也教Pyhton發現還是比VBA來的困難
1.安裝環境
2.有EXCEL可以存資料,甚至當資料庫
3.有錄製巨集可以產生不會寫的程式
4.樞紐分析 vs Pandas
5.圖表 vs Matplotlib
入門的學生與非資訊相關科系,建議可以先從學習VBA設計下手
第14次上課教學影片分享:
(期末專題作業說明&全省氣溫改為跨工作表與物件的使用&跨工作表說明與用IE物件)
教學論壇:
https://groups.google.com/forum/#!forum/excel2vba2020
吳老師 2021/1/20 分享
爬蟲 post 在 吳老師EXCEL VBA設計(大數據自動化)教學 Youtube 的最佳解答
從EXCEL VBA到Python金融數據之網路爬蟲實作第7次(大樂透下載&排名取前七名與按順序輸出&安裝Python384懶人包設定&VBA用POST下載外幣匯率歷史&用VBA繪製折線圖)
01_重點回顧與大樂透下載
02_排名取前七名與按順序輸出
03_安裝Python384懶人包設定說明
04_VBA用POST下載外幣匯率歷史
05_用VBA繪製折線圖預告
完整影音
http://goo.gl/aQTMFS
教學論壇(之後課程會放論壇上課學員請自行加入):
https://groups.google.com/forum/#!forum/labor_python_2020
懶人包:
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524
課程簡介:入門
VBA重要函數到Python
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
檔案與資料庫處理
課程簡介:進階
處理 CSV 檔和 JSON 資料
PM2.5即時監測顯示器轉存到SQLITE資料庫
網頁資料擷取與分析、
Python網頁測試自動化、
下載外匯資料、下載YAHOO股市類股、下載威力彩
EXCEL VBA與Phython協同運作
資產負債表與券商分點買賣超
群益八大公股銀行買賣超
鉅亨網新聞與MoneyDJ新聞
7-11門市與PChome
參考書目
Excel VBA實戰技巧金融數據x網路爬蟲
作者:廖敏宏(廖志煌)
出版社:碁峰 出版日期:2019/06/30
Python大數據特訓班(第二版)
作者:鄧文淵,文淵閣工作室
出版社:碁峰?出版日期:2020/06/01
吳老師 109/11/21
EXCEL,VBA,Python,東吳推廣部,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,金融數據,網路爬蟲實作
![post-title](https://i.ytimg.com/vi/ZF8hbw9WikY/hqdefault.jpg)
爬蟲 post 在 吳老師EXCEL VBA設計(大數據自動化)教學 Youtube 的精選貼文
從EXCEL VBA到Python金融數據之網路爬蟲實作第7次(大樂透下載&排名取前七名與按順序輸出&安裝Python384懶人包設定&VBA用POST下載外幣匯率歷史&用VBA繪製折線圖)
01_重點回顧與大樂透下載
02_排名取前七名與按順序輸出
03_安裝Python384懶人包設定說明
04_VBA用POST下載外幣匯率歷史
05_用VBA繪製折線圖預告
完整影音
http://goo.gl/aQTMFS
教學論壇(之後課程會放論壇上課學員請自行加入):
https://groups.google.com/forum/#!forum/labor_python_2020
懶人包:
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524
課程簡介:入門
VBA重要函數到Python
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
檔案與資料庫處理
課程簡介:進階
處理 CSV 檔和 JSON 資料
PM2.5即時監測顯示器轉存到SQLITE資料庫
網頁資料擷取與分析、
Python網頁測試自動化、
下載外匯資料、下載YAHOO股市類股、下載威力彩
EXCEL VBA與Phython協同運作
資產負債表與券商分點買賣超
群益八大公股銀行買賣超
鉅亨網新聞與MoneyDJ新聞
7-11門市與PChome
參考書目
Excel VBA實戰技巧金融數據x網路爬蟲
作者:廖敏宏(廖志煌)
出版社:碁峰 出版日期:2019/06/30
Python大數據特訓班(第二版)
作者:鄧文淵,文淵閣工作室
出版社:碁峰?出版日期:2020/06/01
吳老師 109/11/21
EXCEL,VBA,Python,東吳推廣部,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,金融數據,網路爬蟲實作
![post-title](https://i.ytimg.com/vi/mYDprkl2ROM/hqdefault.jpg)
爬蟲 post 在 吳老師EXCEL VBA設計(大數據自動化)教學 Youtube 的最讚貼文
從EXCEL VBA到Python金融數據之網路爬蟲實作第7次(大樂透下載&排名取前七名與按順序輸出&安裝Python384懶人包設定&VBA用POST下載外幣匯率歷史&用VBA繪製折線圖)
01_重點回顧與大樂透下載
02_排名取前七名與按順序輸出
03_安裝Python384懶人包設定說明
04_VBA用POST下載外幣匯率歷史
05_用VBA繪製折線圖預告
完整影音
http://goo.gl/aQTMFS
教學論壇(之後課程會放論壇上課學員請自行加入):
https://groups.google.com/forum/#!forum/labor_python_2020
懶人包:
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524
課程簡介:入門
VBA重要函數到Python
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
檔案與資料庫處理
課程簡介:進階
處理 CSV 檔和 JSON 資料
PM2.5即時監測顯示器轉存到SQLITE資料庫
網頁資料擷取與分析、
Python網頁測試自動化、
下載外匯資料、下載YAHOO股市類股、下載威力彩
EXCEL VBA與Phython協同運作
資產負債表與券商分點買賣超
群益八大公股銀行買賣超
鉅亨網新聞與MoneyDJ新聞
7-11門市與PChome
參考書目
Excel VBA實戰技巧金融數據x網路爬蟲
作者:廖敏宏(廖志煌)
出版社:碁峰 出版日期:2019/06/30
Python大數據特訓班(第二版)
作者:鄧文淵,文淵閣工作室
出版社:碁峰?出版日期:2020/06/01
吳老師 109/11/21
EXCEL,VBA,Python,東吳推廣部,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,金融數據,網路爬蟲實作
![post-title](https://i.ytimg.com/vi/2g9uFA8XEjo/hqdefault.jpg)
爬蟲 post 在 1 9 Html爬蟲Post實戰-UberEat - YouTube 的推薦與評價
![影片讀取中](/images/youtube.png)
行銷搬進大程式#Python #爬蟲#商業#數據分析 更多Python商業分析文章、影片,請見「行銷搬進大程式」https://marketingliveincode.com 工作邀約請洽 ... ... <看更多>
爬蟲 post 在 如何使用POST 抓取網頁內容? - YouTube 的推薦與評價
![影片讀取中](/images/youtube.png)
Next: · Python 文字檔案的讀取和儲存By 彭彭 · 網路爬蟲實戰教學 · Winter Night Jazz Music - Stress relief - Relaxing Cafe Jazz Music For Sleep, Work, ... ... <看更多>
爬蟲 post 在 Re: [問題] 爬蟲POST問題- 看板R_Language - 批踢踢實業坊 的推薦與評價
※ 引述《ppp1987 (ppp)》之銘言:
: [問題類型]:
: 程式諮詢(我想用R 做某件事情,但是我不知道要怎麼用R 寫出來)
: [軟體熟悉度]:
: 入門(寫過其他程式,只是對語法不熟悉)
: [問題敘述]:
: 想爬一個網站的資料 用python可以做出來 但是用R就發生問題
: google不到解決方式
: 求板上高手幫忙
: 謝謝
: [程式範例]:
: <python> 可以順利跑出來
: import requests
: import pandas as pd
: import json
: url = "https://securev.jihsun.com.tw/JssFHCTradeNet/JSStockCR/
: StockRatingCR_P.aspx/GetData"
: headers = {'Content-Type': 'application/json; charset=UTF-8'}
: data = {'stockNo': '2330'}
: response = requests.post(url = url, data=json.dumps(data), headers=headers)
: <R>
: url = "https://securev.jihsun.com.tw/JssFHCTradeNet/JSStockCR/
: StockRatingCR_P.aspx/GetData"
: headers = c('Content-Type' = 'application/json; charset=UTF-8')
: data = '{"stockNo": "2330"}'
: get_data <- httr::POST(url = url,
: httr::add_headers(.headers=headers),
: body = data)
: # 會噴出下面的error
: # Error in curl::curl_fetch_memory(url, handle = handle) :
: # Maximum (10) redirects followed
: [環境]
: R version 4.0.4
: curl 4.3
: httr 1.4.2
: macbbok M1
: [關鍵字]:
你只要先開verbose
get_data <- POST(
url = url,
content_type("application/json"),
body = data,
verbose()
)
你會發現下面的訊息:
-> POST /JssFHCTradeNet/JSStockCR/StockRatingCR_P.aspx/GetData HTTP/1.1
-> Host: securev.jihsun.com.tw
-> User-Agent: libcurl/7.59.0 r-curl/3.3 httr/1.4.1
-> Accept-Encoding: gzip, deflate
-> Accept: application/json, text/xml, application/xml, */*
-> Content-Type: application/json
-> Content-Length: 16
->
>> {"stockNo":2330}
<- HTTP/1.1 302 Found
<- Connection: close
<- Content-Length: 0
<- Content-Type: text/html; charset=utf-8
<- Location:
https://jsmarket.jihsun.com.tw/Marketnet/Error/Error.aspx?sys=08&support_id=41102190011827406
<-
-> GET /Marketnet/Error/Error.aspx?sys=08&support_id=41102190011827406
HTTP/1.1
-> Host: jsmarket.jihsun.com.tw
-> User-Agent: libcurl/7.59.0 r-curl/3.3 httr/1.4.1
-> Accept-Encoding: gzip, deflate
-> Accept: application/json, text/xml, application/xml, */*
-> Content-Type: application/json
->
<- HTTP/1.1 302 Found
<- Connection: close
<- Content-Length: 0
<- Content-Type: text/html; charset=utf-8
<- Location:
https://jsmarket.jihsun.com.tw/Marketnet/Error/Error.aspx?sys=09&support_id=41102190016500008
你可以把上面的Error網址點進去,就是一個錯誤訊息
所以就可以排除是redirection的問題了
不過補充一下,如果是redirection的話,解法如下:
get_data <- POST(
url = url,
content_type("application/json"),
body = data,
config(maxredirs=-1)
)
所以就很簡單猜測一下,可能user agent不對
get_data <- POST(
url = url,
content_type("application/json"),
body = data,
user_agent("Chrome/89.0.4389.114"),
verbose()
)
這樣就過了
-> POST /JssFHCTradeNet/JSStockCR/StockRatingCR_P.aspx/GetData HTTP/1.1
-> Host: securev.jihsun.com.tw
-> User-Agent: Chrome/89.0.4389.114
-> Accept-Encoding: gzip, deflate
-> Cookie: ASP.NET_SessionId=1wl2d0fpigsiiwxvoudb0jlw;
TS014ea3cc=01b12d6ecc001a4641027d81bf890dc86511b24c71a79e3cb594413c98562558ff8e91057a93a67298bc1020dfa0f573cd9c0bd7cd
-> Accept: application/json, text/xml, application/xml, */*
-> Content-Type: application/json
-> Content-Length: 16
->
>> {"stockNo":2330}
<- HTTP/1.1 200 OK
<- Cache-Control: private, max-age=0
<- Content-Type: application/json; charset=utf-8
<- X-AspNet-Version: 4.0.30319
<- X-Powered-By: ASP.NET
<- Date: Wed, 07 Apr 2021 05:43:44 GMT
<- Content-Length: 13571
<-
以上
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.24.106.91 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1617774247.A.1D6.html
... <看更多>