最近證交所的頁面更新，除了讓人有耳目一新的感覺，也帶給 爬蟲 (Python Crawler)全新的挑戰！尤其很多人發現，只要頻繁抓取該網站頁面 資訊 ， ... ... <看更多>
公開資訊觀測站爬蟲 限制 在 [爬蟲實戰] 如何突破證交所的限制，穩穩抓取最新成交資訊? 的推薦與評價
「公開資訊觀測站爬蟲 限制」的推薦目錄：
- 關於公開資訊觀測站爬蟲 限制 在 [問題] 公開資訊觀測站股東會爬蟲- 看板Python - 批踢踢實業坊 的評價
- 關於公開資訊觀測站爬蟲 限制 在 [爬蟲實戰] 如何突破證交所的限制，穩穩抓取最新成交資訊? 的評價
- 關於公開資訊觀測站爬蟲 限制 在 公開資訊觀測站爬蟲限制的問題包括PTT、Dcard、Mobile01 的評價
- 關於公開資訊觀測站爬蟲 限制 在 公開資訊觀測站爬蟲限制的問題包括PTT、Dcard、Mobile01 的評價
- 關於公開資訊觀測站爬蟲 限制 在 公開資訊觀測站爬蟲限制的問題包括PTT、Dcard、Mobile01 的評價
- 關於公開資訊觀測站爬蟲 限制 在 公開資訊觀測站重大訊息爬蟲的問題包括PTT、Dcard、Mobile01 的評價
- 關於公開資訊觀測站爬蟲 限制 在 公開資訊觀測站重大訊息爬蟲的問題包括PTT、Dcard、Mobile01 的評價
- 關於公開資訊觀測站爬蟲 限制 在 公開資訊觀測站重大訊息爬蟲的問題包括PTT、Dcard、Mobile01 的評價
- 關於公開資訊觀測站爬蟲 限制 在 更新：用了大大留言的方法，直接打ajax真的快很多 的評價
- 關於公開資訊觀測站爬蟲 限制 在 爬蟲範例_公開資訊觀測站重大訊息主旨全文檢索爬蟲.R 的評價
- 關於公開資訊觀測站爬蟲 限制 在 公開資訊觀測站爬蟲的情報與評價，PTT、FACEBOOK和網 ... 的評價
- 關於公開資訊觀測站爬蟲 限制 在 公開資訊觀測站爬蟲的情報與評價，PTT、FACEBOOK和網 ... 的評價
- 關於公開資訊觀測站爬蟲 限制 在 網路上關於證交所鎖ip-在PTT/MOBILE01/Dcard上的升學考試 ... 的評價
- 關於公開資訊觀測站爬蟲 限制 在 網路上關於證交所鎖ip-在PTT/MOBILE01/Dcard上的升學考試 ... 的評價
- 關於公開資訊觀測站爬蟲 限制 在 網路上關於證交所鎖ip-在PTT/MOBILE01/Dcard上的升學考試 ... 的評價
- 關於公開資訊觀測站爬蟲 限制 在 (不定期更新)使用VBA解決excel web 查詢無法匯入 的評價
- 關於公開資訊觀測站爬蟲 限制 在 [其他] 自動爬取公開觀測站股利報告書(python) - Stock 的評價
- 關於公開資訊觀測站爬蟲 限制 在 給初學者的Python爬蟲學習架構 的評價
公開資訊觀測站爬蟲 限制 在 公開資訊觀測站爬蟲限制的問題包括PTT、Dcard、Mobile01 的推薦與評價
我在爬公開資訊觀測站的資料遇到一個問題，已經卡了我2天QQ 就是我想要抓取股東會的開會日期跟辦理過戶日期的時間。 爬蟲的程式碼，輸入股票代碼跟跳出 ... 亞洲大學會計與 ... ... <看更多>
公開資訊觀測站爬蟲 限制 在 公開資訊觀測站爬蟲限制的問題包括PTT、Dcard、Mobile01 的推薦與評價
我在爬公開資訊觀測站的資料遇到一個問題，已經卡了我2天QQ 就是我想要抓取股東會的開會日期跟辦理過戶日期的時間。 爬蟲的程式碼，輸入股票代碼跟跳出 ... 亞洲大學會計與 ... ... <看更多>
公開資訊觀測站爬蟲 限制 在 公開資訊觀測站爬蟲限制的問題包括PTT、Dcard、Mobile01 的推薦與評價
我在爬公開資訊觀測站的資料遇到一個問題，已經卡了我2天QQ 就是我想要抓取股東會的開會日期跟辦理過戶日期的時間。 爬蟲的程式碼，輸入股票代碼跟跳出 ... 亞洲大學會計與&nbsp;... ... <看更多>
公開資訊觀測站爬蟲 限制 在 公開資訊觀測站重大訊息爬蟲的問題包括PTT、Dcard、Mobile01 的推薦與評價
公開資訊觀測站 重大訊息爬蟲的問題，我們搜遍了碩博士論文和台灣出版的書籍，推薦廖敏宏（廖志煌）寫的 Python x Excel VBA x JavaScript：網路爬蟲x 實戰演練 可以 ... ... <看更多>
公開資訊觀測站爬蟲 限制 在 公開資訊觀測站重大訊息爬蟲的問題包括PTT、Dcard、Mobile01 的推薦與評價
公開資訊觀測站 重大訊息爬蟲的問題，我們搜遍了碩博士論文和台灣出版的書籍，推薦廖敏宏（廖志煌）寫的 Python x Excel VBA x JavaScript：網路爬蟲x 實戰演練 可以 ... ... <看更多>
公開資訊觀測站爬蟲 限制 在 公開資訊觀測站重大訊息爬蟲的問題包括PTT、Dcard、Mobile01 的推薦與評價
公開資訊觀測站 重大訊息爬蟲的問題，我們搜遍了碩博士論文和台灣出版的書籍，推薦廖敏宏（廖志煌）寫的 Python x Excel VBA x JavaScript：網路爬蟲x 實戰演練 可以&nbsp;... ... <看更多>
公開資訊觀測站爬蟲 限制 在 更新：用了大大留言的方法，直接打ajax真的快很多 的推薦與評價
更新：用了大大留言的方法，直接打ajax真的快很多確實是不太熟悉網頁所以寫了效能比較差的方法------- 公開資訊觀測站改版後比較難爬（對新手如我來 ... ... <看更多>
公開資訊觀測站爬蟲 限制 在 爬蟲範例_公開資訊觀測站重大訊息主旨全文檢索爬蟲.R 的推薦與評價
R語言應用於量化投資基本教材. Contribute to SuYenTing/Quantitative_investment_material_in_R development by creating an account on GitHub. ... <看更多>
公開資訊觀測站爬蟲 限制 在 網路上關於證交所鎖ip-在PTT/MOBILE01/Dcard上的升學考試 ... 的推薦與評價
... 公開資訊觀測站中，其問題發生的原因，是因為公開資訊觀測站的伺服器，將您的IP給 ... [爬蟲實戰] 如何突破證交所的限制，穩穩抓取最新成交資訊? https://www.youtube ... ... <看更多>
公開資訊觀測站爬蟲 限制 在 網路上關於證交所鎖ip-在PTT/MOBILE01/Dcard上的升學考試 ... 的推薦與評價
... 公開資訊觀測站中，其問題發生的原因，是因為公開資訊觀測站的伺服器，將您的IP給 ... [爬蟲實戰] 如何突破證交所的限制，穩穩抓取最新成交資訊? https://www.youtube ... ... <看更多>
公開資訊觀測站爬蟲 限制 在 網路上關於證交所鎖ip-在PTT/MOBILE01/Dcard上的升學考試 ... 的推薦與評價
... 公開資訊觀測站中，其問題發生的原因，是因為公開資訊觀測站的伺服器，將您的IP給 ... [爬蟲實戰] 如何突破證交所的限制，穩穩抓取最新成交資訊? https://www.youtube&nbsp;... ... <看更多>
公開資訊觀測站爬蟲 限制 在 (不定期更新)使用VBA解決excel web 查詢無法匯入 的推薦與評價
(6/03 149樓，增加台灣股市資訊網全自動範例,修正71樓錯誤) (6/09 120樓，因公開資訊觀測站，新增了查詢次數限制，增加4行中斷用程式碼，避免錯誤發生) ... <看更多>
公開資訊觀測站爬蟲 限制 在 [其他] 自動爬取公開觀測站股利報告書(python) - Stock 的推薦與評價
公開資訊觀測站 改版後比較難爬但網路上很多爬蟲是針對舊版網頁的這邊提供抓股利報告書的範例對python跟selenium有基礎的應該可以很快改成爬其他資料 ... ... <看更多>
公開資訊觀測站爬蟲 限制 在 給初學者的Python爬蟲學習架構 的推薦與評價
大家可以直接上去這個網頁(公開資訊觀測站)按F12中element看看，這裡就不演示了。 Selector以及Xpath. 上面講了主要組成網頁的基本元素，接下來要講的 ... ... <看更多>
公開資訊觀測站爬蟲 限制 在 [問題] 公開資訊觀測站股東會爬蟲- 看板Python - 批踢踢實業坊 的推薦與評價
各位大神們好！我在爬公開資訊觀測站的資料遇到一個問題，已經卡了我2天QQ
就是我想要抓取股東會的開會日期跟辦理過戶日期的時間。
爬蟲的程式碼，輸入股票代碼跟跳出新的視窗顯示文件都沒問題，但是要抓下開會日期跟
停止過戶日期都抓不到。
使用 tbody =driver.find_element_by_xpath(' //*[@id="table01"]/center/table[3]/
tbody')
然而 tbody.text都只顯示 '召集受益人大會公告'，以致我自訂函數抓日期都抓不到。
不曉得是有哪邊出錯了，或是有什麼相關網址可以參考，再麻煩各位善心的大大們回答了
！謝謝！再次感謝大家
我的電腦是 Mac
使用的是 Anaconda 下的 Spyder
有參考 https://medium.com/smartalpha/使用-selenium-firefox-動態爬取公開觀測站
資料-eb84e7b034c
程式碼如下：
from openpyxl import * # for excel
from selenium import webdriver # open browser
from selenium.webdriver.support.ui import Select
from bs4 import BeautifulSoup # 解析html
import time #休息時間
import requests
driver = webdriver.Firefox(executable_path = '/usr/local/bin/geckodriver')
url = 'https://mops.twse.com.tw/mops/web/t108sb16_q1'
driver.get(url) # 前往這個網站
data_list = []
data_dict = {}
ticker = '2330'
try:
print(ticker,"Start searchinh!")
keyword = driver.find_element_by_id("co_id")
keyword.clear()
keyword.send_keys(ticker)
search_button = driver.find_element_by_css_selector("#search_bar1 > div >
input[type=button] ")
search_button.click()
time.sleep(2)
except:
driver.quit()
try:
go_to_data_page_button = driver.find_element_by_xpath(
"/html/body/center/table/tbody/tr/td/div[4]/table/tbody/tr/td/div/tabl
e/tbody/tr/td[3]/div/div[5]/div/center/form/table[2]/tbody/tr[2]/td[5]/input"
)
go_to_data_page_button.click()
except Exception as e:
print("查無：",ticker)
def find_between(s,first,last):
try:
start = s.index(first)+len(first)
end = s.index(last,start)
return s[start:end]
except ValueError:
return ""
def analyze_text(text):
shareholders_meeting_date = find_between(tbody.text,"開會日期：","").strip
()
shareholders_meeting_date = shareholders_meeting_date.replace("年",'/')
shareholders_meeting_date = shareholders_meeting_date.replace("月",'/')
shareholders_meeting_date = shareholders_meeting_date.replace("日",'')
shareholders_last_transfer_date = find_between(tbody.text,"辦理過戶日期時
間：","").strip()
shareholders_last_transfer_date = shareholders_last_transfer_date.replace(
"年",'/')
shareholders_last_transfer_date= shareholders_last_transfer_date.replace("
月",'/')
shareholders_last_transfer_date = shareholders_last_transfer_date.replace(
"日",'')
return [shareholders_meeting_date,shareholders_last_transfer_date ]
tbody = driver.find_element_by_xpath(' //*[@id="table01"]/center/table[3]/tbod
y')
analyze_text(tbody.text)
data_list.append([ticker, analyze_text(tbody.text)])
data_analyzed = analyze_text(tbody.text)
data_dict[ticker] = data_analyzed
print(ticker,":",data_analyzed)
driver.close()
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.217.46.235 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1628950605.A.401.html
... <看更多>