課程特價中
什麼是網頁爬蟲？
假設你的老闆給了你一個任務，他希望你從一個網站上提取大約 1000 個產品，將資料結構化並儲存到資料庫中，你會手動複製貼上所有的產品細節，包括產品名稱、網址和價格？我可以想像你會工作幾天幾夜，但你不會完成這個任務，所以這就是網頁爬蟲的優勢。因此，網頁爬蟲，或網頁採集或網頁資料提取就像寫一個指令碼，可以在幾分鐘內自動從網站上提取資料！。
為什麼是 LXML 而不是 BeautifulSoup？
LXML 是一個輕量級的 HTML 解析器，即使是最流行的網頁抓取框架（Scrapy）也是建立在LXML之上的，BeautifulSoup 在開放給我們的功能數量上有點過剩，它有更多的功能可以使用，是的，沒錯 然而，在Web Scraping中，大多數時候我們使用 XPath 和 CSS 選擇器來瀏覽和選擇要從HTML網頁（樹）中爬取的內容，所以沒有必要學習新的功能，也沒有必要浪費那麼多時間來熟悉 BeautifulSoup 的 API 和內部架構，此外，LXML在效能方面也比BeautifulSoup好得多。
https://softnshare.com/web-scraping-with-python-using-requests-lxml-splash/
javascript抓網頁資料 在 [問題] js生成的網頁資料抓取- 看板R_Language - 批踢踢實業坊 的推薦與評價
[問題類型]:
程式諮詢(我想用R 做某件事情，但是我不知道要怎麼用R 寫出來)
[軟體熟悉度]:
使用者(已經有用R 做過不少作品)
[問題敘述]:
如下圖，想抓取紅色方框中的資料
已知該表格由javascript動態生成
爬了開發者工具 始終找不到資料存放的位置或網址
倒是下面的大表格中有找到資料
有想說是不是需要GET/POST來獲得資料
但找不到確切的url 不知從何下手
希望能有大大幫忙開示解惑
[程式範例]:
name <- "NovakDjokovic"
url2 <- paste0("https://www.tennisabstract.com/cgi-bin/player.cgi?p=", name)
page2 <- read_html(url2)
html_text(page2)
會print出一堆程式碼但沒有我要的資料
[環境敘述]:
R version 3.3.3 (2017-03-06)
Platform: x86_64-w64-mingw32/x64 (64-bit)
Running under: Windows >= 8 x64 (build 9200)
[關鍵字]:
網頁爬蟲 rvest javascript
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.42.8.54 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/R_Language/M.1563347953.A.DD1.html
更新一下
後來發現網頁元素中其實有找到資料
但用老方法css標籤以及xpath抓出的資料都是空白
誤以為資料不在裡面
下圖為程式執行結果
試了幾種方式都撈不出資料
※ 編輯: justleave (114.42.13.59 臺灣), 07/18/2019 08:29:59
... <看更多>