電商數(shù)據(jù)分析專家分享怎么用Excel收集淘寶龐大的搜索數(shù)據(jù)，從收集數(shù)據(jù)的找數(shù)、采數(shù)和洗數(shù)三個過程分別講解

SEP技術支持 | 05-19 13:51

推薦使用：Excel數(shù)據(jù)采集軟件(免費下載，像Excel一樣極速上手，可靈活自定義的企業(yè)管理軟件)

大家好，我是電子商務數(shù)據(jù)分析專家，讓我們從一則廣告開始。我是做最權威的電子商務數(shù)據(jù)分析社群，每周原創(chuàng)藍海產(chǎn)品信息開始幫助企業(yè)了解商業(yè)機會，并歡迎感興趣的人。
進入主題，用Excel收集數(shù)據(jù)并不難，可以用VBA或Power Query實現(xiàn)。從淘寶，收集100頁的搜索數(shù)據(jù)并不難，但要指定Excel就有點困難了。因為在淘寶反爬蟲機制的作用下，100頁，即連續(xù)100次訪問搜索結果頁面，并不像想象中那么簡單，但也不像想象中那么困難。理解這兩個重要的操作并不難。
那么，我最好從頭開始，否則文章會沉下去(每個人都無法理解)。
簡而言之，收集數(shù)據(jù)的三個過程是找數(shù)、采數(shù)和洗數(shù)。

“查找號碼”是指從網(wǎng)頁或軟件包的源代碼中查找數(shù)據(jù)，并且只有在找到數(shù)據(jù)時才查找目標網(wǎng)址。
以淘寶搜索為例，在瀏覽器的網(wǎng)址上搜索到關鍵詞茶煙后。
https://s.taobao.com/search?q=tea smoke img file=comment=all ssid=S5-esearch _ type=items ourceid=TB . indexspm=a21bo . 2017.201856-obao-item . 1ie=utf 8 initiative _ id=tbindexz _ 2017 0306
點擊頁面上的鼠標右鍵，查看源代碼或在菜單中查看源代碼等。只要是表達這個意思，因為不同的瀏覽器有不同的名稱。
一個重要的步驟是，源代碼頁搜索前景看到的目標信息，如標題或價格。
從搜索中獲得的描述數(shù)據(jù)在這個網(wǎng)址中，所以上面的網(wǎng)址是目標地址。
但是，此時只有一頁數(shù)據(jù)，目標是100頁。這將如何構建？
s=44
s=88
s=132
通過觀察2-4頁的網(wǎng)址之間的差異，不難發(fā)現(xiàn)該頁是一個從0開始的44步的算術級數(shù)。因此，Excel是非常好的實現(xiàn)，生成一個100頁的網(wǎng)址。

這樣，下一步可以使用目標網(wǎng)址進入。
取樣編號是下載文件的目標網(wǎng)址。
將鏈接加載到超級查詢(查詢編輯器)

有兩個關鍵操作。首先是添加餅干。如果沒有cookie，將需要登錄。
在開發(fā)人員模式下找到文檔的cookie(在網(wǎng)頁上按F12)，并復制cookie的內(nèi)容。

將cookie的內(nèi)容添加到超級查詢。

之后，是時候下載數(shù)據(jù)了。下載數(shù)據(jù)使用網(wǎng)絡。內(nèi)容，文本。從二進制文件轉換成文本，這是我們在前臺看到的HTML。
短信。從二進制(網(wǎng)絡。內(nèi)容([網(wǎng)址)，[標題=[#'cookie'=[cookie]]))
但還沒有。即使使用cookie，在一定時間內(nèi)過于頻繁地訪問淘寶搜索頁面也會受到限制。因此，操作的第二個關鍵點是增加延遲。
功能。InvokeAfter(()=采集過程，持續(xù)時間. fromtext ('003360336005 '))
顯然，延遲設置為5秒。正常人每頁至少要停留20秒。5秒的設置是為了避免cookie過期。
總的來說，整個功能是
功能。invokeAfter(()=文本。從二進制(網(wǎng)絡。內(nèi)容([網(wǎng)址)，[標題=[#'cookie'=[cookie]]))，持續(xù)時間。從文本(' 00:00:05 '))

這樣，可以下載100個網(wǎng)頁文件，每個文件都以文本的形式存在。

清洗號是從下載的文件中提取目標數(shù)據(jù)。
這不是我今天要討論的。提取數(shù)據(jù)的過程可能比下載網(wǎng)頁更困難，而且可能需要兩倍的時間。

1575

上一篇：excel抓取數(shù)據(jù)方法分享（附詳細案例和操作步驟），有需要的小伙伴可以一起學習下一篇：如何快速得到網(wǎng)頁中的Excel表格，并能實現(xiàn)數(shù)據(jù)的自動刷新？舉例說明并配有詳細的步驟圖片

相關主題

好用的Excel服務器

基層員工極速上手，動態(tài)統(tǒng)計數(shù)據(jù)報表；
企業(yè)運營情況一目了然；可靈活自定義...

4分鐘快速了解
點擊播放視頻

男人电影天堂在线观看,男人电影天堂在线观看,风韵丰满熟妇啪啪熟女,天天想天天要天天插,久久欧美av乱码人妻,中文字幕欧美日韩中文字幕,尿进去了爽死你骚货,天天爱天天爽天天操天天干,青青草手机版视频在线观看国产

電商數(shù)據(jù)分析專家分享怎么用Excel收集淘寶龐大的搜索數(shù)據(jù)，從收集數(shù)據(jù)的找數(shù)、采數(shù)和洗數(shù)三個過程分別講解

好用的Excel服務器

電商數(shù)據(jù)分析專家分享怎么用Excel收集淘寶龐大的搜索數(shù)據(jù)，從收集數(shù)據(jù)的找數(shù)、采數(shù)和洗數(shù)三個過程分別講解