什么是網絡爬蟲
網絡爬蟲是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。網絡爬蟲是捜索引擎抓取系統的重要組成部分，主要目的是將互聯網上的網頁下載到本地形成一個互聯網內容的鏡像備份。
通俗點來說，網絡爬蟲就像是模擬人類搜索行為的一只只小蟲子，在網絡世界里爬來爬去，搜索我們需要的信息。
不過隨著隨著互聯網的發展，網絡上的資源變得日益豐富但卻駁雜不堪，信息的獲取成本變得更高了，相應地，也日漸發展出更加智能，且適用性更強的爬蟲軟件。
網絡爬蟲組成
網絡爬蟲由控制節點、爬蟲結點、資源庫組成。
網絡爬蟲中可以有多個控制節點，每個控制節點下有多個爬蟲結點，控制節點之間可以互相通信，同時，控制結點和其下的個爬蟲結點之間也可以進行相互通信。
控制節點：也叫做爬蟲的中央控制器，主要負責根據URL地址分配線程，并調用爬蟲結點進行具體的爬行。
爬蟲節點：按照設定的算法，對網頁進行具體的爬行，主要包括下載網頁以及對網頁的文本進行處理，爬行后，會將對應的爬行結果存儲到對應的資源庫中。
| 概念 | 構成 | 爬行分類 | |
|---|---|---|---|
| 通用網絡爬蟲 | 該類型爬取的資源在全互聯網中，由于爬取數量大，對應的爬取性能要求較高，主要應用于大型搜索引擎。 | URL集合、URL隊列、頁面爬行模塊、頁面分析模塊、頁面數據庫、鏈接過濾模塊等。采取的策略主要有深度優先爬行策略，廣度優先爬行策略。 | |
| 增量式網絡爬蟲 | 即爬取內容發生改變的網頁或者新產生的網頁，對于未發生內容改變的網頁則不會爬取。 | ||
| 深層網絡爬蟲 | 即可以爬取網絡中的深層頁面。在互聯網中，網頁分為表層網頁和深層網頁。表層網頁即指不需要提交表單的靜態頁面；而深層頁面即指通過提交表單或者輸入關鍵詞才能夠獲取到的頁面。 | URL列表、LVS列表（LVS指的是標簽/數值集合，即填充表單1數據源、爬行控制器、解析器、LVS控制器、表單分析器、表單處理器、響應分析器等。 | |
| 聚焦網絡爬蟲 | 可以按照預先定義好的主題有選擇的進行網頁爬取的一種爬蟲。通過將爬取的目標網頁定位在與主題相關的頁面中，因此可以大大的節約爬蟲所需的帶寬資源和服務器資源。 | URL集合、URL隊列、頁面爬行模塊、頁面分析模塊、頁面數據庫、鏈接過濾模塊、內容評價模塊、鏈接評價模塊等。內容評價模塊可以評價內容的重要性，同理鏈接評價模塊也可以評價出鏈接的重要性，然后根據鏈接和內容的重要性來確定哪些頁面優先訪問。 | 基于內容評價的爬行策略、基于鏈接評價的爬行策略、基于增強學習的爬行策略，基于語境圖的爬行策略。 |
| 通用 網絡爬蟲 |
概念：該類型爬取的資源在全互聯網中，由于爬取數量大，對應的爬取性能要求較高，主要應用于大型搜索引擎。 構成：URL集合、URL隊列、頁面爬行模塊、頁面分析模塊、頁面數據庫、鏈接過濾模塊等。采取的策略主要有深度優先爬行策略，廣度優先爬行策略。 |
| 增量式 網絡爬蟲 |
概念：即爬取內容發生改變的網頁或者新產生的網頁，對于未發生內容改變的網頁則不會爬取。 |
| 深層 網絡爬蟲 |
概念：即可以爬取網絡中的深層頁面。在互聯網中，網頁分為表層網頁和深層網頁。表層網頁即指不需要提交表單的靜態頁面；而深層頁面即指通過提交表單或者輸入關鍵詞才能夠獲取到的頁面。 構成：URL列表、LVS列表（LVS指的是標簽/數值集合，即填充表單1數據源、爬行控制器、解析器、LVS控制器、表單分析器、表單處理器、響應分析器等。 |
| 聚焦 網絡爬蟲 |
概念：可以按照預先定義好的主題有選擇的進行網頁爬取的一種爬蟲。通過將爬取的目標網頁定位在與主題相關的頁面中，因此可以大大的節約爬蟲所需的帶寬資源和服務器資源。 構成：URL集合、URL隊列、頁面爬行模塊、頁面分析模塊、頁面數據庫、鏈接過濾模塊、內容評價模塊、鏈接評價模塊等。內容評價模塊可以評價內容的重要性，同理鏈接評價模塊也可以評價出鏈接的重要性，然后根據鏈接和內容的重要性來確定哪些頁面優先訪問。 爬行策略：基于內容評價的爬行策略、基于鏈接評價的爬行策略、基于增強學習的爬行策略，基于語境圖的爬行策略。 |
.png)
如此反復進行，直到遍歷了整個網絡或者滿足某種條件后，才會停止下來。
Chrome
Chrome屬于爬蟲的基礎工具，一般用它做初始的爬取分析，頁面邏輯跳轉、簡單的js調試、網絡請求的步驟等。
Charles去官網>
Charles與Chrome對應，只不過它是用來做App端的網絡分析，相較于網頁端，App端的網絡分析較為簡單，重點放在分析各個網絡請求的參數。
cURL
cURL是一個利用URL語法在命令行下工作的文件傳輸工具，1997年首次發行。它支持文件上傳和下載，所以是綜合傳輸工具，但按傳統，習慣稱cURL為下載工具。
Postman去官網>
Postman著實強大，配合cURL，可以將請求的內容直接移植過來，然后對其中的請求進行改造，勾選即可選擇想要的內容參數，非常優雅。
Online JavaScript Beautifier去官網>
想要進階就需要面對更復雜的網站爬蟲，不僅要會后端的知識，還需要了解一些前端的知識，因為很多網站的反爬措施是放在前端的。需要提取對方站點的js信息，并需要理解和逆向回去，原生的js代碼一般不易于閱讀，這時，就要Online JavaScript Beautifier來幫你格式化。
XPath Helper
在提取網頁數據時，一般需要使用xpath語法進行頁面數據信息提取。但一般只能寫完語法，發送請求給對方網頁，打印出來，才知道提取的數據是否正確，這樣一方面會發起很多不必要的請求，另外一方面，也浪費了時間。這時就可以用到XPath Helper了。
安裝方法：打開Chrome的網上應用店，搜索XPath Helper，點擊“添加至chrome”即可。
Sketch
已經確定能爬取之后，不應該著急動手寫爬蟲，而是應該著手設計爬蟲的結構。按照業務的需求，可以做一下簡單的爬取分析，這有助于之后開發的效率，所謂磨刀不誤砍柴工就是這個道理。
EditThisCookie
如果要對Cookies動手腳，就需要EditThisCookie來輔助你分析，通過Chrome安裝EditThisCookie插件后，我們可以對Cookies里的信息進行增刪改查操作，大大提高對Cookies信息的模擬。
JSONView去官網>
有時候提取的數據是Json格式的，因為它簡單易用，越來越多的網站傾向于用Json格式進行數據傳輸。安裝這個插件后，就可以很方便的來查看Json數據。
JSON Editor Online去官網>
借助JSON Editor Online可以幫你很好的格式化數據，并且實現了貼心得折疊Json數據功能。
.png)
.png)
.png)
.png)
.png)
.png)
.png)
.png)
.png)
.png)
.png)
.png)
.png)
.png)