閱讀文本大概需要 2 分鐘。

提示

　　以鄙人在GitHub上的辣雞代碼為例, 其他Scrapy的項目操作類似, 本文同樣適用于不使用云服務器的情形(排除掉前期準備部分即可).

前期準備

(也可以到騰訊云開發(fā)者實驗室體驗)1. 購買云服務器

　　選擇一家云服務廠商, 購買云服務器, 目前國內主流服務均有提供學生版

　　如果第一次購買, 可以戳這個鏈接

　　https://cloud.tencent.com/redirect.php?redirect=1010&cps_key=e042d9552c4c0be2cd377436ca42ee62

2. 下載Xshell, 使用ssh連接服務器

　　Xshell學生和家用是免費的, 下載地址https://www.netsarang.com/download/free_license.html

　　下載安裝完成后,使用系統(tǒng)分配的公網IP, 系統(tǒng)用戶名和對應密碼連接服務器.

在Github上克隆代碼

git clone https://github.com/FesonX/JobCrawler.git

安裝相關依賴1. 安裝Python3

　　項目使用Python3.6, 可以使用以下連接安裝, 將文中的3.5改為3.6即可.

　　ubuntu14.04安裝python3.5并且將其設置為python3默認啟動

　　(https://blog.csdn.net/fireflychh/article/details/78195778)

2. 使用virtualenv(也可以使用Anaconda或Pycharm管理)

　　Virtualenv允許多版本Python同時在電腦上共存, 安裝完Python3及pip后 終端鍵入

# 安裝

pip3 install virtualenv

# 創(chuàng)建虛擬環(huán)境

virtualenv spider-env

# 激活虛擬環(huán)境

source spider-env/bin/activate

# 退出

deactivate

3. 安裝庫依賴

　　因為Scrapy依賴Python.h,在安裝庫依賴前在終端鍵入

sudo apt-get install libpython3.6-dev

　　然后安裝依賴, 如果失敗, 請逐條嘗試

# 在JobCrawler/JobCrawler目錄下

pip install -r requirements.txt

4. 安裝MongoDB

　　參照以下連接安裝 MongoDB Community Edition

　　(https://docs.mongodb.com/manual/administration/install-community/)

運行爬蟲

　　終端cd到項目根目錄, 鍵入

# -o job.csv為可選參數, 加入則輸出到指定文件中

scrapy crawl jobCrawler -o job.csv

擴展: 使爬蟲開機運行

　　使爬蟲在系統(tǒng)開機時自動運行, 對于許多系統(tǒng)來說，最簡單 (如果不是最好的)的方式是使用rc.local文件 具體實現方式就交由你自己用搜索引擎探索啦

　　歡迎點擊查看原文關注我的騰訊云社區(qū)賬號

　　入門小白, 歡迎大家指出錯誤, 技術交流

　　QQ:994342122, Email: fesonx@foxmail.com

　　今日作者: 光光同學_

　　不愛看電影的攝影師不是好的程序員