1、Python快速上手爬蟲的7大技巧 1基本抓取網頁 get方法 post方法 2使用代理IP 在開發爬蟲過程中經常會遇到IP被封掉的情況，這時就需要用到 代理IP 在urllib 2包中有Proxy Handler類， 通過此類可以設置代理 訪問網頁，如下代碼片段 3Cookies處理 cookies是某些網站為了辨別用戶身份進行session跟蹤而 儲存在用戶；繼上次爬取完廣西科技大學的各個班級課表 接著來試著用Python爬蟲登錄查詢并抓取學生的成績當然爬取信息，需要學號和密碼，這里只能用的自己的向大家說明上次，抓取學校班級的課表是一種簡單的爬取，因為直接分析網頁，獲得自己所需要的數據即可這次是；可以發現，信息里不僅有帳號email和密碼password，其實還有_xsrf具體作用往后看和remember_me登錄界面的“記住我”兩個值那么，在python爬蟲中將這些信息同樣發送，就可以模擬登錄在發送的信息里出現了一個項_xsrf，值為2fc4ab0f0f144c2e478c436fe3 這個項其實是在訪問知乎；步驟一研究該網站 打開登錄頁面 進入以下頁面 “bitbucketorgaccountsignin”你會看到如下圖所示的頁面執行注銷，以防你已經登錄仔細研究那些我們需要提取的詳細信息，以供登錄之用 在這一部分，我們會創建一個字典來保存執行登錄的詳細信息1 右擊 “Username or email” 字段，選擇“查。

2、Python版本Python3x IDESublime text3 一為什么要使用Cookie Cookie，指某些網站為了辨別用戶身份進行session跟蹤而儲存在用戶本地終端上的數據通常經過加密比如說有些網站需要登錄后才能訪問某個頁面，在登錄之前，你想抓取某個頁面內容，登陸前與登陸后是不同的，或者不允許的使用Cookie和使用代理IP一樣。

3、首先要AES解密，可以Pythonimport 包，解密mode是CFB，seed是quotuserIdquot+uid+quotseedquot的SHA256值，解密的key是seed024，iv是seedlenseedAF471BA37EFE6DD40FE4700EE337FEEEF65E2C8F203FCA；接下來，不妨嘗試一下bilibili，這個平臺雖然競爭激烈，但對于新手來說，它提供了足夠的練習空間由于有強大的金主支持，bilibili對爬蟲的容忍度相對較高，而且爬取過程中，你將接觸到WebSocket視頻流處理模擬登錄等技術對視頻數據的分析，如播放量和彈幕密度，又是一次裝逼的絕佳機會總的來說，選擇。

4、比較簡單的方式是利用這個網站的 cookiecookie 相當于是一個密碼箱，里面儲存了用戶在該網站的基本信息在一次登錄之后，網站會記住你的信息，把它放到cookie里，方便下次自動登錄所以，要爬取這類網站的策略是先進行一次手動登錄，獲取cookie，然后再次登錄時，調用上一次登錄得到的cookie，實現自動。