電影爬蟲網站

1. python爬蟲抓取電影top20排名怎麼寫

初步接觸python爬蟲(其實python也是才起步)，發現一段代碼研究了一下，覺得還比較有用處，Mark下。
上代碼：

#!/usr/bin/python#coding=utf-8#Author: Andrew_liu#mender：cy"""
一個簡單的Python爬蟲, 用於抓取豆瓣電影Top前100的電影的名稱
Anthor: Andrew_liu
mender：cy
Version: 0.0.2
Date: 2017-03-02
Language: Python2.7.12
Editor: JetBrains PyCharm 4.5.4
"""import stringimport reimport urllib2import timeclass DouBanSpider(object) :
"""類的簡要說明
主要用於抓取豆瓣Top100的電影名稱

Attributes:
page: 用於表示當前所處的抓取頁面
cur_url: 用於表示當前爭取抓取頁面的url
datas: 存儲處理好的抓取到的電影名稱
_top_num: 用於記錄當前的top號碼
"""

def __init__(self):
self.page = 1
self.cur_url = "h0?start={page}&filter=&type="
self.datas = []
self._top_num = 1
print u"豆瓣電影爬蟲准備就緒, 准備爬取數據..."

def get_page(self, cur_page):
"""
根據當前頁碼爬取網頁HTML
Args:
cur_page: 表示當前所抓取的網站頁碼
Returns:
返回抓取到整個頁面的HTML(unicode編碼)
Raises:
URLError:url引發的異常
"""
url = self.cur_url try:
my_page = urllib2.urlopen(url.format(page=(cur_page - 1) * 25)).read().decode("utf-8") except urllib2.URLError, e: if hasattr(e, "code"): print "The server couldn't fulfill the request."
print "Error code: %s" % e.code elif hasattr(e, "reason"): print "We failed to reach a server. Please check your url and read the Reason"
print "Reason: %s" % e.reason return my_page def find_title(self, my_page):
"""
通過返回的整個網頁HTML, 正則匹配前100的電影名稱

Args:
my_page: 傳入頁面的HTML文本用於正則匹配
"""
temp_data = []
movie_items = re.findall(r'<span.*?class="title">(.*?)</span>', my_page, re.S) for index, item in enumerate(movie_items): if item.find("&nbsp") == -1:
temp_data.append("Top" + str(self._top_num) + " " + item)
self._top_num += 1
self.datas.extend(temp_data) def start_spider(self):
"""
爬蟲入口, 並控制爬蟲抓取頁面的范圍
"""
while self.page <= 4:
my_page = self.get_page(self.page)
self.find_title(my_page)
self.page += 1def main():
print u"""
###############################
一個簡單的豆瓣電影前100爬蟲
Author: Andrew_liu
mender: cy
Version: 0.0.2
Date: 2017-03-02
###############################
"""
my_spider = DouBanSpider()
my_spider.start_spider()
fobj = open('/data/moxiaokai/HelloWorld/cyTest/blogcode/top_move.txt', 'w+') for item in my_spider.datas: print item
fobj.write(item.encode("utf-8")+' ')
time.sleep(0.1) print u"豆瓣爬蟲爬取完成"if __name__ == '__main__':
main()

運行結果：

2. 爬蟲電影院信息違法嗎

違法。非法獲取計算機系統數據罪
根據《中華人民共和國刑法》第二百八十五條規定，非法獲取計算機信息系統數據、非法控制計算機信息系統罪，是指違反國家規定，侵入國家事務、國防建設、尖端科學技術領域以外的計算機信息系統或者採用其他技術手段，獲取該計算機信息系統中存儲、處理或者傳輸的數據，情節嚴重的行為。刑法第285條第2款明確規定，犯本罪的，處三年以下有期徒刑或者拘役，並處或者單處罰金；情節特別嚴重的，處三年以上七年以下有期徒刑，並處罰金。
侵犯商業秘密罪
《反不正當競爭法》第九條，以不正當手段獲取他人商業秘密的行為即已經構成侵犯商業秘密。而後續如果進一步利用，或者公開該等信息，則構成對他人商業秘密的披露和使用，同樣構成對權利人的商業秘密的侵犯。
《中華人民共和國刑法》第二百八十五條非法獲取計算機信息系統數據、非法控制計算機信息系統罪，是指違反國家規定，侵入國家事務、國防建設、尖端科學技術領域以外的計算機信息系統或者採用其他技術手段，獲取該計算機信息系統中存儲、處理或者傳輸的數據，情節嚴重的行為。刑法第285條第2款明確規定，犯本罪的，處三年以下有期徒刑或者拘役，並處或者單處罰金；情節特別嚴重的，處三年以上七年以下有期徒刑，並處罰金。
《反不正當競爭法》第九條以不正當手段獲取他人商業秘密的行為即已經構成侵犯商業秘密。而後續如果進一步利用，或者公開該等信息，則構成對他人商業秘密的披露和使用，同樣構成對權利人的商業秘密的侵犯。

3. 電影爬蟲的電影在那裡看

3d食人蟲愛奇藝上就有

4. 那裡有最新的電影 電視劇 資源之類的

、25ppk是我一直在用的還不錯啟

5. 真正免費電視劇、電影網

哈哈／做人要厚道啊!
兄弟我給你個絕對可以!
http://movie.371.com
你到這里看下吧.電影更新速度快.是完全免費的.不用注冊.是都市網開通的.

給我積分啊....獎勵!!!
http://www.371.com

6. 用Python爬蟲爬取愛奇藝上的VIP電影視頻，是違法行為嗎

屬於違法行為，情節嚴重者，愛奇藝將有權對您追究法律責任

7. 畢業設計：android 網路電影 爬蟲 抓包

建議你換一個， 網路爬蟲抓包這些開發都非常復雜，還不如來點簡單實用的，本人做了很多android的應用開發， 可以勾通一下， 看看哪個比較適合。

8. 製作帶爬蟲技術的電影網站需要多少錢

域名+空間+設計，估計也就在1000左右，看空間。

9. Python爬蟲，爬取豆瓣電影檢測到ip異常請求，怎麼辦解決，現在爬取不了豆瓣電影了

ip估計被封了，換個ip

10. 怎樣避開豆瓣對爬蟲的封鎖，從而抓取豆瓣上電影內容

在互聯網中，有網路爬蟲的地方，絕對少不了反爬蟲的身影。網站反爬蟲的攔截前提是要正確區分人類訪問用戶和網路機器人，當發現可疑目標時，通過限制IP地址等措施阻止你繼續訪問。爬蟲該如何突破反爬蟲限制？

一、構建合理的HTTP請求頭
HTTP的請求頭是在你每次向網路伺服器發送請求時，傳遞的一組屬性和配置信息。由於瀏覽器和Python爬蟲發送的請求頭不同，有可能被反爬蟲檢測出來。

二、設置cookie的學問
Cookie是一把雙刃劍，有它不行，沒它更不行。網站會通過cookie跟蹤你的訪問過程，如果發現你有爬蟲行為會立刻中斷你的訪問，比如你特別快的填寫表單，或者短時間內瀏覽大量頁面。而正確地處理cookie，又可以避免很多採集問題，建議在採集網站過程中，檢查一下這些網站生成的cookie，然後想想哪一個是爬蟲需要處理的。

三、正常的時間訪問路徑
合理控制採集速度，是Python爬蟲不應該破壞的規則，盡量為每個頁面訪問時間增加一點兒間隔，可以有效幫助你避免反爬蟲。

四、使用http
對於分布式爬蟲和已經遭遇反爬蟲的人來說，使用http將成為你的首選。Ipidea分布地區廣，可滿足分布式爬蟲使用需要。支持api提取，對Python爬蟲來說再適合不過。