python豆瓣電影信息分析論文

❶ 求一份Python爬取豆瓣影評數據集，多部電影，多影評的，哎

這種類型的

❷ 怎麼用python抓取豆瓣上用戶對電影的評分

#!/usr/bin/env python2.7# encoding=utf-8"""
爬取豆瓣電影TOP250 - 完整示例代碼
"""import codecsimport requestsfrom bs4 import BeautifulSoup

DOWNLOAD_URL = 'http://movie.douban.com/top250/'def download_page(url):
return requests.get(url, headers={ 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36'
}).contentdef parse_html(html):
soup = BeautifulSoup(html)
movie_list_soup = soup.find('ol', attrs={'class': 'grid_view'})

movie_name_list = [] for movie_li in movie_list_soup.find_all('li'):
detail = movie_li.find('div', attrs={'class': 'hd'})
movie_name = detail.find('span', attrs={'class': 'title'}).getText()

movie_name_list.append(movie_name)

next_page = soup.find('span', attrs={'class': 'next'}).find('a') if next_page: return movie_name_list, DOWNLOAD_URL + next_page['href'] return movie_name_list, Nonedef main():
url = DOWNLOAD_URL with codecs.open('movies', 'wb', encoding='utf-8') as fp: while url:
html = download_page(url)
movies, url = parse_html(html)
fp.write(u'{movies}\n'.format(movies='\n'.join(movies)))if __name__ == '__main__':
main()

❸ 怎樣用python爬取豆瓣電影

推薦you-get工具包，pip可以直接下載安裝

❹ pythonscrapy怎麼爬豆瓣電影的每一個電影的影評

神箭手雲市場中有寫好的豆瓣爬蟲，可以直接使用
網路搜索【神箭雲爬蟲開發平台】，進入爬蟲市場就可以看到了

❺ Python爬蟲如何抓取豆瓣影評中的所有數據

你可以用前嗅爬蟲採集豆瓣的影評，我之前用的，還可以過濾只採集評分在6分以上的所有影評，非常強大，而且他們軟體跟資料庫對接，採集完數據後，直接入庫，導出excel表。很省心。

❻ 用python3爬豆瓣電影第一頁的電影名稱、時長、評分

網路知道上怎麼可能有人回答這種小白的問題，你如果這樣根本學不會編程的，學編程最重要的是學會利用搜索引擎而不是問別人，很多你碰到過的問題都是前人碰過的了，我敢說你到網路搜一下你這個問題博客文章不下10篇，既不想看，怎麼可能學會呢，不用指望有人回答這個問題了

❼ 豆瓣為什麼用python

1.從語言排行榜上看
Python雖然是25歲的大叔級編程語言，但是近年來Python反而變得越來越流行，在TIOBE編程語言指數排行榜中，Python的排名從去年的第六名飆升到了第四名:

2.語言本身簡潔，優美,功能超級強大
Python的語法非常接近英語,去掉了傳統的C++/Java使用大括弧來區分一個方法體或者類的形式，而是採用強制縮進來表示一個方法或者類。風格統一，非常優美.而且內置了很多高效的庫，打個比方，同樣一項工作C語言可能要1000行，java要100行，python可能只要10行. 而且從桌面應用,web開發,自動化測試運維，爬蟲，人工智慧，大數據處理都能做，以後會詳細講一下.

3.跨平台
類似很多流行編程語言Java、C++、C都能跨平台而且開源，Python也是如此
由於它是開源的，所以也支持可移植性。你可以隨處運行Python，換句話說你在window上寫的代碼，可以很方便的再linux,mac上運行。

4.非常火爆的社區
Python有非常有名的社區，而且人氣很火爆，大家可以去python官網經常逛逛，還有github上搜一下python的帖子，很多開源的庫，你能想到的基本都已經有人開發了.而且版本還在不斷的迭代.

5.很多有名的大公司在用
國外非常有名的有Google,facebook,Yahoo,YueTube,還有美國宇航局NASA,像著名的開源雲計算平台openstack也是用python寫的,還有國內的豆瓣也是用python寫的.

❽ python爬蟲抓取電影top20排名怎麼寫

初步接觸python爬蟲(其實python也是才起步)，發現一段代碼研究了一下，覺得還比較有用處，Mark下。
上代碼：

#!/usr/bin/python#coding=utf-8#Author: Andrew_liu#mender：cy"""
一個簡單的Python爬蟲, 用於抓取豆瓣電影Top前100的電影的名稱
Anthor: Andrew_liu
mender：cy
Version: 0.0.2
Date: 2017-03-02
Language: Python2.7.12
Editor: JetBrains PyCharm 4.5.4
"""import stringimport reimport urllib2import timeclass DouBanSpider(object) :
"""類的簡要說明
主要用於抓取豆瓣Top100的電影名稱

Attributes:
page: 用於表示當前所處的抓取頁面
cur_url: 用於表示當前爭取抓取頁面的url
datas: 存儲處理好的抓取到的電影名稱
_top_num: 用於記錄當前的top號碼
"""

def __init__(self):
self.page = 1
self.cur_url = "h0?start={page}&filter=&type="
self.datas = []
self._top_num = 1
print u"豆瓣電影爬蟲准備就緒, 准備爬取數據..."

def get_page(self, cur_page):
"""
根據當前頁碼爬取網頁HTML
Args:
cur_page: 表示當前所抓取的網站頁碼
Returns:
返回抓取到整個頁面的HTML(unicode編碼)
Raises:
URLError:url引發的異常
"""
url = self.cur_url try:
my_page = urllib2.urlopen(url.format(page=(cur_page - 1) * 25)).read().decode("utf-8") except urllib2.URLError, e: if hasattr(e, "code"): print "The server couldn't fulfill the request."
print "Error code: %s" % e.code elif hasattr(e, "reason"): print "We failed to reach a server. Please check your url and read the Reason"
print "Reason: %s" % e.reason return my_page def find_title(self, my_page):
"""
通過返回的整個網頁HTML, 正則匹配前100的電影名稱

Args:
my_page: 傳入頁面的HTML文本用於正則匹配
"""
temp_data = []
movie_items = re.findall(r'<span.*?class="title">(.*?)</span>', my_page, re.S) for index, item in enumerate(movie_items): if item.find("&nbsp") == -1:
temp_data.append("Top" + str(self._top_num) + " " + item)
self._top_num += 1
self.datas.extend(temp_data) def start_spider(self):
"""
爬蟲入口, 並控制爬蟲抓取頁面的范圍
"""
while self.page <= 4:
my_page = self.get_page(self.page)
self.find_title(my_page)
self.page += 1def main():
print u"""
###############################
一個簡單的豆瓣電影前100爬蟲
Author: Andrew_liu
mender: cy
Version: 0.0.2
Date: 2017-03-02
###############################
"""
my_spider = DouBanSpider()
my_spider.start_spider()
fobj = open('/data/moxiaokai/HelloWorld/cyTest/blogcode/top_move.txt', 'w+') for item in my_spider.datas: print item
fobj.write(item.encode("utf-8")+' ')
time.sleep(0.1) print u"豆瓣爬蟲爬取完成"if __name__ == '__main__':
main()

運行結果：

❾ Python抓取豆瓣電影排行榜

1.觀察url
首先觀察一下網址的結構 http://movie.douban.com/top250?start=0&filter=&type= ：
可以看到，問號?後有三個參數 start、filter、type，其中start代表頁碼，每頁展示25部電影，0代表第一頁，以此類推25代表第二頁，50代表第三頁...
filter顧名思義，是過濾已經看過的電影，filter和type在這里不重要，可以不管。
2.查看網頁源代碼
打開上面的網址，查看源代碼，可以看到信息的展示結構如下：
1 <ol class="grid_view"> 2 <li> 3 <div class="item"> 4 <div class="pic"> 5 <em class="">1</em> 6 <a href="http://movie.douban.com/subject/1292052/"> 7 <img alt="肖申克的救贖" src="http://img3.douban.com/view/movie_poster_cover/ipst/public/p480747492.jpg" class=""> 8 </a> 9 </div>10 <div class="info">11 <div class="hd">12 <a href="http://movie.douban.com/subject/1292052/" class="">13 <span class="title">肖申克的救贖</span>14 <span class="title"> / The Shawshank Redemption</span>15 <span class="other"> / 月黑高飛(港) / 刺激1995(台)</span>16 </a>17 18 19 <span class="playable">[可播放]</span>20 </div>21 <div class="bd">22 <p class="">23 導演: 弗蘭克·德拉邦特 Frank Darabont 主演: 蒂姆·羅賓斯 Tim Robbins /...<br>24 1994 / 美國 / 犯罪 劇情25 </p>26 27 28 <div class="star">29 <span class="rating5-t"><em>9.6</em></span>30 <span>646374人評價</span>31 </div>32 33 <p class="quote">34 <span class="inq">希望讓人自由。</span>35 </p>36 </div>37 </div>38 </div>39 </li>
其中<em class="">1</em>代表排名，<span class="title">肖申克的救贖</span>代表電影名，其他信息的含義也很容易能看出來。
於是接下來可以寫正則表達式：
1 pattern = re.compile(u'<div.*?class="item">.*?<div.*?class="pic">.*?' 2 + u'<em.*?class="">(.*?)</em>.*?' 3 + u'<div.*?class="info">.*?<span.*?class="title">(.*?)' 4 + u'</span>.*?<span.*?class="title">(.*?)</span>.*?' 5 + u'<span.*?class="other">(.*?)</span>.*?</a>.*?' 6 + u'<div.*?class="bd">.*?<p.*?class="">.*?' 7 + u'導演: (.*?) ' 8 + u'主演: (.*?)<br>' 9 + u'(.*?) / (.*?) / '10 + u'(.*?)</p>'11 + u'.*?<div.*?class="star">.*?<em>(.*?)</em>'12 + u'.*?<span>(.*?)人評價</span>.*?<p.*?class="quote">.*?'13 + u'<span.*?class="inq">(.*?)</span>.*?</p>', re.S)
在此處flag參數re.S代表多行匹配。
3.使用面向對象的設計模式編碼
代碼如下：
1 # -*- coding:utf-8 -*- 2 __author__ = 'Jz' 3 import urllib2 4 import re 5 import sys 6 7 class MovieTop250: 8 def __init__(self): 9 #設置默認編碼格式為utf-810 reload(sys)11 sys.setdefaultencoding('utf-8')12 self.start = 013 self.param = '&filter=&type='14 self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64)'}15 self.movieList = []16 self.filePath = 'D:/coding_file/python_file/File/DoubanTop250.txt'17 18 def getPage(self):19 try:20 URL = 'http://movie.douban.com/top250?start=' + str(self.start)21 request = urllib2.Request(url = URL, headers = self.headers)22 response = urllib2.urlopen(request)23 page = response.read().decode('utf-8')24 pageNum = (self.start + 25)/2525 print '正在抓取第' + str(pageNum) + '頁數據...' 26 self.start += 2527 return page28 except urllib2.URLError, e:29 if hasattr(e, 'reason'):30 print '抓取失敗，具體原因：', e.reason31 32 def getMovie(self):33 pattern = re.compile(u'<div.*?class="item">.*?<div.*?class="pic">.*?'34 + u'<em.*?class="">(.*?)</em>.*?'35 + u'<div.*?class="info">.*?<span.*?class="title">(.*?)'36 + u'</span>.*?<span.*?class="title">(.*?)</span>.*?'37 + u'<span.*?class="other">(.*?)</span>.*?</a>.*?'38 + u'<div.*?class="bd">.*?<p.*?class="">.*?'39 + u'導演: (.*?) '40 + u'主演: (.*?)<br>'41 + u'(.*?) / (.*?) / '42 + u'(.*?)</p>'43 + u'.*?<div.*?class="star">.*?<em>(.*?)</em>'44 + u'.*?<span>(.*?)人評價</span>.*?<p.*?class="quote">.*?'45 + u'<span.*?class="inq">(.*?)</span>.*?</p>', re.S)46 while self.start <= 225:47 page = self.getPage()48 movies = re.findall(pattern, page)49 for movie in movies:50 self.movieList.append([movie[0], movie[1], movie[2].lstrip(' / '),
51 movie[3].lstrip(' / '), movie[4],
52 movie[5], movie[6].lstrip(), movie[7], movie[8].rstrip(),53 movie[9], movie[10], movie[11]])54 55 def writeTxt(self):56 fileTop250 = open(self.filePath, 'w')57 try:58 for movie in self.movieList:59 fileTop250.write('電影排名：' + movie[0] + '\r\n')60 fileTop250.write('電影名稱：' + movie[1] + '\r\n')61 fileTop250.write('外文名稱：' + movie[2] + '\r\n')62 fileTop250.write('電影別名：' + movie[3] + '\r\n')63 fileTop250.write('導演姓名：' + movie[4] + '\r\n')64 fileTop250.write('參與主演：' + movie[5] + '\r\n')65 fileTop250.write('上映年份：' + movie[6] + '\r\n')66 fileTop250.write('製作國家/地區：' + movie[7] + '\r\n')67 fileTop250.write('電影類別：' + movie[8] + '\r\n')68 fileTop250.write('電影評分：' + movie[9] + '\r\n')69 fileTop250.write('參評人數：' + movie[10] + '\r\n')70 fileTop250.write('簡短影評：' + movie[11] + '\r\n\r\n')71 print '文件寫入成功...'72 finally:73 fileTop250.close()74 75 def main(self):76 print '正在從豆瓣電影Top250抓取數據...'77 self.getMovie()78 self.writeTxt()79 print '抓取完畢...'80 81 DouBanSpider = MovieTop250()82 DouBanSpider.main()

代碼比較簡單，最後將信息寫入一個文件，沒有什麼需要解釋的地方。

❿ 怎麼用python編寫以下要求的程序

感覺你這個沒有現成的，到時有個模版推薦，

第5章Python網路爬蟲
5.1爬蟲基礎
5.1.1初識爬蟲
5.1.2網路爬蟲的演算法
5.2爬蟲入門實戰
5.2.1調用API
5.2.2爬蟲實戰
5.3爬蟲進階—高效率爬蟲
5.3.1多進程
5.3.2多線程
5.3.3協程
5.3.4小結

第6章Python數據存儲

6.1關系型資料庫MySQL
6.1.1初識MySQL
6.1.2Python操作MySQL
6.2NoSQL之MongoDB
6.2.1初識NoSQL
6.2.2Python操作MongoDB
6.3本章小結
6.3.1資料庫基本理論
6.3.2資料庫結合
6.3.3結束語

第7章Python數據分析

7.1數據獲取
7.1.1從鍵盤獲取數據
7.1.2文件的讀取與寫入
7.1.3Pandas讀寫操作
7.2數據分析案例
7.2.1普查數據統計分析案例
7.2.2小結

來源：《Python 3破冰人工智慧 從入門到實戰》