如何爬取下載電影

A. 第5課 實例二：爬取電影

1. 選擇一個網站： https://www.douban.com

2. 在進行爬取之前，我們先去看看它的robots協議。

協議網址： https://www.douban.com /robots.txt

3. 進入首頁  https://movie.douban.com/top250?start=0&filter=  ，打開檢查工具，在Elements里查看這個網頁，是什麼結構。

點擊開發者工具左上角的小箭頭，選中「肖申克的救贖」，這樣就定位了電影名的所在位置，審查元素中顯示<span class="title">：<span>標簽內的文本，class屬性；推薦語和評分也是如此，<span class='inq'>，<span class='rating_num'>；序號：<em class>，<em>標簽內的文本，class屬性；推薦語<span class='inq'>；鏈接是<a>標簽里href的值。最後，它們最小共同父級標簽，是<li>。

4. 我們再換個電影驗證下找的規律是否正確。

5. check後，我們再看一共10頁，每頁的url有什麼相關呢？

第1頁： https://movie.douban.com/top250?start=0&filter=

第3頁： https://movie.douban.com/top250?start=50&filter=

第7頁： https://movie.douban.com/top250?start=150&filter=

發現只有start後面是有變化，規律就是第N頁，start=(N-1)*25

6. 基於以上分析，我們有兩種寫爬蟲的思路。

思路一：先爬取最小共同父級標簽 <li>，然後針對每一個父級標簽，提取裡面的序號/電影名/評分/推薦語/鏈接。

思路二：分別提取所有的序號/所有的電影名/所有的評分/所有的推薦語/所有的鏈接，然後再按順序一一對應起來。

import requests# 引用requests庫

from bs4 import BeautifulSoup# 引用BeautifulSoup庫

res_films=requests.get('https://movie.douban.com/')# 獲取數據

bs_films=BeautifulSoup(res_films.text,'html.parser')# 解析數據

fil_title=bs_films.find_all(class_='title')

fil_num=bs_films.find_all(class_="")

list_all=[]# 創建一個空列表，用於存儲信息

for x in range(len(fil_num)):

    list_films=[fil_num[x].text[18:-14],fil_title[x].find('a')['href']]

    list_all.append(list_films)

    print(list_all)

B. 如何下載網頁上的電影或視頻

下載以下三個軟體(任選其一)，他們能單獨使用，也可以聯合使用，各自有各自的用途和優點(常用星光高清視頻下載)，無需注冊，還不分什麼網，什麼優酷、土豆的：
1.用「星光高清視頻下載」直接下載視頻的軟體；
2.用「RealPlayer
11
簡體中文正式版」直接錄制視頻的軟體；
3.用一款「VideoCacheView
(視頻緩存中提取)V1.52
漢化綠色版」的軟體提取視頻,也就播放完了才提取。
說明：1.是下載軟體,「工具箱」中有「視頻地址嗅探」、「視頻格式轉換」還有「視頻截取與合並」功能；
2.是錄制軟體，裡面也有轉換等功能
；
3.是視頻提取軟體。有了這3個軟體一般都能搞定，除非是加密視頻（不懂Hi我）如果還不行就用「視頻錄像機」錄制
下載以後如果不能播放就轉換格式及參數，下載「3GP、MP4視頻轉換精靈3.1(免安裝版)它能識別視頻參數」或者「狂雷手機視頻轉換器」（里邊有對應的手機型號）來轉換

C. 如何嗅探在線電影的真實下載地址

第一步：安裝WinPcap 首先需要安裝WinPcap，最新版本下載地址是：點擊下載。WinPcap是一種抓包驅動程序，它能夠分析在線播放的流媒體直接下載地址信息。 第二步：設置網卡 這是非常重要的一步，因為只有正確選擇網卡，才能捕捉到影音文件的網路地址。運行軟體，單擊「設置」菜單下的「選擇網卡」，在彈出的窗口中將列出機器中的所有網卡，如圖1所示。選擇正在使用的網卡，然後單擊「確定」按鈕。如果你不知道現在使用哪個網卡，可挨個試驗，直到能捕捉到數據為止。 圖1 選擇網卡 第三步：設置捕捉類型 該軟體不但能探測影音文件，還能探測圖片、Flash動畫、電子郵件等其他文件。默認情況下軟體只探測影音文件，如果想探測其他文件，需要進行設置一番。 單擊「設置」菜單下的「高級設置」，進入設置窗口，如圖2所示。點擊「嗅探類型」，在右側窗口中就會列出所有支持的類型，如你想探測Flash動畫，只要在前面打勾即可。另外還可以根據自己的需要，來按文件擴展名進行探測。 圖2 高級設置 第四步：捕捉地址 設置完畢後，單擊「開始捕捉」，軟體就開始進行影音地址捕捉工作了。進入某個只提供在線收看的電影網站，選擇某部電影後點擊在線觀看，網站就會連接到存放電影的站點，此時就是電影的緩沖階段。這時，電影的真實地址已經列在軟體的列表欄中了。在鏈接地址上點擊滑鼠右鍵，在彈出的快捷菜單中可以選擇直接使用NetTransport或FlashGet來下載，也可以將網址復制到剪貼板中。 使用本軟體不但能找出在線電影、電視的真實地址，還能將手機鈴聲、Flash動畫甚至網頁中的電子郵件、圖片的地址搜尋出來，的確是流媒體下載軟體的好助手！

希望採納

D. 如何直接從網頁上下載電影

第一部：下載QVOD播放器並安裝
第二部：到網站
www.dyhezi.com
找到想要下載的電影
第三部：打開電影播放頁面，如果沒有qvod此時會提示你下載安裝，如果安裝過就可以播放了
如果不想在線看只想下載，等到網頁上的播放器出現開始緩沖1%..之類的提示
就可以把網頁關閉了
任務欄右下角有QVOD的托盤圖標
點擊打開就能看到剛才的電影列表
網頁關閉播放器中也停止下載了
在電影名稱上點右鍵
「開始接收」
就可以下載了
下載到一個叫media的文件夾下
安裝QVOD的時候可選位置
就這樣了

E. 網頁上的電影怎麼下載

1、打開IE瀏覽器，隨便找一個視頻網站，我們這里以優槐梁激酷作為例子。打開一個視頻，點擊播放。等它緩沖完，或者播放完。

(5)如何爬取下載電影擴展閱讀：

軟體功能：

1、網頁視頻下載軟體內置頁簽式瀏覽器，可訪問所有網頁。

2、音視頻文件搜索功能，能快速定位感興趣的音視頻。

3、支持使用HTTP、RTMP、RTMPT、RTMPTE等協議，基於flash的音視頻文件下載功能。

4、下載任務管理渣察功能，對下載下來的文件或是本機音視頻文件進行轉換功能，提供可自定義的配置文件。

5、快速將FLV(h.264/aac)文件轉換成MP4。

6、內置萬能播放器，支持多種音視頻格式，可以觀看下載下來的視頻和轉換出來的文件。

F. 怎樣從網頁下載電影呢

如果網站提供了下載鏈接，你點擊鏈接就可以下載了（首先下載迅雷或快車下載工具）。

如果視頻沒有下載鏈接請用下面的方法：

1、在網上觀看視頻節目時，並沒有提供下載地址怎麼辦呢？其實利用新版的迅雷就可以直接下載隱藏得很深的網路視頻節目。在迅雷的主窗口中點擊菜單工具/配置，在配置窗口的左側列表中點擊「監視」按鈕，右側窗口中勾選「在Flash和流媒體文件上顯示下載圖標」項，同時在「監視文件類型」中添加流媒體文件類型（例如：rmvb等），不同類型之間以分號分隔，之後點擊確定按鈕保存設置。當迅雷處於運行狀態時，打開包含流媒體視頻的網頁再將滑鼠移動到播放屆面上，稍後片刻即可出現下載圖標，迅雷既可深測到網路視頻的真實地址信息，同時彈出新建下載任務對話框，這樣就可以將隱藏的網路視頻下載到本地了。

上面的方法如果不行，可以試試下面的方法：

2、可到www.xmlbar.com/上下載視頻探測器，可以下載很多視頻網站上的視頻，有YouTube， ku6，56，tudou等，國內外的很多視頻網站都可以下載下來，試試吧。

3、還可以使用FLV視頻探測器，「uumeflv spy」（下載網址： http://download.cpcw.com）等工具來下載視頻，基本沒有什麼視頻是他們搞不定的。另外，你還可以到 http://www.quchao.com/video看看，該網站目前能夠分析121個視頻共享網站FLV下載地址，你只要輸入視頻所在頁面的地址，即可或得視頻的下載地址。

4、用維棠FLV視頻下載工具 下載。

http://www.newhua.com/soft/53237.htm

5、疾風視頻 1.8.08下載視頻網站節目。

使用說明http://news.newhua.com/news1/Teach_tools/2008/823/.html

下載網址： http://www.newhua.com/soft/59655.htm

6、有專門的軟體解決這種問題。土豆網就提供了一個下載工具，iTudou。
看下這個頁面：
http://www.tudou.com/my/soft/itudou.php

在線播放完的視頻文件都保存到了

你的系統盤:\Documents and Settings\你的用戶名\Local Settings\Temporary Internet Files（隱藏文件），但是需要軟體將其提取。

VideoCacheView v1.36 漢化版_將視頻從緩存中提取出來並保存。

當在某個網站觀看完一個視頻後，您可能想將視頻文件保存下來以便將來離線播放。如果此視頻文件保存在您的瀏覽器的緩存里，則VideoCacheView可以幫您將視頻文件從緩存中提取出來並保存它以便將來觀看。
VideoCacheView自動掃描Internet Explorer和基於Mozilla的網路瀏覽器(包括FireFox)的整個緩存，查找當前存儲於其中的所有視頻文件。它能讓您很容易地復制緩存的視頻文件或其它目錄以便將來進行播放和觀看。如果您有一個關聯了FLV文件的視頻播放器，您還可直接播放緩存中的視頻文件。

傳給你一個VideoCacheView v1.36 漢化版。

http://www.crsky.com/soft/11823.html

實在不行用最後一個方法，看完視頻後可以將IE臨時文件中的視頻文件截取下來。

G. Python爬蟲實戰，Python多線程抓取5千多部最新電影下載鏈接

利用Python多線程爬了5000多部最新電影下載鏈接，廢話不多說~

讓我們愉快地開始吧~

Python版本： 3.6.4

相關模塊：

requests模塊；

re模塊；

csv模塊；

以及一些Python自帶的模塊。

安裝Python並添加到環境變數，pip安裝需要的相關模塊即可。

拿到鏈接之後，接下來就是繼續訪問這些鏈接，然後拿到電影的下載鏈接

但是這里還是有很多的小細節，例如我們需要拿到電影的總頁數，其次這么多的頁面，一個線程不知道要跑到什麼時候，所以我們首先先拿到總頁碼，然後用多線程來進行任務的分配

我們首先先拿到總頁碼，然後用多線程來進行任務的分配

總頁數其實我們用re正則來獲取

爬取的內容存取到csv，也可以寫個函數來存取

開啟4個進程來下載鏈接

您學廢了嗎？最後祝大家天天進步！！學習Python最重要的就是心態。我們在學習過程中必然會遇到很多難題，可能自己想破腦袋都無法解決。這都是正常的，千萬別急著否定自己，懷疑自己。如果大家在剛開始學習中遇到困難，想找一個python學習交流環境，可以加入我們，領取學習資料，一起討論，會節約很多時間，減少很多遇到的難題。

H. 如何把網頁上看到的電影下載下來

其實下載視頻和音頻文件根本不用軟體根本不用刻意的去下載，方法簡單的讓人看了都直發笑，只是有的朋友不知道而已，在試看視頻或試聽音頻文件等緩沖完後，滾仔這時候想文件已經下載到我們電腦里了，下載網頁里的和暴風影音酷我音樂盒QQ空間網路貼吧等等方法完全一樣，下面我說一下怎麼下載音頻或視頻文件：

1：打開瀏覽器或某個網頁後，選擇：工具-internet選項-刪除文件-確定。(這樣做的目的是方便一會兒查找文件）
2：這時候開始去試聽或試看你想要下載的文件。（記住，一定要等播放的視頻或音頻文件緩沖完成後再回頭去大裂汪找這個源做已經下載到電腦里的文件）
3：找到已經下載到電腦里的我們剛才試聽或試看的文件，音頻文件為MP3格式，視頻文件為FLV或MP4或HLV或DAT等格式的文件。（找文件的方法：工具-internet選項-設置-查看文件-這時，在打開的C盤的畫面的空白處點右鍵-排列圖標-大小，其實點右鍵選擇圖標再選擇大小的目的只是為了方便不太熟悉的朋友尋找文件，這時候最後的一個文件就是我們想下載的文件了，在最後的一個文件上點右鍵選擇復制，之後粘貼到桌面或其他地方就可以了，如果需要，自己就更改一下文件的名字，播放的時候選擇一下播放器就可以了，右鍵視頻文件，選擇程序,如果你電腦里有暴風影音直接就可以運行文件了,如果想下載到手機，找個格式轉換軟體轉換一下格式就OK了）
看我寫了這么多好象很麻煩，其實真的簡單的不能再簡單了！
天天開心！！！

I. 怎麼下載電影

方法如下：

工具：華灶和碩電腦，windows10，網路瀏覽器v8.21

1、點擊瀏覽器的右上角「管理」，點擊「段兆添加」。