python爬虫电影票房实时抓取

① python爬虫抓取电影top20排名怎么写

初步接触python爬虫(其实python也是才起步)，发现一段代码研究了一下，觉得还比较有用处，Mark下。
上代码：

#!/usr/bin/python#coding=utf-8#Author: Andrew_liu#mender：cy"""
一个简单的Python爬虫, 用于抓取豆瓣电影Top前100的电影的名称
Anthor: Andrew_liu
mender：cy
Version: 0.0.2
Date: 2017-03-02
Language: Python2.7.12
Editor: JetBrains PyCharm 4.5.4
"""import stringimport reimport urllib2import timeclass DouBanSpider(object) :
"""类的简要说明
主要用于抓取豆瓣Top100的电影名称

Attributes:
page: 用于表示当前所处的抓取页面
cur_url: 用于表示当前争取抓取页面的url
datas: 存储处理好的抓取到的电影名称
_top_num: 用于记录当前的top号码
"""

def __init__(self):
self.page = 1
self.cur_url = "h0?start={page}&filter=&type="
self.datas = []
self._top_num = 1
print u"豆瓣电影爬虫准备就绪, 准备爬取数据..."

def get_page(self, cur_page):
"""
根据当前页码爬取网页HTML
Args:
cur_page: 表示当前所抓取的网站页码
Returns:
返回抓取到整个页面的HTML(unicode编码)
Raises:
URLError:url引发的异常
"""
url = self.cur_url try:
my_page = urllib2.urlopen(url.format(page=(cur_page - 1) * 25)).read().decode("utf-8") except urllib2.URLError, e: if hasattr(e, "code"): print "The server couldn't fulfill the request."
print "Error code: %s" % e.code elif hasattr(e, "reason"): print "We failed to reach a server. Please check your url and read the Reason"
print "Reason: %s" % e.reason return my_page def find_title(self, my_page):
"""
通过返回的整个网页HTML, 正则匹配前100的电影名称

Args:
my_page: 传入页面的HTML文本用于正则匹配
"""
temp_data = []
movie_items = re.findall(r'<span.*?class="title">(.*?)</span>', my_page, re.S) for index, item in enumerate(movie_items): if item.find("&nbsp") == -1:
temp_data.append("Top" + str(self._top_num) + " " + item)
self._top_num += 1
self.datas.extend(temp_data) def start_spider(self):
"""
爬虫入口, 并控制爬虫抓取页面的范围
"""
while self.page <= 4:
my_page = self.get_page(self.page)
self.find_title(my_page)
self.page += 1def main():
print u"""
###############################
一个简单的豆瓣电影前100爬虫
Author: Andrew_liu
mender: cy
Version: 0.0.2
Date: 2017-03-02
###############################
"""
my_spider = DouBanSpider()
my_spider.start_spider()
fobj = open('/data/moxiaokai/HelloWorld/cyTest/blogcode/top_move.txt', 'w+') for item in my_spider.datas: print item
fobj.write(item.encode("utf-8")+' ')
time.sleep(0.1) print u"豆瓣爬虫爬取完成"if __name__ == '__main__':
main()

运行结果：

② python抓取、解析、下载小电影……

掌握正确的技能，小电影亦是唾手可得！

周末，总是想要做些有趣的事情，比如分享的 Arino 开发，比如上周的博客爬虫，今天我决定来点不一样的——教你如何使用 Python 爬取 m3u8 视频资源。但请记住，技术虽好，却不能用来违法，否则麻烦可就大了。

在深入讲解之前，让我们先来了解一些基础知识。m3u8 是一种网络串流格式，平时我们可能通过它观看直播，但今天我们要深入探讨它的奥秘。

m3u8 是什么？

在此之前，我只知道 m3u8 是一种网络串流格式，用于在线观看直播，但今天要分享这个主题时，我开始系统地搜集有关 m3u8 的知识点，发现网络和知乎上的资料都非常宝贵。以下是我们从知乎了解到的一些关键信息。

m3u8 通常分为单码率（固定分辨率）和多码率（包含多种分辨率）两种。单码率 m3u8 文件内容类似于：

而多码率 m3u8 文件则包含多个单码率链接：

理解 m3u8 文件结构对于接下来的操作至关重要。让我们从 m3u8 文件指令说起。

m3u8 文件指令

m3u8 的文件指令有其国际标准，深入了解这些指令可以帮助我们更有效地解析文件。下面是一些常见的 m3u8 文件指令及其含义。

解析 m3u8 文件

解析 m3u8 文件的关键在于理解文件结构，并根据内容设计解析逻辑。使用 requests 库模拟调用并分析响应结果，可以更直观地获取信息。

接下来，让我们通过具体的 Python 代码实现 m3u8 文件的解析和下载。

解析与下载过程

获取目标视频资源的索引文件（m3u8 文件）通常需要使用浏览器的开发者工具。通过 F12 打开浏览器控制台，选择 Network，刷新页面，找到 index.m3u8 文件。

在众多 m3u8 文件中，我们需要找到包含 ts 视频资源的文件。这里以葫芦娃视频为例，获取 m3u8 文件地址。

解析 m3u8 文件，获取 ts 视频地址，并解密（如果视频资源已加密）。

下载并解密视频资源

使用 Python 代码实现视频资源的下载和解密，确保视频资源完整无误。

合并视频文件

将获取的 ts 视频文件合并成一个完整的 MP4 文件。

至此，我们完成了 Python 爬取 m3u8 视频资源的示例。今天的内容相当全面，目标也实现了。

完整代码示例

运行这段代码，你将得到葫芦娃的完整视频。当然，如果你能找到其他资源，同样可以使用这段代码。

总结

今天的视频爬虫简单明了，技术核心点不多，主要包括解析 m3u8 文件、获取 ts 视频地址、下载并解密视频资源等步骤。对于 Python 基础稍有了解的开发者来说，实现起来并不困难。

作为 Python 的爱好者，我一直对它充满好感，特别是用于脚本开发时，它提供了极大的便利性。从数据处理到爬虫应用，Python 都能发挥重要作用，提升工作效率。

再次强调，技术无罪，但请勿使用技术进行违法活动，否则只会给自己带来麻烦。希望这段教程能帮助你更好地理解 Python，并在合法范围内发挥技术的力量。

③ 怎样用python获取电影

实验室这段时间要采集电影的信息，给出了一个很大的数据集，数据集包含了4000多个电影名，需要我写一个爬虫来爬取电影名对应的电影信息。

其实在实际运作中，根本就不需要爬虫，只需要一点简单的Python基础就可以了。

前置需求：

Python3语法基础

HTTP网络基础

===================================

第一步，确定API的提供方。IMDb是最大的电影数据库，与其相对的，有一个OMDb的网站提供了API供使用。这家网站的API非常友好，易于使用。

第二步，确定网址的格式。

第三步，了解基本的Requests库的使用方法。

④ Python爬虫实战，Python多线程抓取5千多部最新电影下载链接

利用Python多线程爬了5000多部最新电影下载链接，废话不多说~

让我们愉快地开始吧~

Python版本： 3.6.4

相关模块：

requests模块；

re模块；

csv模块；

以及一些Python自带的模块。

安装Python并添加到环境变量，pip安装需要的相关模块即可。

拿到链接之后，接下来就是继续访问这些链接，然后拿到电影的下载链接

但是这里还是有很多的小细节，例如我们需要拿到电影的总页数，其次这么多的页面，一个线程不知道要跑到什么时候，所以我们首先先拿到总页码，然后用多线程来进行任务的分配

我们首先先拿到总页码，然后用多线程来进行任务的分配

总页数其实我们用re正则来获取

爬取的内容存取到csv，也可以写个函数来存取

开启4个进程来下载链接

您学废了吗？最后祝大家天天进步！！学习Python最重要的就是心态。我们在学习过程中必然会遇到很多难题，可能自己想破脑袋都无法解决。这都是正常的，千万别急着否定自己，怀疑自己。如果大家在刚开始学习中遇到困难，想找一个python学习交流环境，可以加入我们，领取学习资料，一起讨论，会节约很多时间，减少很多遇到的难题。