自动采集电影资源原理

『壹』 Python爬虫实战（1）requests爬取豆瓣电影TOP250

爬取时间：2020/11/25
系统环境：Windows 10
所用工具：Jupyter NotebookPython 3.0
涉及的库：requestslxmlpandasmatplotlib umpy

蛋肥想法： 先将电影名称、原名、评分、评价人数、分类信息从网站上爬取下来。

蛋肥想法： print数据列表后发现电影原名、分类信息等存在不需要的字符，需预先处理；同时因为后续想做一个豆瓣电影TOP250的维度分布图，而同一电影存在多个发行国家、类型（如“法国 美国 / 剧情 动作 犯罪”），为了简（偷）便（懒），这里均取第一个作为记入的数据；最后将数据保存为xlsx。

蛋肥想法： 蛋肥想知道在豆瓣电影TOP250中年份、国家、类型的维度数据，为了练手，使用刚才保存成xlsx的数据，并分别画成雷达图、柱形图、扇形图。

『贰』 什么软件可以采集任何网站上的电影

熊猫采集软件

熊猫采集软件可能与你见过的某些类似工具软件全然不同：功能强大，但又操作简单。两者的差别，类似于从DOS操作系统转到windows视窗操作系统。前者需要专业技术人员才能有效操作，而熊猫则是面向普通大众的可视化操作平台。
如果你用熊猫软件解决不了你的采集需求，最大的可能是因为你尚未熟悉熊猫的功能和操作。
采集软件，是指将互联网上通过web途径公开的资源采集复制到本地的工具软件。互联网是个巨大的仓库，有着丰富的可用资源，采集软件是用户实现批量采集、下载、复制互联网资源的重要工具软件之一。
熊猫采集软件利用熊猫精准搜索引擎的解析内核，实现对网页内容的仿浏览器解析，在此基础上利用原创的技术实现对网页框架内容与核心内容的分离、抽取，并实现相似页面的有效比对、匹配。因此，用户只需要指定一个参考页面，熊猫采集软件系统就可以据此来匹配类似的页面，来实现用户需要采集资料的批量采集。
在此过程中，用户不再需要使用非常专业的“正则表达式”技术，不要需要借助技术高手来编写采集匹配规则。熊猫采集软件系统会将参考页面的内容解析分解后，由用户利用鼠标点选需要采集的对象即可，系统据此就可以知道用户需要采集的内容。熊猫采集软件的模板定制过程，是一个对目标页面进行机器学习、机器训练的过程。
为了方便采集软件的使用新手，熊猫采集软件在设计过程中已尽最大努力为用户减少操作环节，所有可能的地方，都尽力为用户实现自动操作。为此在软件开发过程中花费了大量的精力。例如在“标题列表页面”的设置过程中，大部分情况下，用户只需要输入标题列表页面的网页url，再点击<自动分析>按钮即可，系统在经过充分分析的基础上，自动完成对标题列表页面的相关参数设置。这也是熊猫采集软件与众不同的地方，用户借助熊猫采集软件的智能化辅助功能，可以轻松实现对采集项目的配置工作。
熊猫采集软件的设计目标，是能见即能采，意即只要用户通过浏览器途径能够看到的内容，都能有序的结构化的采集下载到本地。显然，这并不轻松，因为并不是所有互联网资源拥有者都无条件的欢迎采集者，他们会因此设置很多技术上的障碍。
另一方面，用户的采集需求各自不同，采集目标资源的组织方式各自不同，用户对采集资源的应用方式也各式各样。所以完全实现熊猫采集软件的设计目标，是需要不菲的时间和精力，是需要渐进、逐步的来实现。目前版本的熊猫采集软件，虽还不能做到无所不能，但已经具备了良好的综合性能，可以充分应用到绝大部分场合。
下面整理出熊猫采集软件的一些独特特点，软件的更多细节介绍，请点击页面上方对应的栏目标题。

『叁』 影视后期制作中AE 抠像技术

影视后期制作中AE 抠像技术

AE抠像技术被广泛运用到影视处理相关的很多领域，成为当今后期影视处理过程中不可缺少的一个环节。该文从定义、素材准备、后期抠像的基本技术等几个方面详细地介绍了影视后期制作中AE抠像技术，最后通过实际的案例进一步分析AE抠像技术应用。

1 、抠像定义

抠像，指在后期处理中提取图片或视频画面中的指定的图像，并将提取出的图像合成到一个新的场景中去，从而增加画面的鲜活性，专业术语称作为键控（Keying）。通常意义上的抠像，指采取图像中的某种 颜色值或亮度值来定义透明区域。使得图片上所有具有类似颜色或亮度值的像素都转变为透明的，从而提取主体。当今，抠像技术成了大多数后期影视处理过程中不可缺少的一个环节。

2 、素材的准备

对于要进行抠像处理的视频素材，前期的拍摄与准备工作非常重要，它们几乎决定了抠像的最终效果。根据键控技术的原理：将视频画面中的某种颜色转变为透明，提取Alpha通道，因此抠像技术通常要求镜头画面所处的背景颜色尽可能单一。因此在实际拍摄过程中，通常要求拍摄对象在一个相对单一的、纯度较高的颜色背景前完成影片的动作表演。理论上说，背景色可以是不存在与前景色中的任何颜色。现实拍摄中我们使用最多的是蓝色或绿色背景，因为人的身体里不包含这两种颜色。中国人肤色大多数偏黄，通常使用黄色的补色――蓝色背景，送样抠像后肤色相对会偏白一点，从而能达到更好的效果，而绿色背景前的黄皮肤抠像后的色彩效果相对于蓝色背景来说效果稍差。而在西方国家，因为很多欧美人的眼睛是接近蓝色，因此在拍摄人物时常用绿色背景。通常情况下，要抠像的镜头都会在专业的纯色摄影棚中完成拍摄。现在使用最多的是"蓝箱"拍摄。这样，在后期制作中就可以将蓝色背景去除，再将前景与其他素材进行合成。蓝箱技术目前应用极其广泛，如电影《阿凡达》等。拍摄好的素材采集到计算机中，通过后期制作软件进行抠像处理。

3 、后期抠像的基本技术

在抠像的后期制作中，主要是通过影视后期制作软件、抠像特效或插件对采集到的素材进行抠像处理，保留前景，去除不需要的背景。通过抠像处理便将其新的背景素材进行人工合成。在后期抠像中，常用的抠像技术有：即色度键（蓝屏或绿屏键控）、亮度键、差异键等。

3.1 色度键

色度键又称颜色抠像，是通过指定一种颜色，软件就会自动将图像中这种颜色和与之相近的颜色抠掉的技术。常用的蓝屏抠像、绿屏抠像，但原理来讲，并非一定要求背景是蓝色或绿色，也可以选择其他纯色。通常情况下，需要键出的颜色与需要保留的颜色反差越大，越有利于颜色抠像。在After Effects中，特效的调整是一个很精细的过程，好的抠像效果，除了能完整地保留前景像素，干净地去除背景像素，同时如果前景中含有半透明像素、柔和区域，这些信息也要完整地保留，才能为后续的后期合成做好准备。方法和主要参数调整如下：

（1）选中需要调整的图片或视频，通过使用命令effects/keying/color key。用吸管工具吸取需要扣除的颜色（即需要变为透明的颜色）。

（2）调整color tolerance 的值，该值是控制颜色的容差度，值越高，指定的颜色越透明。

（3）调整edge feather的值，该值是控制键出区域的羽化效果，可以稍微调整，不易过大。

3.2 亮度键

利用亮度区别进行抠像的技术称为亮度抠像。即选择亮度相似的部分，使其变为透明。当拍摄的对象非常明亮时，将其置于较暗的背景前拍摄，灯光只打亮被拍摄的对象，这样将会拍出背景全黑、前景明亮的画面，再通过亮度抠像技术，根据亮度差别来提取通道。在拍摄前景，背景光暗反差大的场景时，如从白纸中抠出黑字出来，通常采用这种抠图方法。方法和主要参数调整如下：

（1）选中需要调整的`图片或视频，通过使用命令effects/keying/luma key，首先选择键控类型，通过指定key type 的值，如选择key out bringter 视图方式，将会使比指定亮度值的像素变为透明。

（2）调整tolerance的值，该值用来设定被指定亮度值的范围，值越低，则被提取出的亮度值越接近指定的亮度值。

（3）调整Edge feather的值，该值用来设定提取出的边缘羽化度，值越大，边缘就会相对柔和。不过取值大的话，也会导致渲染的时间变长。

（4）调整Edge thin的值，该值通过正负值来设定提取区域的边缘的厚度，正值会增加透明区域，负值则会减少透明区域。

3.3 差异键

基于某种基本背景图像来定义透明区域，这样的抠像方式称为差异键。通过差异键不光可以抠出纯色背景，还可以抠出任意的背景。它是通过两种不同的颜色对图像进行抠像。在现实拍摄中，当没有条件进行蓝幕或绿幕拍摄，或拍摄的动作不能达到纯色抠像的效果时，就可以采用差异键进行抠像。差异键也有不足之处，由于拍摄光线的细小变化、视频噪波、胶片颗粒等可能因素而造成前后拍摄的背景不太一样，这样就难以提取出纯净的通道。在实际应用中差异键也是非常实用的抠像技术。方法和主要参数调整如下：

（1）选中需要调整的图片或视频，通过使用命令effects/keying/color difference key ，其实当我们使用这个命令后，从图片上我们可以看到背景基本上被透明了，但是局部效果可能并不太好，因此还需要进行进一步的调整。

（2）在视图方式中选择蒙版模式，view/matte corrected，在三个吸管工具中先用第二个吸管指定透明区域，用第三个吸管工具指定不透明区域。再通过微调partial A in **/partial A out**相关的参数得到更好的效果。

3.4 Key light抠像

Key light插件是一款非常有效、便捷、功能很强大的抠像工具，目前已被Adobe公司收购变成了内部插件。该插件能通过对选取抠像颜色对画面进行识别，抠掉选中的颜色。通过在屏幕蒙版模式下调整黑白灰三种颜色。黑色表示完全透明，白色表示完全不透明，灰色表示半透明。通过对Alpha通道的调节，能抠选出满意的效果。方法和主要参数调整如下：

（1）选中需要调整的图片或视频，通过使用命令Effect/Keying/Key light ，加入Key light特效。在Screen colour选项上，用吸管工具吸取需要扣除的颜色（即需要变为透明的颜色）。

（2）调整Screen pre-blur参数的值，该值不能调太大，如果太大的话，将会损失图像边缘的细节。应根据实际情况将数值调整到最好的效果，是图像的边缘更柔和。

（3）切换到Screen matte选项，进一步调整抠像范围。白色 区域代表保留下来的部分，黑色表示被抠掉的部分。通过调整clip black和clip white两个参数的值可使素材中灰色的地方变为黑色或是白色。如果灰色较少的话，可以直接调整屏幕增益（screen gain）进行颜色的调整。

（4）调整 Alpha bias 和Despill bias参数的值，对图像的边缘进行反溢出调整。

4 、使用基本抠像技术color key制作实例

下面使用color key抠像技术完成一个“卡通图片的背景替换”。

1） 启动AE软件，导入两幅素材如下图所示，在项目（project）窗口中新建一个合成（composition），并命名为“卡通图片的背景替换”。在项目窗口中选择两幅素材图片，将图片加入到新建的合成“卡通图片的背景替换”中，分别将两个图层改名为“卡通图片”和“背景”。

2） 选择“卡通图片”，选择命令effects/keying/color key，在key color栏中选择滴管工具，在composition窗口的蓝色部分单击，吸取键去的颜色，如图1所示。

5 、结束语

在After Effects中，抠像技术有很多种，每种抠像方法都要各自的特点与优势，在实际运用中我们要根据素材的实际情况选择最适当的抠像方法。有时对于复杂的抠像处理，可能要结合两种或两种以上的方法组合使用，以得到满意的效果。最后一定要对抠像后的图片与后场景进行色彩色调饱和度的调整，确保最终相互融合在一起的图片能有相似的色彩环境。运用AE抠像技术，最终能提供给我们一个更加清晰、生动、鲜明、逼真的视觉效果。

『肆』 鏃犱汉鏈烘湁鍝浜涘姛鑳

鏃犱汉鏈虹殑鍔熻兘鍜屽簲鐢ㄩ嗗煙鍒椾妇濡備笅锛

锛1锛夋棤浜烘満鍙浠ョ敤浜庣數鍔涘贰妫鎷嶆憚锛氱數鍔涘贰妫宸ヤ綔鍘熺悊锛氳呴厤鏈夐珮娓呮暟鐮佹憚鍍忔満鍜岀収鐩告満浠ュ強GPS瀹氫綅绯荤粺鐨勬棤浜烘満锛屽彲娌跨數缃戣繘琛屽畾浣嶈嚜杩熸槬涓诲贰鑸锛屽疄鏃朵紶閫佹媿鎽勫奖鍍忥紝鐩戞帶浜哄憳鍙鍦ㄧ數鑴戜笂鍚屾ユ敹鐪嬩笌鎿嶆帶銆

锛2锛夋棤浜烘満鍙浠ョ敤浜庡啘浣滅墿鐨勭洃娴嬶細鍐滀笟淇濋櫓宸ヤ綔鍘熺悊锛氬埄鐢ㄩ泦鎴愪簡楂樻竻鏁扮爜鐩告満銆佸厜璋卞垎鏋愪华銆佺儹绾㈠栦紶鎰熷櫒绛夎呯疆鐨勬棤浜烘満鍦ㄥ啘鐢颁笂椋炶岋紝鍑嗙‘娴嬬畻鎶曚繚鍦板潡鐨勭嶆嶉潰绉锛屾墍閲囬泦鏁版嵁鍙鐢ㄦ潵璇勪及鍐滀綔鐗╅庨櫓鎯呭喌銆淇濋櫓璐圭巼锛屽苟鑳戒负鍙楃伨鍐滅敯瀹氭崯锛屾ゅ栵紝鏃犱汉鏈虹殑宸℃煡杩樺疄鐜颁簡瀵瑰啘浣滅墿鐨勭洃娴嬨

锛3锛夋棤浜烘満鍙浠ョ敤浜庡揩閫熻窡韪鍜岀洃娴嬬幆澧冩薄鏌擄細鐜淇濆伐浣滃師鐞嗭細鏃犱汉鏈哄湪鐜淇濋嗗煙鐨勫簲鐢锛岀幆澧冪洃娴嬶細瑙傛祴绌烘皵銆佸湡澹ゃ佹嶈鍜屾按璐ㄧ姸鍐碉紝涔熷彲浠ュ疄鏃跺揩閫熻窡韪鐮佹墥鑰愬拰鐩戞祴绐佸彂鐜澧冩薄鏌撲簨浠剁殑鍙戝睍銆

锛4锛夋棤浜烘満鍙浠ョ敤浜庡墽缁勮窡鎷嶏細褰辫嗗墽鎷嶆憚宸ヤ綔鍘熺悊锛氭棤浜烘満鎼杞介珮娓呮憚鍍忔満锛屽湪鏃犵嚎閬ユ帶鐨勬儏鍐典笅锛屾牴鎹鑺傜洰鎷嶆憚闇姹傦紝鍦ㄩ仴鎺ф搷绾典笅浠庣┖涓杩涜屾媿鎽勩

锛5锛夋棤浜烘満鍙浠ョ敤浜庤埅鎷嶏細姝よ春纭鏉闂棰樺伐浣滃師鐞嗭細澶у埌涓ゅ浗鐨勯嗗湡涔嬩簤锛屽皬鍒板啘鏉戝湡鍦扮殑纭鏉冿紝鏃犱汉鏈洪兘鍙涓婇樀杩涜岃埅鎷嶃

锛6锛夋棤浜烘満鍙浠ョ敤浜庤楁櫙鎷嶆憚锛氳楁櫙宸ヤ綔鍘熺悊锛氬埄鐢ㄦ惡甯︽媿鎽勮呯疆鐨勬棤浜烘満锛屽紑灞曞ぇ瑙勬ā鑸鎷嶏紝瀹炵幇绌轰腑淇鐬扮殑鏁堟灉銆

『伍』 鐢靛奖閲囬泦鐨勫繀椤诲叿澶囩殑鍔熻兘

瑙勫垯瀹氫箟 - 閫氳繃閲囬泦瑙勫垯鐨勫畾涔夛紝鍙鐕冮攢浠ユ悳绱㈡墍鏈夌綉绔欓噰闆嗗嚑涔庝换浣曠被鍨嬬殑瑙嗛戞枃浠
澶氫换鍔★紝澶氱嚎绋 - 鍙浠ュ悓鏃惰繘琛屽氫釜鐢靛奖閲囬泦浠诲姟锛屾瘡涓浠诲姟鍙浠ヤ娇鐢ㄥ氫釜绾跨▼銆
鎵瑙佸嵆鎵寰 锛 浠诲姟閲囬泦杩囩▼鎵瑙佸嵆鎵寰楋紝杩囩▼涓閬嶅巻鐨勯摼鎺ヤ俊鎭銆侀噰闆嗕俊鎭銆侀敊璇淇℃伅绛夐兘浼氬強鏃剁殑鍙嶆槧鍦ㄨ蒋浠剁晫闈涓銆
鏁版嵁淇濆瓨 锛 鏁版嵁杈归噰闆嗚竟鑷鍔ㄤ繚瀛樺埌鍏崇郴鏁版嵁搴撲腑锛屽苟涓旀暟鎹缁撴瀯鑳藉熻嚜鍔ㄩ傚簲锛岃蒋浠跺彲浠ユ牴鎹閲囬泦瑙勫垯鑷鍔ㄥ垱寤烘暟鍜愭垫壆鎹搴擄紝浠ュ強鍏朵腑鐨勮〃鍜屽瓧娈碉紝涔熷彲浠ユ牴鎹璁剧疆鐏垫椿鐨勫皢鏁版嵁淇濆瓨鍒板㈡埛宸叉湁鐨勬暟鎹搴撶粨鏋勪腑锛岃繖涓鍒囬兘涓嶄細瀵逛綘鐨勬暟鎹搴撳拰浣犵殑鐢熶骇閫犳垚浠讳綍涓嶅埄褰卞搷銆
鏂鐐圭画閲 - 淇℃伅閲囬泦浠诲姟鍙浠ュ湪鍋滄㈠悗浠庢柇鐐瑰紑濮嬬户缁閲囬泦锛屼粠姝や綘鐢ㄤ笉鍐嶆媴蹇冧綘鐨勯噰闆嗕换鍔℃剰澶栦腑鏂浜嗐
缃戠珯鐧诲綍 锛 鏀鎸佺綉绔欑櫥褰曪紝骞舵敮鎸佺綉绔機ookie锛屽嵆浣块渶瑕侀獙璇佸悧鎵嶈兘鐧诲綍鐨勭綉绔欎篃鑳借交鏉剧┛杩囥
鏂囦欢涓嬭浇 锛 鍙浠ュ皢閲囬泦鍒扮殑浜岃繘鍒舵枃浠讹紙璇稿傦細鐢靛奖琛＄伓銆侀煶涔愮瓑锛変笅杞藉埌鏈鍦扮佺洏鎴栬呴噰闆嗙粨鏋滄暟鎹搴撲腑銆
閲囬泦缁撴灉鍒嗙被 锛 鍙浠ユ牴鎹鐢ㄦ埛瀹氫箟鐨勫垎绫讳俊鎭杩涜岄噰闆嗙粨鏋滅殑鑷鍔ㄥ垎绫汇