自動採集電影資源原理

『壹』 Python爬蟲實戰（1）requests爬取豆瓣電影TOP250

爬取時間：2020/11/25
系統環境：Windows 10
所用工具：Jupyter NotebookPython 3.0
涉及的庫：requestslxmlpandasmatplotlib umpy

蛋肥想法： 先將電影名稱、原名、評分、評價人數、分類信息從網站上爬取下來。

蛋肥想法： print數據列表後發現電影原名、分類信息等存在不需要的字元，需預先處理；同時因為後續想做一個豆瓣電影TOP250的維度分布圖，而同一電影存在多個發行國家、類型（如「法國 美國 / 劇情 動作 犯罪」），為了簡（偷）便（懶），這里均取第一個作為記入的數據；最後將數據保存為xlsx。

蛋肥想法： 蛋肥想知道在豆瓣電影TOP250中年份、國家、類型的維度數據，為了練手，使用剛才保存成xlsx的數據，並分別畫成雷達圖、柱形圖、扇形圖。

『貳』 什麼軟體可以採集任何網站上的電影

熊貓採集軟體

熊貓採集軟體可能與你見過的某些類似工具軟體全然不同：功能強大，但又操作簡單。兩者的差別，類似於從DOS操作系統轉到windows視窗操作系統。前者需要專業技術人員才能有效操作，而熊貓則是面向普通大眾的可視化操作平台。
如果你用熊貓軟體解決不了你的採集需求，最大的可能是因為你尚未熟悉熊貓的功能和操作。
採集軟體，是指將互聯網上通過web途徑公開的資源採集復制到本地的工具軟體。互聯網是個巨大的倉庫，有著豐富的可用資源，採集軟體是用戶實現批量採集、下載、復制互聯網資源的重要工具軟體之一。
熊貓採集軟體利用熊貓精準搜索引擎的解析內核，實現對網頁內容的仿瀏覽器解析，在此基礎上利用原創的技術實現對網頁框架內容與核心內容的分離、抽取，並實現相似頁面的有效比對、匹配。因此，用戶只需要指定一個參考頁面，熊貓採集軟體系統就可以據此來匹配類似的頁面，來實現用戶需要採集資料的批量採集。
在此過程中，用戶不再需要使用非常專業的「正則表達式」技術，不要需要藉助技術高手來編寫採集匹配規則。熊貓採集軟體系統會將參考頁面的內容解析分解後，由用戶利用滑鼠點選需要採集的對象即可，系統據此就可以知道用戶需要採集的內容。熊貓採集軟體的模板定製過程，是一個對目標頁面進行機器學習、機器訓練的過程。
為了方便採集軟體的使用新手，熊貓採集軟體在設計過程中已盡最大努力為用戶減少操作環節，所有可能的地方，都盡力為用戶實現自動操作。為此在軟體開發過程中花費了大量的精力。例如在「標題列表頁面」的設置過程中，大部分情況下，用戶只需要輸入標題列表頁面的網頁url，再點擊<自動分析>按鈕即可，系統在經過充分分析的基礎上，自動完成對標題列表頁面的相關參數設置。這也是熊貓採集軟體與眾不同的地方，用戶藉助熊貓採集軟體的智能化輔助功能，可以輕松實現對採集項目的配置工作。
熊貓採集軟體的設計目標，是能見即能采，意即只要用戶通過瀏覽器途徑能夠看到的內容，都能有序的結構化的採集下載到本地。顯然，這並不輕松，因為並不是所有互聯網資源擁有者都無條件的歡迎採集者，他們會因此設置很多技術上的障礙。
另一方面，用戶的採集需求各自不同，採集目標資源的組織方式各自不同，用戶對採集資源的應用方式也各式各樣。所以完全實現熊貓採集軟體的設計目標，是需要不菲的時間和精力，是需要漸進、逐步的來實現。目前版本的熊貓採集軟體，雖還不能做到無所不能，但已經具備了良好的綜合性能，可以充分應用到絕大部分場合。
下面整理出熊貓採集軟體的一些獨特特點，軟體的更多細節介紹，請點擊頁面上方對應的欄目標題。

『叄』 影視後期製作中AE 摳像技術

影視後期製作中AE 摳像技術

AE摳像技術被廣泛運用到影視處理相關的很多領域，成為當今後期影視處理過程中不可缺少的一個環節。該文從定義、素材准備、後期摳像的基本技術等幾個方面詳細地介紹了影視後期製作中AE摳像技術，最後通過實際的案例進一步分析AE摳像技術應用。

1 、摳像定義

摳像，指在後期處理中提取圖片或視頻畫面中的指定的圖像，並將提取出的圖像合成到一個新的場景中去，從而增加畫面的鮮活性，專業術語稱作為鍵控（Keying）。通常意義上的摳像，指採取圖像中的某種 顏色值或亮度值來定義透明區域。使得圖片上所有具有類似顏色或亮度值的像素都轉變為透明的，從而提取主體。當今，摳像技術成了大多數後期影視處理過程中不可缺少的一個環節。

2 、素材的准備

對於要進行摳像處理的視頻素材，前期的拍攝與准備工作非常重要，它們幾乎決定了摳像的最終效果。根據鍵控技術的原理：將視頻畫面中的某種顏色轉變為透明，提取Alpha通道，因此摳像技術通常要求鏡頭畫面所處的背景顏色盡可能單一。因此在實際拍攝過程中，通常要求拍攝對象在一個相對單一的、純度較高的顏色背景前完成影片的動作表演。理論上說，背景色可以是不存在與前景色中的任何顏色。現實拍攝中我們使用最多的是藍色或綠色背景，因為人的身體里不包含這兩種顏色。中國人膚色大多數偏黃，通常使用黃色的補色――藍色背景，送樣摳像後膚色相對會偏白一點，從而能達到更好的效果，而綠色背景前的黃皮膚摳像後的色彩效果相對於藍色背景來說效果稍差。而在西方國家，因為很多歐美人的眼睛是接近藍色，因此在拍攝人物時常用綠色背景。通常情況下，要摳像的鏡頭都會在專業的純色攝影棚中完成拍攝。現在使用最多的是"藍箱"拍攝。這樣，在後期製作中就可以將藍色背景去除，再將前景與其他素材進行合成。藍箱技術目前應用極其廣泛，如電影《阿凡達》等。拍攝好的素材採集到計算機中，通過後期製作軟體進行摳像處理。

3 、後期摳像的基本技術

在摳像的後期製作中，主要是通過影視後期製作軟體、摳像特效或插件對採集到的素材進行摳像處理，保留前景，去除不需要的背景。通過摳像處理便將其新的背景素材進行人工合成。在後期摳像中，常用的摳像技術有：即色度鍵（藍屏或綠屏鍵控）、亮度鍵、差異鍵等。

3.1 色度鍵

色度鍵又稱顏色摳像，是通過指定一種顏色，軟體就會自動將圖像中這種顏色和與之相近的顏色摳掉的技術。常用的藍屏摳像、綠屏摳像，但原理來講，並非一定要求背景是藍色或綠色，也可以選擇其他純色。通常情況下，需要鍵出的顏色與需要保留的顏色反差越大，越有利於顏色摳像。在After Effects中，特效的調整是一個很精細的過程，好的摳像效果，除了能完整地保留前景像素，干凈地去除背景像素，同時如果前景中含有半透明像素、柔和區域，這些信息也要完整地保留，才能為後續的後期合成做好准備。方法和主要參數調整如下：

（1）選中需要調整的圖片或視頻，通過使用命令effects/keying/color key。用吸管工具吸取需要扣除的顏色（即需要變為透明的顏色）。

（2）調整color tolerance 的值，該值是控制顏色的容差度，值越高，指定的顏色越透明。

（3）調整edge feather的值，該值是控制鍵出區域的羽化效果，可以稍微調整，不易過大。

3.2 亮度鍵

利用亮度區別進行摳像的技術稱為亮度摳像。即選擇亮度相似的部分，使其變為透明。當拍攝的對象非常明亮時，將其置於較暗的背景前拍攝，燈光只打亮被拍攝的對象，這樣將會拍出背景全黑、前景明亮的畫面，再通過亮度摳像技術，根據亮度差別來提取通道。在拍攝前景，背景光暗反差大的場景時，如從白紙中摳出黑字出來，通常採用這種摳圖方法。方法和主要參數調整如下：

（1）選中需要調整的`圖片或視頻，通過使用命令effects/keying/luma key，首先選擇鍵控類型，通過指定key type 的值，如選擇key out bringter 視圖方式，將會使比指定亮度值的像素變為透明。

（2）調整tolerance的值，該值用來設定被指定亮度值的范圍，值越低，則被提取出的亮度值越接近指定的亮度值。

（3）調整Edge feather的值，該值用來設定提取出的邊緣羽化度，值越大，邊緣就會相對柔和。不過取值大的話，也會導致渲染的時間變長。

（4）調整Edge thin的值，該值通過正負值來設定提取區域的邊緣的厚度，正值會增加透明區域，負值則會減少透明區域。

3.3 差異鍵

基於某種基本背景圖像來定義透明區域，這樣的摳像方式稱為差異鍵。通過差異鍵不光可以摳出純色背景，還可以摳出任意的背景。它是通過兩種不同的顏色對圖像進行摳像。在現實拍攝中，當沒有條件進行藍幕或綠幕拍攝，或拍攝的動作不能達到純色摳像的效果時，就可以採用差異鍵進行摳像。差異鍵也有不足之處，由於拍攝光線的細小變化、視頻噪波、膠片顆粒等可能因素而造成前後拍攝的背景不太一樣，這樣就難以提取出純凈的通道。在實際應用中差異鍵也是非常實用的摳像技術。方法和主要參數調整如下：

（1）選中需要調整的圖片或視頻，通過使用命令effects/keying/color difference key ，其實當我們使用這個命令後，從圖片上我們可以看到背景基本上被透明了，但是局部效果可能並不太好，因此還需要進行進一步的調整。

（2）在視圖方式中選擇蒙版模式，view/matte corrected，在三個吸管工具中先用第二個吸管指定透明區域，用第三個吸管工具指定不透明區域。再通過微調partial A in **/partial A out**相關的參數得到更好的效果。

3.4 Key light摳像

Key light插件是一款非常有效、便捷、功能很強大的摳像工具，目前已被Adobe公司收購變成了內部插件。該插件能通過對選取摳像顏色對畫面進行識別，摳掉選中的顏色。通過在屏幕蒙版模式下調整黑白灰三種顏色。黑色表示完全透明，白色表示完全不透明，灰色表示半透明。通過對Alpha通道的調節，能摳選出滿意的效果。方法和主要參數調整如下：

（1）選中需要調整的圖片或視頻，通過使用命令Effect/Keying/Key light ，加入Key light特效。在Screen colour選項上，用吸管工具吸取需要扣除的顏色（即需要變為透明的顏色）。

（2）調整Screen pre-blur參數的值，該值不能調太大，如果太大的話，將會損失圖像邊緣的細節。應根據實際情況將數值調整到最好的效果，是圖像的邊緣更柔和。

（3）切換到Screen matte選項，進一步調整摳像范圍。白色 區域代表保留下來的部分，黑色表示被摳掉的部分。通過調整clip black和clip white兩個參數的值可使素材中灰色的地方變為黑色或是白色。如果灰色較少的話，可以直接調整屏幕增益（screen gain）進行顏色的調整。

（4）調整 Alpha bias 和Despill bias參數的值，對圖像的邊緣進行反溢出調整。

4 、使用基本摳像技術color key製作實例

下面使用color key摳像技術完成一個「卡通圖片的背景替換」。

1） 啟動AE軟體，導入兩幅素材如下圖所示，在項目（project）窗口中新建一個合成（composition），並命名為「卡通圖片的背景替換」。在項目窗口中選擇兩幅素材圖片，將圖片加入到新建的合成「卡通圖片的背景替換」中，分別將兩個圖層改名為「卡通圖片」和「背景」。

2） 選擇「卡通圖片」，選擇命令effects/keying/color key，在key color欄中選擇滴管工具，在composition窗口的藍色部分單擊，吸取鍵去的顏色，如圖1所示。

5 、結束語

在After Effects中，摳像技術有很多種，每種摳像方法都要各自的特點與優勢，在實際運用中我們要根據素材的實際情況選擇最適當的摳像方法。有時對於復雜的摳像處理，可能要結合兩種或兩種以上的方法組合使用，以得到滿意的效果。最後一定要對摳像後的圖片與後場景進行色彩色調飽和度的調整，確保最終相互融合在一起的圖片能有相似的色彩環境。運用AE摳像技術，最終能提供給我們一個更加清晰、生動、鮮明、逼真的視覺效果。

『肆』 鏃犱漢鏈烘湁鍝浜涘姛鑳

鏃犱漢鏈虹殑鍔熻兘鍜屽簲鐢ㄩ嗗煙鍒椾婦濡備笅錛

錛1錛夋棤浜烘満鍙浠ョ敤浜庣數鍔涘貳媯鎷嶆憚錛氱數鍔涘貳媯宸ヤ綔鍘熺悊錛氳呴厤鏈夐珮娓呮暟鐮佹憚鍍忔満鍜岀収鐩告満浠ュ強GPS瀹氫綅緋葷粺鐨勬棤浜烘満錛屽彲娌跨數緗戣繘琛屽畾浣嶈嚜榪熸槬涓誨貳鑸錛屽疄鏃朵紶閫佹媿鎽勫獎鍍忥紝鐩戞帶浜哄憳鍙鍦ㄧ數鑴戜笂鍚屾ユ敹鐪嬩笌鎿嶆帶銆

錛2錛夋棤浜烘満鍙浠ョ敤浜庡啘浣滅墿鐨勭洃嫻嬶細鍐滀笟淇濋櫓宸ヤ綔鍘熺悊錛氬埄鐢ㄩ泦鎴愪簡楂樻竻鏁扮爜鐩告満銆佸厜璋卞垎鏋愪華銆佺儹綰㈠栦紶鎰熷櫒絳夎呯疆鐨勬棤浜烘満鍦ㄥ啘鐢頒笂椋炶岋紝鍑嗙『嫻嬬畻鎶曚繚鍦板潡鐨勭嶆嶉潰縐錛屾墍閲囬泦鏁版嵁鍙鐢ㄦ潵璇勪及鍐滀綔鐗╅庨櫓鎯呭喌銆淇濋櫓璐圭巼錛屽苟鑳戒負鍙楃伨鍐滅敯瀹氭崯錛屾ゅ栵紝鏃犱漢鏈虹殑宸℃煡榪樺疄鐜頒簡瀵瑰啘浣滅墿鐨勭洃嫻嬨

錛3錛夋棤浜烘満鍙浠ョ敤浜庡揩閫熻窡韙鍜岀洃嫻嬬幆澧冩薄鏌擄細鐜淇濆伐浣滃師鐞嗭細鏃犱漢鏈哄湪鐜淇濋嗗煙鐨勫簲鐢錛岀幆澧冪洃嫻嬶細瑙傛祴絀烘皵銆佸湡澹ゃ佹嶈鍜屾按璐ㄧ姸鍐碉紝涔熷彲浠ュ疄鏃跺揩閫熻窡韙鐮佹墥鑰愬拰鐩戞祴紿佸彂鐜澧冩薄鏌撲簨浠剁殑鍙戝睍銆

錛4錛夋棤浜烘満鍙浠ョ敤浜庡墽緇勮窡鎷嶏細褰辮嗗墽鎷嶆憚宸ヤ綔鍘熺悊錛氭棤浜烘満鎼杞介珮娓呮憚鍍忔満錛屽湪鏃犵嚎閬ユ帶鐨勬儏鍐典笅錛屾牴鎹鑺傜洰鎷嶆憚闇奼傦紝鍦ㄩ仴鎺ф搷綰典笅浠庣┖涓榪涜屾媿鎽勩

錛5錛夋棤浜烘満鍙浠ョ敤浜庤埅鎷嶏細姝よ春紜鏉闂棰樺伐浣滃師鐞嗭細澶у埌涓ゅ浗鐨勯嗗湡涔嬩簤錛屽皬鍒板啘鏉戝湡鍦扮殑紜鏉冿紝鏃犱漢鏈洪兘鍙涓婇樀榪涜岃埅鎷嶃

錛6錛夋棤浜烘満鍙浠ョ敤浜庤楁櫙鎷嶆憚錛氳楁櫙宸ヤ綔鍘熺悊錛氬埄鐢ㄦ惡甯︽媿鎽勮呯疆鐨勬棤浜烘満錛屽紑灞曞ぇ瑙勬ā鑸鎷嶏紝瀹炵幇絀轟腑淇鐬扮殑鏁堟灉銆

『伍』 鐢靛獎閲囬泦鐨勫繀欏誨叿澶囩殑鍔熻兘

瑙勫垯瀹氫箟 - 閫氳繃閲囬泦瑙勫垯鐨勫畾涔夛紝鍙鐕冮攢浠ユ悳緔㈡墍鏈夌綉絝欓噰闆嗗嚑涔庝換浣曠被鍨嬬殑瑙嗛戞枃浠
澶氫換鍔★紝澶氱嚎紼 - 鍙浠ュ悓鏃惰繘琛屽氫釜鐢靛獎閲囬泦浠誨姟錛屾瘡涓浠誨姟鍙浠ヤ嬌鐢ㄥ氫釜綰跨▼銆
鎵瑙佸嵆鎵寰 錛 浠誨姟閲囬泦榪囩▼鎵瑙佸嵆鎵寰楋紝榪囩▼涓閬嶅巻鐨勯摼鎺ヤ俊鎮銆侀噰闆嗕俊鎮銆侀敊璇淇℃伅絳夐兘浼氬強鏃剁殑鍙嶆槧鍦ㄨ蔣浠剁晫闈涓銆
鏁版嵁淇濆瓨 錛 鏁版嵁杈歸噰闆嗚竟鑷鍔ㄤ繚瀛樺埌鍏崇郴鏁版嵁搴撲腑錛屽苟涓旀暟鎹緇撴瀯鑳藉熻嚜鍔ㄩ傚簲錛岃蔣浠跺彲浠ユ牴鎹閲囬泦瑙勫垯鑷鍔ㄥ壋寤烘暟鍜愭墊壆鎹搴擄紝浠ュ強鍏朵腑鐨勮〃鍜屽瓧孌碉紝涔熷彲浠ユ牴鎹璁劇疆鐏墊椿鐨勫皢鏁版嵁淇濆瓨鍒板㈡埛宸叉湁鐨勬暟鎹搴撶粨鏋勪腑錛岃繖涓鍒囬兘涓嶄細瀵逛綘鐨勬暟鎹搴撳拰浣犵殑鐢熶駭閫犳垚浠諱綍涓嶅埄褰卞搷銆
鏂鐐圭畫閲 - 淇℃伅閲囬泦浠誨姟鍙浠ュ湪鍋滄㈠悗浠庢柇鐐瑰紑濮嬬戶緇閲囬泦錛屼粠姝や綘鐢ㄤ笉鍐嶆媴蹇冧綘鐨勯噰闆嗕換鍔℃剰澶栦腑鏂浜嗐
緗戠珯鐧誨綍 錛 鏀鎸佺綉絝欑櫥褰曪紝騫舵敮鎸佺綉絝機ookie錛屽嵆浣塊渶瑕侀獙璇佸悧鎵嶈兘鐧誨綍鐨勭綉絝欎篃鑳借交鏉劇┛榪囥
鏂囦歡涓嬭澆 錛 鍙浠ュ皢閲囬泦鍒扮殑浜岃繘鍒舵枃浠訛紙璇稿傦細鐢靛獎琛＄伓銆侀煶涔愮瓑錛変笅杞藉埌鏈鍦扮佺洏鎴栬呴噰闆嗙粨鏋滄暟鎹搴撲腑銆
閲囬泦緇撴灉鍒嗙被 錛 鍙浠ユ牴鎹鐢ㄦ埛瀹氫箟鐨勫垎綾諱俊鎮榪涜岄噰闆嗙粨鏋滅殑鑷鍔ㄥ垎綾匯