① 用R語言對vcf文件進行數據挖掘.11 CNV分析
目錄
在之前的文章里介紹了如何通過直方圖來可視化等位雜合鹼基的比例來判斷物種的染色體倍數性。在本文里會繼續向下挖掘，介紹如何可視化染色體上的拷貝數變化(CNVs)。
和前文一樣的操作，使用包自帶的數據。
我們需要去除過高和過低深度的數據。和前文的操作一樣，提取vcf文件里的深度數據"AD"。
然後過濾出10%~90%的數據，當然此處可以根據實際情況進行微調。然後對第一種出現頻率最高的鹼基進行可視化。(一般情況下一個位點上會有兩種鹼基，具體參考前文。)
同樣也可以對出現頻率第二高的鹼基進行同樣的操作，這里節約篇幅就省略了。
為了避免復雜的基於AD比例的模型假設，程序里設計了非參數估計法來計算峰值。計算完了以後可以直接對染色體進行拆分以後可視化進行校驗。
根據尺寸把染色體分割成合適的大小
然後用 freq_peak 函數計算峰值。並對數據進行處理，去掉負數和Na值。
計算到此為止，可以可視化實際數據來驗證計算的正確性。
仔細想一下，峰值計算的結果其實就是CNV的結果。這里根據窗口大小把染色體分成了若干段。(那麼是不是可以給每一段 CDS進行細分然後計算出每一個CDS的具體數字呢????)
當然也可以把所有樣本組合到一起。
② 用R語言對vcf文件進行數據挖掘.2 方法簡介
目錄
vcfR 可以直接讀取vcf格式的數據。如果同時讀取參照序列fasta格式的序列文件和gff格式文件的注釋文件還可以獲取更完整的信息(此步驟並非必須，可以只讀取vcf數據)。在此處便於重復用到了 pinfsc50 包。這個包里是植物致病微生物的基因序列測序結果。包含了一個vcf文件，一個fasta文件和一個gff文件。
這里用到參照序列的數據。
當這些數據被讀取到內存的時候就可以開始對染色體名字或者其它一些東西進行修改了。由於 vcfR 更擅長對的單獨染色體進行分析，所以當你的基因過大或者有很多樣本的時候，建議對數據進行拆分。
讀取完數據以後就可以建立 chromR ，來對數據進行詳細的分析。
首先對數據進行初步的可視化,
我們在上面的圖里得到很多信息，比方說測序深度(DP)的峰在500，但是拖著尾巴，這個尾巴表示數據里包含著CNV信息。然後比對質量(MQ)的峰值在60,於是我們可以以60為中心對數據進行過濾。
使用 masker 可以對數據進行過濾標記。然後可視化過濾以後的數據。
是不是順眼多了。當然我們也可以看一下SNP的分布情況。注意右下角的圖。
用 chromoqc() 可以對數據進行更完整的可視化。包括外顯子內含子的分布，GC含量的分布等等。
最後可以用函數 write.vcf() 把數據輸出成新的vcf文件。
③ 怎麼學慣用 R 語言進行數據挖掘
什麼是R語言？應該如何開始學習/使用R語言呢？
學習R有幾個月了，總算是摸著了一點門道。
寫一些自己的心得和經驗，方便自己進一步鼓搗R。如果有人看到我寫的東西而得到了幫助，那就更好了。
什麼是R？R的優點何在？
R是一個數據分析軟體。簡單點說，R可以看做MATLAB的「替代品」，而且具有免費開源的優勢。R可以像MATLAB一樣解決有關數值計算的問題，而且具有強大的數據處理，繪圖功能。
R擁有大量的統計分析工具包，我的感覺是——只有我們沒聽說過的工具，絕對沒有R沒有的工具包。配合著各種各樣的工具包，你可以毀滅任何關於數據和統計的問題。因為數據包的數量龐大，所以查找自己需要的數據包，可能很煩惱。
如果有以下技能，學R會很方便：
1.已經了解些高級程序語言（非常重要）
2.英語不壞
3.概率統計理論基礎
4.看數據不頭疼
5.看cmd or terminal 也不頭疼
你需要一本適合你的R語言教材
我開始學習R的時候，找到了這個帖子
非常強大的關於R語言教材綜述。我非常感謝原帖作者。你可以參考這個帖子選一本適合你的教材。
我這里在說一下我主要使用的幾本教材的心得：
1. 統計建模與R軟體（薛毅著）：非常優秀的R語言入門教材，涵蓋了所有R的基礎應用&方法，示例代碼也很優秀。作為一本中文的程序語言教材，絕對是最優秀的之一。但是要看懂這本書，還是需要「已經了解些高級程序語言」。PS：我親愛的吉林大學圖書館，有兩本該教材流通，我常年霸佔一本。
2. R in Nutshell：從講解內容上看，與上一本差別不大，在R語言的應用上都是比較初級的入門，但是有些R軟體&語言上的特性，寫得比薛毅老師的教材深刻。這本書最大的優點就是工具書，方便開始入門時候，對有些「模稜兩可」的東西的查詢。PS：我將這本書列印了出來，簡單的從頭到尾翻過，最大的用途就是像一本字典一樣查詢。
3. ggplot2 Elegant Graphics for Data：這是一本介紹如何使用ggplot2包，進行繪圖的書。ggplot2包，非常強大的繪圖工具，幾乎可以操作任何圖中的元素，而且是提供添加圖層的方式讓我們可以一步步的作圖。提到ggplot2包，應該提到一個詞——「潛力無窮」，每一個介紹
ggplot2的人，都會用這個形容詞。這本書最大的作用也是當做一本繪圖相關的工具書，書中講解詳細，細致，每個小參數的變動都會配圖幫你理解。PS：這本書我也列印出來了，非常適合查詢。
幾個可以逐步提高R能力的網站
1.R-bloggers: 這里有關於R和數據的一切討論，前沿的問題，基礎的問題，應有盡有。可以說這些傢伙們讓R變得越來越強大。我RSS了這個網站，每天都看一下有什麼我感興趣的方法和話題，慢慢的積累一些知識，是一個很有意思的過程。
2.統計之都： 這是一個有大量R使用者交流的論壇，你可以上去提問題，總有好心人來幫助你的。
3.R客： 是關於R的一個博客，更新不快，偏重國內R的一些發展。
R的使用環境
如果你看見terminal or cmd就打怵的話，一定要使用Rstudio。Rstudio的優點是，集成了Rconsole、腳本編輯器、可視化的數據查詢、歷史命令、幫助查詢等，還有的完美的腳本和console的互動。畢竟是可視化的界面，有許多按鈕可以用。R 的腳本編輯器很蛋疼，就比記事本多了個顏色高亮吧，不適合編寫腳本，但適合調試腳本。
最後，說一下，剛開始學習R或者其他什麼語言，都有一個通病，就是一些小細節的不知道，或者是記得不清楚，往往一個蛋疼的bug就可以耗掉大量的時間，這是一個讓人想砸電腦的過程。我往後，會在博客里記錄一些讓我蛋很疼的小細節。本文分為6個部分，分別介紹初級入門，高級入門，繪圖與可視化，計量經濟學，時間序列分析，金融等。
1.初級入門
《An Introction to R》，這是官方的入門小冊子。其有中文版，由丁國徽翻譯，譯名為《R導論》。《R4Beginners》，這本小冊子有中文版應該叫《R入門》。除此之外，還可以去讀劉思喆的《153分鍾學會R》。這本書收集了R初學者提問頻率最高的153個問題。為什麼叫153分鍾呢？因為最初作者寫了153個問題，閱讀一個問題花費1分鍾時間，全局下來也就是153分鍾了。有了這些基礎之後，要去讀一些經典書籍比較全面的入門書籍，比如《統計建模與R軟體》，國外還有《R Cookbook》和《R in action》，本人沒有看過，因此不便評論。
最後推薦，《R in a Nutshell》。對，「果殼裡面的R」！當然，是開玩笑的，in a Nutshell是俚語，意思大致是「簡單的說」。目前，我們正在翻譯這本書的中文版，大概明年三月份交稿！這本書很不錯，大家可以從現在開始期待，並廣而告知一下！
2.高級入門
讀了上述書籍之後，你就可以去高級入門階段了。這時候要讀的書有兩本很經典的。《Statistics with R》和《The R book》。之所以說這兩本書高級，是因為這兩本書已經不再限於R基礎了，而是結合了數據分析的各種常見方法來寫就的，比較系統的介紹了R在線性回歸、方差分析、多元統計、R繪圖、時間序列分析、數據挖掘等各方面的內容，看完之後你會發現，哇，原來R能做的事情這么多，而且做起來是那麼簡潔。讀到這里已經差不多了，剩下的估計就是你要專門攻讀的某個方面內容了。下面大致說一說。
3.繪圖與可視化
亞里斯多德說，「較其他感覺而言，人類更喜歡觀看」。因此，繪圖和可視化得到很多人的關注和重視。那麼，如何學習R畫圖和數據可視化呢？再簡單些，如何畫直方圖？如何往直方圖上添加密度曲線呢？我想讀完下面這幾本書你就大致會明白了。
首先，畫圖入門可以讀《R Graphics》，個人認為這本是比較經典的，全面介紹了R中繪圖系統。該書對應的有一個網站，google之就可以了。更深入的可以讀《Lattice：Multivariate Data Visualization with R》。上面這些都是比較普通的。當然，有比較文藝和優雅的——ggplot2系統，看《ggplot2：Elegant Graphics for Data Analysis》。還有數據挖掘方面的書：《Data Mining with Rattle and R》，主要是用Rattle軟體，個人比較喜歡Rattle!當然，Rattle不是最好的，Rweka也很棒！再有就是交互圖形的書了，著名的交互系統是ggobi，這個我已經喜歡兩年多了，關於ggobi的書有《Interactive and Dynamic Graphics for Data Analysis With R and GGobi》，不過，也只是適宜入門，更多更全面的還是去ggobi的主頁吧，上面有各種資料以及包的更新信息！
特別推薦一下，中文版繪圖書籍有《現代統計圖形》。
4.計量經濟學
關於計量經濟學，首先推薦一本很薄的小冊子:《Econometrics In R》，做入門用。然後，是《Applied Econometrics with R》，該書對應的R包是AER，可以安裝之後配合使用，效果甚佳。計量經濟學中很大一部分是關於時間序列分析的，這一塊內容在下面的地方說。
5.時間序列分析
時間序列書籍的書籍分兩類，一種是比較普適的書籍，典型的代表是：《Time Series Analysis and Its Applications ：with R examples》。該書介紹了各種時間序列分析的經典方法及實現各種經典方法的R代碼，該書有中文版。如果不想買的話，建議去作者主頁直接下載，英文版其實讀起來很簡單。時間序列分析中有一大塊兒是關於金融時間序列分析的。這方面比較流行的書有兩本《Analysis of financial time series》，這本書的最初是用的S-plus代碼，不過新版已經以R代碼為主了。這本書適合有時間序列分析基礎和金融基礎的人來看，因為書中關於時間序列分析的理論以及各種金融知識講解的不是特別清楚，將極值理論計算VaR的部分就比較難看懂。另外一個比較有意思的是Rmetrics推出的《TimeSeriesFAQ》，這本書是金融時間序列入門的東西，講的很基礎，但是很難懂。對應的中文版有《金融時間序列分析常見問題集》，當然，目前還沒有發出來。經濟領域的時間序列有一種特殊的情況叫協整，很多人很關注這方面的理論，關心這個的可以看《Analysis of Integrated and Cointegrated Time Series with R》。最後，比較高級的一本書是關於小波分析的，看《Wavelet Methods in Statistics with R》。附加一點，關於時間序列聚類的書籍目前比較少見，是一個處女地，有志之士可以開墾之！
6.金融
金融的領域很廣泛，如果是大金融的話，保險也要被納入此間。用R做金融更多地需要掌握的是金融知識，只會數據分析技術意義寥寥。我覺得這些書對於懂金融、不同數據分析技術的人比較有用，只懂數據分析技術而不動金融知識的人看起來肯定如霧里看花，甚至有人會覺得金融分析比較低級。這方面比較經典的書籍有：《Advanced Topics in Analysis of Economic and Financial Data Using R》以及《Modelling Financial Time Series With S-plus》。金融產品定價之類的常常要用到隨機微分方程，有一本叫《Simulation Inference Stochastic Differential Equations：with R examples》的書是關於這方面的內容的，有實例，內容還算詳實!此外，是風險度量與管理類。比較經典的有《Simulation Techniques in Financial Risk Management》、《Modern Actuarial Risk Theory Using R》和《Quantitative Risk Management：Concepts, Techniques and Tools》。投資組合分析類和期權定價類可以分別看《Portfolio Optimization with R》和《Option Pricing and Estimation of Financial Models with R》。
7.數據挖掘
這方面的書不多，只有《Data Mining with R:learing with case studies》。不過，R中數據挖掘方面的包已經足夠多了，參考包中的幫助文檔就足夠了。
④ 用R語言對vcf文件進行數據挖掘.3 從vcf文件里提取有用信息
目錄
一般的VCF文件都很大，用手動提取裡面的信息肯定不大現實。用 vcfR 就可以輕松實現。
vcfR 自帶測試文件 vcfR_test 。就用這個文件來操作一下吧。
在分區 Genotype 里，通過觀察 FORMAT 列可以看到一共有四種類型的數據 GT:GQ:DP:HQ ，至於這四種類型的數據個各自代表什麼意思大家可以查閱知乎網路谷歌。我們可以提取出我們想要的數據類型。比方說最重要的 GT (genotype)。
同樣，我們也可以提取例如 DP (測序深度Read Depth)的數字矩陣。
值的注意的是這里用到了參數 as.numeric = TRUE 使得數據自動轉換成了數字。但是並不是對所有類型的數據都有效，比方說我們重復一下提取 gt 。
在沒有任何報錯的情況下 gt 變成了一堆毫無意義的數字，很明顯不合理，不要用這些經過錯誤轉換的數據進行下一步分析，比方說喜聞樂見的主成分分析。
在一些類型的數據里可能會出現一個以上的結果，比方說上面的 HQ 數據。
一般情況下我們只需要每一列的第一個數字
不需要samtools之類的軟體我們也可以實現vcf數據讀取自由，關鍵是可以直接寫入內存進行下一步的統計分析和數據可視化，個人感覺是很有效的提高了生產力。值得花時間學習一下這個工具。
⑤ R語言 數據挖掘-文本分析(1)
剛接觸R語言一周，和matab不同R作用於數據挖掘的庫很多,詳解見 R語言數據挖掘包
，下面簡介文本分析經常使用到的三個包
tm 為文本挖掘提供綜合性處理 Rwordmsg 進行中文分詞 wordcloud 統計詞雲
以第三屆泰迪杯A題提供的數據集國美-Sheet1進行文本分析 : 第三屆泰迪杯
轉化為txt的數據集如下圖所示:
生成詞雲:
⑥ R語言GEO數據挖掘：步驟三：進行基因差異分析
用limma包，這里注意，limma包是對基因晶元表達矩陣的分析，不能對逆轉錄RNAseq表達矩陣進行分析（因為數據特徵不同），RNAseq需要用另一種方法
解讀此表
但是上面的用法做不到隨心所欲的指定任意兩組進行比較，所有還有下一種方法
處理好了分組信息，再自定義比較元素
自定義函數進行比較
熱土和火山圖都是傻瓜式的，只要的前面得出的deg數據(也就是基因差異表達數據）是正確的
⑦ R語言和數據挖掘有什麼關系
數據挖掘是一門新興學科，R語言是一種統計計算的語言，是一種工具。數據挖掘常使用R語言來獲得想要的結果。