近來由于數(shù)據(jù)記錄和屬性規(guī)模的急劇增長，大數(shù)據(jù)處理平臺和并行數(shù)據(jù)分析算法也隨之出現(xiàn)。

近來由于數(shù)據(jù)記錄和屬性規(guī)模的急劇增長，大數(shù)據(jù)處理平臺和并行數(shù)據(jù)分析算法也隨之出現(xiàn)。于此同時(shí)，這也推動(dòng)了數(shù)據(jù)降維處理的應(yīng)用。實(shí)際上，數(shù)據(jù)量有時(shí)過猶不及。有時(shí)在數(shù)據(jù)分析應(yīng)用中大量的數(shù)據(jù)反而會(huì)產(chǎn)生更壞的性能。

最新的一個(gè)例子是采用 2009 KDD Challenge 大數(shù)據(jù)集來預(yù)測客戶流失量。 該數(shù)據(jù)集維度達(dá)到 15000 維。 大多數(shù)數(shù)據(jù)挖掘算法都直接對數(shù)據(jù)逐列處理，在數(shù)據(jù)數(shù)目一大時(shí)，導(dǎo)致算法越來越慢。該項(xiàng)目的最重要的就是在減少數(shù)據(jù)列數(shù)的同時(shí)保證丟失的數(shù)據(jù)信息盡可能少。

以該項(xiàng)目為例，我們開始來探討在當(dāng)前數(shù)據(jù)分析領(lǐng)域中最為數(shù)據(jù)分析人員稱道和接受的數(shù)據(jù)降維方法。

缺失值比率 (Missing Values Ratio)

該方法的是基于包含太多缺失值的數(shù)據(jù)列包含有用信息的可能性較少。因此，可以將數(shù)據(jù)列缺失值大于某個(gè)閾值的列去掉。閾值越高，降維方法更為積極，即降維越少。