Python數(shù)據(jù)標(biāo)準(zhǔn)化的實(shí)例分析

說(shuō)明

1、將原始數(shù)據(jù)轉(zhuǎn)換為均值為0，標(biāo)準(zhǔn)差在1范圍內(nèi)。

2、對(duì)標(biāo)準(zhǔn)化而言：如果出現(xiàn)異常點(diǎn)，由于有一定數(shù)據(jù)量，少量異常點(diǎn)對(duì)平均值的影響不大，因此方差變化不大。

實(shí)例

def stand_demo():
    """
    標(biāo)準(zhǔn)化
    :return:
    """
# 1. 獲取數(shù)據(jù)
    data = pd.read_csv('dating.txt')
    data = data.iloc[:, :3]
    print('data:\n', data)
 
# 2.實(shí)例化一個(gè)轉(zhuǎn)換器類
    transfer = StandardScaler()

# 3.調(diào)用fit_transform()
    data_new = transfer.fit_transform(data)
    print('data_new:\n', data_new)
    return None

知識(shí)點(diǎn)擴(kuò)充：

幾種標(biāo)準(zhǔn)化方法：

歸一化Max-Min

min-max標(biāo)準(zhǔn)化方法是對(duì)原始數(shù)據(jù)進(jìn)行線性變換。設(shè)minA和maxA分別為屬性A的最小值和最大值，將A的一個(gè)原始值x通過(guò)min-max標(biāo)準(zhǔn)化映射成在區(qū)間[0,1]中的值x'，其公式為：

新數(shù)據(jù)=（原數(shù)據(jù)-最小值）/（最大值-最小值）

這種方法能使數(shù)據(jù)歸一化到一個(gè)區(qū)域內(nèi)，同時(shí)不改變?cè)瓉?lái)的數(shù)據(jù)結(jié)構(gòu)。

實(shí)現(xiàn)中心化Z-Score

這種方法基于原始數(shù)據(jù)的均值（mean）和標(biāo)準(zhǔn)差（standard deviation）進(jìn)行數(shù)據(jù)的標(biāo)準(zhǔn)化。將A的原始值x使用z-score標(biāo)準(zhǔn)化到x'。

z-score標(biāo)準(zhǔn)化方法適用于屬性A的最大值和最小值未知的情況，或有超出取值范圍的離群數(shù)據(jù)的情況。

新數(shù)據(jù)=（原數(shù)據(jù)-均值）/標(biāo)準(zhǔn)差

這種方法適合大多數(shù)類型數(shù)據(jù)，也是很多工具的默認(rèn)標(biāo)準(zhǔn)化方法。標(biāo)準(zhǔn)化之后的數(shù)據(jù)是以0為均值，方差為以的正太分布。但是Z-Score方法是一種中心化方法，會(huì)改變?cè)袛?shù)據(jù)的分布結(jié)構(gòu)，不適合用于對(duì)稀疏數(shù)據(jù)做處理。

很多時(shí)候數(shù)據(jù)集會(huì)存在稀疏特征，表現(xiàn)為標(biāo)準(zhǔn)差小，很多元素值為0，最常見(jiàn)的稀疏數(shù)據(jù)集是用來(lái)做協(xié)同過(guò)濾的數(shù)據(jù)集，絕大部分?jǐn)?shù)據(jù)都是0。對(duì)稀疏數(shù)據(jù)做標(biāo)準(zhǔn)化，不能采用中心化的方式，否則會(huì)破壞稀疏數(shù)據(jù)的結(jié)構(gòu)。

用于稀疏數(shù)據(jù)的MaxAbs

最大值絕對(duì)值標(biāo)準(zhǔn)化（MaxAbs）即根據(jù)最大值的絕對(duì)值進(jìn)行標(biāo)準(zhǔn)化，假設(shè)原轉(zhuǎn)換的數(shù)據(jù)為x，新數(shù)據(jù)為x'，那么x'=x/|max|，其中max為x鎖在列的最大值。

該方法的數(shù)據(jù)區(qū)間為[-1, 1]，也不破壞原數(shù)據(jù)結(jié)構(gòu)的特點(diǎn)，因此也可以用于稀疏數(shù)據(jù)，一些稀疏矩陣。

針對(duì)離群點(diǎn)的RobustScaler

有些時(shí)候，數(shù)據(jù)集中存在離群點(diǎn)，用Z-Score進(jìn)行標(biāo)準(zhǔn)化，但是結(jié)果不理想，因?yàn)殡x群點(diǎn)在標(biāo)準(zhǔn)化后喪失了利群特性。

RobustScaler針對(duì)離群點(diǎn)做標(biāo)準(zhǔn)化處理，該方法對(duì)數(shù)據(jù)中心化的數(shù)據(jù)的縮放健壯性有更強(qiáng)的參數(shù)控制能力。

到此這篇關(guān)于Python數(shù)據(jù)標(biāo)準(zhǔn)化的實(shí)例分析的文章就介紹到這了,更多相關(guān)Python數(shù)據(jù)標(biāo)準(zhǔn)化是什么內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！