<sub id="fddnb"><dfn id="fddnb"></dfn></sub>

    <sub id="fddnb"><var id="fddnb"><ins id="fddnb"></ins></var></sub>

      <sub id="fddnb"></sub>

        <address id="fddnb"><dfn id="fddnb"></dfn></address>

        <sub id="fddnb"><dfn id="fddnb"></dfn></sub>

          <address id="fddnb"><var id="fddnb"><mark id="fddnb"></mark></var></address>

            <address id="fddnb"><dfn id="fddnb"></dfn></address>
            <sub id="fddnb"><var id="fddnb"></var></sub>

              <sub id="fddnb"></sub>
            <sub id="fddnb"><var id="fddnb"><output id="fddnb"></output></var></sub>

            <sub id="fddnb"><delect id="fddnb"><ins id="fddnb"></ins></delect></sub>

              <address id="fddnb"></address>

                <sub id="fddnb"><var id="fddnb"><ins id="fddnb"></ins></var></sub>

                <sub id="fddnb"><dfn id="fddnb"></dfn></sub>
                  <address id="fddnb"></address>

                    返回首頁 hi, 歡迎來到機器人在線 請登錄/ 免費注冊 訂閱郵件
                    有疑問,咨詢在線客服

                    機器學習中需要了解的 5 種基礎采樣方法

                    時間:2020-05-12 來源:機器人在線 閱讀:5145

                    WalmartLabs 的數據科學家 Rahul Agarwal 提出了數據科學家需要了解的 5 種基礎采樣方法,包括簡單隨機抽樣、分層采樣、水塘采樣、隨機欠采樣和過采樣等。采樣是數據科學中常見問題,工業機器人數據采樣中也會用到。

                    以下是關于Rahul Agarwal 分享的內容,編譯整理如下。


                    數據科學實際上是就是研究算法。

                    我每天都在努力學習許多算法,所以我想列出一些最常見和最常用的算法。

                    本文介紹了在處理數據時可以使用的一些最常見的采樣技術。


                    簡單隨機抽樣


                    假設您要選擇一個群體的子集,其中該子集的每個成員被選擇的概率都相等。

                    下面我們從一個數據集中選擇 100 個采樣點。

                    sample_df = df.sample(100)


                    分層采樣

                    假設我們需要估計選舉中每個候選人的平均票數。現假設該國有 3 個城鎮:


                    A 鎮有 100 萬工人,

                    B 鎮有 200 萬工人,以及

                    C 鎮有 300 萬退休人員。


                    我們可以選擇在整個人口中隨機抽取一個 60 大小的樣本,但在這些城鎮中,隨機樣本可能不太平衡,因此會產生偏差,導致估計誤差很大。


                    相反,如果我們選擇從 A、B 和 C 鎮分別抽取 10、20 和 30 個隨機樣本,那么我們可以在總樣本大小相同的情況下,產生較小的估計誤差。


                    使用 python 可以很容易地做到這一點:


                    from sklearn.model_selection import train_test_splitX_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y,? test_size=0.25)


                    水塘采樣

                    我喜歡這個問題陳述:


                    假設您有一個項目流,它長度較大且未知以至于我們只能迭代一次。

                    創建一個算法,從這個流中隨機選擇一個項目,這樣每個項目都有相同的可能被選中。


                    我們怎么能做到這一點?

                    假設我們必須從無限大的流中抽取 5 個對象,且每個元素被選中的概率都相等。


                    import randomdef generator(max):

                    ?number = 1

                    ?while number < max:

                    ?number += 1

                    ?yield number# Create as stream generator

                    stream = generator(10000)# Doing Reservoir Sampling from the stream

                    k=5

                    reservoir = []

                    for i, element in enumerate(stream):

                    ?if i+1<= k:

                    ?reservoir.append(element)

                    ?else:

                    ?probability = k/(i+1)

                    ?if random.random() < probability:

                    ?# Select item in stream and remove one of the k items already selected

                    ?reservoir[random.choice(range(0,k))] = elementprint(reservoir)

                    ------------------------------------

                    [1369, 4108, 9986, 828, 5589]


                    從數學上可以證明,在樣本中,流中每個元素被選中的概率相同。這是為什么呢?

                    當涉及到數學問題時,從一個小問題開始思考總是有幫助的。

                    所以,讓我們考慮一個只有 3 個項目的流,我們必須保留其中 2 個。

                    當我們看到第一個項目,我們把它放在清單上,因為我們的水塘有空間。在我們看到第二個項目時,我們把它放在列表中,因為我們的水塘還是有空間。

                    現在我們看到第三個項目。這里是事情開始變得有趣的地方。我們有 2/3 的概率將第三個項目放在清單中。

                    現在讓我們看看第一個項目被選中的概率:


                    移除第一個項目的概率是項目 3 被選中的概率乘以項目 1 被隨機選為水塘中 2 個要素的替代候選的概率。這個概率是:

                    2/3*1/2 = 1/3

                    因此,選擇項目 1 的概率為:

                    1–1/3=2/3


                    我們可以對第二個項目使用完全相同的參數,并且可以將其擴展到多個項目。

                    因此,每個項目被選中的概率相同:2/3 或者用一般的公式表示為 K/N


                    隨機欠采樣和過采樣

                    我們經常會遇到不平衡的數據集。

                    一種廣泛采用的處理高度不平衡數據集的技術稱為重采樣。它包括從多數類(欠采樣)中刪除樣本或向少數類(過采樣)中添加更多示例。

                    讓我們先創建一些不平衡數據示例。

                    from sklearn.datasets import make_classificationX, y = make_classification( n_classes=2, class_sep=1.5, weights=[0.9, 0.1], n_informative=3, n_redundant=1, flip_y=0, n_features=20, n_clusters_per_class=1, n_samples=100, random_state=10)X = pd.DataFrame(X)X[ target ] = y

                    我們現在可以使用以下方法進行隨機過采樣和欠采樣:

                    num_0 = len(X[X[ target ]==0])num_1 = len(X[X[ target ]==1])print(num_0,num_1)# random undersampleundersampled_data = pd.concat([ X[X[ target ]==0].sample(num_1) , X[X[ target ]==1] ])print(len(undersampled_data))# random oversampleoversampled_data = pd.concat([ X[X[ target ]==0] , X[X[ target ]==1].sample(num_0, replace=True) ])print(len(oversampled_data))------------------------------------------------------------OUTPUT:90 1020180


                    使用 imbalanced-learn 進行欠采樣和過采樣


                    imbalanced-learn(imblearn)是一個用于解決不平衡數據集問題的 python 包,它提供了多種方法來進行欠采樣和過采樣。


                    a. 使用 Tomek Links 進行欠采樣:


                    imbalanced-learn 提供的一種方法叫做 Tomek Links。Tomek Links 是鄰近的兩個相反類的例子。

                    在這個算法中,我們最終從 Tomek Links 中刪除了大多數元素,這為分類器提供了一個更好的決策邊界。

                    from imblearn.under_sampling import TomekLinks


                    tl = TomekLinks(return_indices=True, ratio= majority )

                    X_tl, y_tl, id_tl = tl.fit_sample(X, y)


                    b. 使用 SMOTE 進行過采樣:


                    在 SMOE(Synthetic Minority Oversampling Technique)中,我們在現有元素附近合并少數類的元素。


                    from imblearn.over_sampling import SMOTE


                    smote = SMOTE(ratio= minority )

                    X_sm, y_sm = smote.fit_sample(X, y)

                    imbLearn 包中還有許多其他方法,可以用于欠采樣(Cluster Centroids, NearMiss 等)和過采樣(ADASYN 和 bSMOTE)。


                    結論


                    算法是數據科學的生命線。

                    抽樣是數據科學中的一個重要課題,但我們實際上并沒有討論得足夠多。

                    有時,一個好的抽樣策略會大大推進項目的進展。錯誤的抽樣策略可能會給我們帶來錯誤的結果。因此,在選擇抽樣策略時應該小心。

                    好的文章,需要您的鼓勵

                    18

                    • 最新文章
                    • 精品案例
                    • 現貨產品
                    延伸閱讀 熱門要聞

                    国产偷拍欧洲日韩亚洲 - 视频 - 在线观看 - 影视资讯 - 新赏网