PythonData Science

Data Cleansing Functions

, , , ,
  • 데이터 분석에 앞서 잘못된 부분을 찾아내고 이를 메꾸는 작업을 데이터 정리(data cleansing)이라고 합니다.
  • 개별 데이터의 타입(type), 크기(length) 등이 잘못된 경우도 있고, 개별 데이터는 정상적이지만 이것들을 합쳤더니(merge) 결측치가 양산되거나 중복되는 경우도 있습니다.
  • 분석이나 예측모델 생성시 문제의 원인이 되기 때문에 처음에 정리를 할 필요가 있습니다.

References

wikipedia: Data cleansing

  • 데이터 정리엔 다음 과정들이 포함됩니다.
  1. 데이터 타입 확인 및 처리: chk_type()
  2. 결측치 확인 및 처리: show(), chk_nan()
  3. 중복치 확인 및 처리: pandas.DataFrame(, Series, Index).duplicated([{key_column}]).sum()
  4. 병합데이터 일치 확인 및 처리: cmp_dfs()
  • 단일 column(list, array, pandas.Series 등)은 비교적 문제가 간단하지만, column이나 dataframe간에 문제가 생기면 신경이 곤두섭니다.
  • 데이터 정리에 사용할 수 있는 함수를 몇 개 소개합니다.

1. 데이터 타입 확인

  • 함수에 데이터를 넣을 때, 특정 타입만을 받아들여야 할 때가 있습니다.
  • 타입이 잘못되면 어디선가 에러가 나지만, 깊은 곳에서 에러가 나면 원인을 찾기 힘드니 데이터를 받자마자 타입을 점검하는 것이 효과적입니다.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
# 변수(var)가 예상한 타입(typename)이면 True, 아니면 False 출력
def chk_type(var, typename):
    """
    check type of variable
    
    Parameters
    ------------------------
    var : variable
    typename : (str)type name 
               'array' is regarded as 'list' as well.    
    
    
    Returns
    ------------------------
    True, if type of variable is typename
    False, if not.    
               
    """
    typename_tol = []
    typename_tol_arraylike = ["array", "list", "series"]
    typename_tol_scalar = ["float", "int"]

    # 'list' and 'array' are regarded as same type
    if typename == "list":
        typename_tol = typename_tol_arraylike
    if typename == "array":
        typename_tol = typename_tol_arraylike
    if typename == "array-like":
        typename_tol = typename_tol_arraylike
    if typename == "scalar":
        typename_tol = typename_tol_scalar

    typename_tol.append(typename)

    if any([(typetol in str(type(var))) for typetol in typename_tol]):
        return True
    else:
        return False
  • 예시
1
2
3
4
5
import numpy as np

x = np.arange(10) # type: numpy.ndarray 

chk_type(x, 'array')  # type test 통과

  • 예상 타입과 실제가 다를 경우
1
chk_type(x, 'float')  # type test 실패

2. 결측치 확인

github: missingno

  • 결측치 관련하여 missingno라는 좋은 라이브러리가 있습니다.
  • 여기에 대한 글은 많으니 본 글에서는 다루지 않겠습니다.

2.1. numpy array

  • 결측치가 있는 numpy data를 만들고, 여기서 결측치의 갯수와 위치를 확인해 봅시다.
1
2
3
4
5
6
7
8
from random import randint

x = np.arange(10, dtype='float')    # 예제 데이터 만들기
for i in range(3):   # 예제 데이터에 랜덤으로 결측치 3개 심기
    idx = randint(0, 9)
    x[idx] = np.nan

print(x)

  • 결측치 index 확인
1
2
idxnan = np.where(np.isnan(x))[0]
print(idxnan)

  • 결측치를 제외한 데이터 추출
1
2
x1 = np.delete(x, idxnan)
print(x1)

2.2. pandas DataFrame

  • jupyter notebook에서 cell의 마지막 줄에 dataframe 이름만 입력하면 예쁜 table이 나오지만, cell 중간에 dataframe의 내용을 알아보기 위해 print(df)를 하면 숫자들의 나열로만 나와 알아보기 힘듭니다.
  • cell 중간에 dataframe을 출력해도 예쁘게 나올 함수를 간단하게 만들 수 있습니다.
1
2
3
4
from IPython.core.display import HTML

def show(df):
    display(HTML(df.to_html()))
  • 10행 x 3열 DataFrame을 만들어서 테스트합시다.
1
2
3
4
5
6
7
8
9
import pandas as pd

dim = 10
x = np.arange(dim, dtype='float')
y = np.arange(dim, dtype='float')
c = np.arange(dim, dtype='float')
df = pd.DataFrame({'X':x, 'Y':y, 'C':c})
show(df)
print(df)

  • 일부 데이터를 랜덤하게 결측치로 만듭니다.
1
2
3
4
5
6
for col in df.columns:
    for i in range(3):  # 컬럼별로 최대 3개를 결측시키겠습니다.
        idx = randint(0, dim-1)
        df.loc[idx, col] = np.nan

df

  • .plot 명령으로 데이터를 출력하면 결측치를 제외하고 출력합니다.
1
df.plot('X', 'Y', kind='scatter', s=50)

  • c='C', cmap='jet'를 추가해서 colormap까지 입혀보겠습니다.
  • 색상 결측치까지 반영되어 데이터가 사라집니다: (7, 7) 지점이 사라졌습니다.
1
df.plot('X', 'Y', c='C', kind='scatter', cmap='jet', s=50)

2.3. 결측치 합집합 제거

  • 에러의 소지가 되는 결측치를 자동으로 제거해 주어서 좋지만, 데이터 손실량을 알 수 없습니다.
  • 앞서 사용한 np.where()와 np.delete()를 이용해서 결측치 위치를 확인하고 삭제할 수 있지만, 방심하면 엉뚱한 데이터끼리 붙어버립니다.
1
2
3
4
5
6
7
8
9
def delnan(arr):
    idxnan = np.where(np.isnan(arr))[0]
    return np.delete(arr, idxnan)

x1 = delnan(df['X'].tolist())
y1 = delnan(df['Y'].tolist())
c1 = delnan(df['C'].tolist())

plt.scatter(x1, y1, c=c1, cmap='jet', s=50)

  • 보시다시피 네 개 밖에 없어야 할 점이 7개나 있고, y=x에서도 벗어납니다.
  • 이럴 때는 독립된 결측치를 먼저 합집합으로 만든 후에 x, y, c에서 모두 삭제해야 합니다.
  • 이 과정을 하나의 함수로 실행해 보겠습니다.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
from functools import reduce

def chk_nan(*args):
    """
    returns null-free dataset.
    
    Parameters
    ------------------------
    *args : array-like data (list, numpy.ndarray, pd.Series)
    """
    data_names = []
    data = []
    data_nanidx = []
    data_new = []
    
    for i, arg in enumerate(args):
        # data should be array-like
        assert chk_type(arg, 'list') or chk_type(arg, 'array') or chk_type(arg, 'series'), "Only array-like data is acceptable"
        
        # data names
        if chk_type(arg, 'series'):
            data_names.append(arg.name)
        else: 
            data_names.append(f'data_{i}')
        
        # data
        data.append(np.array(arg))
            
        # null values
        data_nanidx.append(np.where(np.isnan(arg))[0])
        if len(data_nanidx[i]) > 0:
            print(f'# WARNING {data_names[i]}: Number of null values={len(data_nanidx[i])} of {len(data[i])}.')

    # union indices of null values 
    data_nanidx_all = reduce(lambda a, b: list(set(a) | set(b)), data_nanidx)
    print(f'# Total number of missing data: {len(data_nanidx_all)}')
    
    for i, datum in enumerate(data):
        data_new.append(np.delete(data[i], data_nanidx_all))
    
    return data_new

  • assert를 사용해서 'list', 'array', 'series'에만 적용되도록 했습니다.

  • 합집합을 구하는 set(A) | set(B) 명령을 사용했으며,

  • *args와 reduce를 이용해서 입력받는 인자의 갯수에 무관하게 동작합니다.

  • 아까 만들었던, 결측치가 있는 numpy.ndarray에 적용해 보겠습니다.

1
2
3
4
5
6
x2, y2, c2 = chk_nan(x, y, c)

# pandas Series도 입력 가능합니다.
# x2, y2, c2 = chk_nan(df['X'], df['Y'], df['C']) 

plt.scatter(x2, y2, c=c2, cmap='jet', s=50)

  • 각 항의 결측치 갯수와 함께 전체적으로 몇 개의 데이터가 빠졌는지 알려줍니다.
  • plot도 정상적으로 출력됩니다.
    • matplotlib은 자체적으로 결측치를 정상적으로 제거하고 plot을 수행합니다.
    • 그러나 seaborn의 distplot()은 결측치가 있으면 동작하지 않습니다.
    • 사실 chk_nan()은 plot보다 다른 작업시 결측치를 오류 없이 처리할 때 유용합니다.

3. 데이터 중복치 확인

pandas.DataFrame.duplicated
pandas.Seires.duplicated
pandas.Index.duplicated

  • pandas는 중복값을 확인할 수 있는 .duplicated() 제거하는 .drop_duplicates()를 제공합니다.
  • 이와 관련된 설명은 웹에 많이 있으니 두 가지만 전달드리려 합니다.

1. 중복치 확인은 key 값을 넣고 하자 :

  • df.duplicated()의 기본값은 행 전체를 비교하므로 일부만 중복되면 다른 데이터로 간주합니다.
    보통 데이터는 기준이 되는 key 값이 있으므로 .duplicated([{key_column}])를 수행하는 것이 좋습니다.
  • 중복치 갯수는 뒤에 .sum()을 붙이면 간단합니다.
    중복 여부를 True(1)/False(0)로 표기한 Series를 출력하기 때문입니다.
  • 중복치를 제거하기 전에 중복 데이터를 뽑아서 육안으로 검사를 하는 것이 좋습니다.
    중복 자체가 뭔가 많이 잘못된 겁니다. 경험상 결측보다 중복이 있을 때 고생스런 일이 더 많았습니다.

2. .drop_duplicates()는 기본적으로 첫 데이터를 남긴다 :

  • 데이터의 중복을 확인한 후에는 어떤 것을 지울지 선택해야 합니다.

  • 중복치를 제거하는 명령으로 drop_duplicates()를 사용하는데, keep='first'가 기본 옵션입니다.

  • 여러 중복 데이터 중 첫 데이터만을 남기고 삭제하기 때문에 옳지 못한 선택일 수 있습니다.

  • 중복 데이터의 feature를 종합적으로 살펴본 후 선택해야 합니다. 때로는 수동 삭제가 필요합니다.

  • 아래는 제가 실제로 겪은 중복 데이터 사례입니다.

  • 철거된 건물(붉은 실선)이 신축 건물(녹색 다각형)과 겹쳐 있습니다.

4. 병합데이터 일치 여부 확인

  • 두 dataframe A와 B을 합칠 때 집합의 포함관계를 살펴야 합니다.
  • key feature 기준 $$ A=B $$라면 가장 좋겠으나, $$ A - B \ne \emptyset$$ 이면 B에 결측치가 생기기 때문입니다.
  • $$ A-B, B-A, A \cap B, A \cup B$$는 다음 함수로 한번에 확인 가능합니다.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
def cmp_dfs(df1, df2, key1, key2=None):
    """
    check type of variable
    
    Parameters
    ------------------------
    df1, df2   : (pandas.DataFrame)
    key1, key2 : (str) key column name of df1 and df2, respectively.
                 if key2 == None: key2 = key1
    """
    if key2 == None: key2 = key1
        
    assert key1 in df1.columns
    assert key2 in df2.columns
    
    dfkey1 = df1[key1].tolist()
    dfkey2 = df2[key2].tolist()

    df1_2 = list(set(dfkey1) - set(dfkey2))
    df2_1 = list(set(dfkey2) - set(dfkey1))
    df1n2 = list(set(dfkey1) & set(dfkey2))
    df1u2 = list(set(dfkey1) | set(dfkey2))
    
    print(f'# No. of df1= {df1.shape[0]}, df2= {df2.shape[0]}')
    print(f'- No. of [df1 - df2] = {len(df1_2)}')
    print(f'- No. of [df2 - df1] = {len(df2_1)}')
    print(f'- No. of [df1 & df2] = {len(df1n2)}')
    print(f'- No. of [df1 | df2] = {len(df1u2)}')
    
    return df1_2, df2_1, df1n2, df1u2
  • 예제 DataFrame을 두 개 만들어서 비교해 보겠습니다.
1
2
3
4
df1 = pd.DataFrame({'A':[1,2,3], 'B':[11,12,13]})
df2 = pd.DataFrame({'A':[1,2,4], 'D':[11,12,14]})

cmp_dfs(df1, df2, 'A')

  • 차례대로 출력되는 $$ A-B, B-A, A \cap B, A \cup B$$ 를 변수로 저장해 활용할 수 있습니다.

  • cmp_dfs()함수는 key feature만 비교하므로, 좀 더 자세히 볼 여지가 있습니다.

    • 차집합을 버릴 것인지(inner join), 결측치를 만들며 포함할 것인지(outer join).
    • 교집합은 key feature 외 다른 값들은 어떤지. 데이터의 수, 타입,내용을 모두 확인합니다.


도움이 되셨나요? 카페인을 투입하시면 다음 포스팅으로 변환됩니다

Share