목차


1. 샘플링 함수

일반적으로 모델을 평가할 때 기존의 데이터를 학습 데이터(train data)와 평가 데이터(test data)로 분리하고, 학습 데이터를 모델에 학습 시킨 후 평가 데이터를 넣어서 점수를 얻는 방식으로 이루어집니다. 보다 자세한 설명은 모델 카테고리에서 제대로 다룰 예정이며 이번 글은 간단히 데이터 셋만 분리하는 맛보기라고 생각하시면 됩니다.

numpy 안에 있는 random 안의 randint 함수는 범위 안의 수를 정해진 사이즈 만큼 랜덤으로 생성하는 함수로 데이터의 직접적인 샘플링은 지원하지 않으며, 샘플링에 필요한 번호만 추출이 가능합니다. 아쉬운 점이 있다면 중복 여부를 판단하지 않아 같은 데이터가 들어갈 수 있어 학습/평가 데이터를 추출하는데 적합하지 않습니다.

  • 기본 문법

​

np.random.randint(low,  # 시작값
                  high, # 끝값
                  size) # train data 사이즈

예제) 웹 사이트에 있는 위스콘신 유방암 데이터(wdbc.data)를 csv형태로 불러오고 학습, 실험 데이터를 7:3 비율로 분리

# 외부 데이터 직접 불러오기
cancer = 
pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/wdbc.data', header = None)

# 행 번호 랜덤으로 생성
train_row = np.random.randint(0,
                              cancer.shape[0] - 1,
                              round(cancer.shape[0]*0.7))

# 학습 데이터 (70%)
cancer.train = cancer.iloc[train_row].sort_index()

# 평가 데이터 (30%)
cancer.test = cancer.drop(train_row)

각 컬럼명은 캐글에서도 확인할 수 있습니다.


2. 더미 변수

​더미 변수를 만든다는 것은 factor(요인형) 변수를 0과 1을 사용하여 구분하는 방법을 말합니다. 이런 과정 원 핫 인코딩(one-hot-encoding)이라고 합니다. 더미 변수를 만드는 이유는 딥러닝에서는 성능상의 이유로 문자 데이터를 읽지 않기 때문에 숫자로만 표현하기 때문에 문자 데이터를 숫자로 바꿔야 하기 때문입니다. pd.get_dummies 함수를 사용하며 주로 class의 개수만큼, 혹은 하나 적은 변수로 분할하는 방법을 선택합니다.

​

# 리스트 생성 후 더미 변수 생성
v_y1 = ['Y','N','Y','Y']
pd.get_dummies(v_y1)
Out: 
   N  Y
0  0  1
1  1  0
2  0  1
3  0  1

# 리스트 생성 후 더미 변수 생성(접미어 입력)
v_y2 = ['A','B','C','A']
pd.get_dummies(v_y2, prefix='Y')
Out: 
   Y_A  Y_B  Y_C
0    1    0    0
1    0    1    0
2    0    0    1
3    1    0    0

위에서 불러온 유방암 데이터에서 두 번째 컬럼(진단)을 더미 변수로 만든 후 원래 데이터에 붙여봅시다.

​

df_dumm = pd.get_dummies(cancer[1])
cancer.join(df_dumm)
Out: 
            0  1      2      3       4  ...      29      30       31  B  M
0      842302  M  17.99  10.38  122.80  ...  0.2654  0.4601  0.11890  0  1
1      842517  M  20.57  17.77  132.90  ...  0.1860  0.2750  0.08902  0  1
2    84300903  M  19.69  21.25  130.00  ...  0.2430  0.3613  0.08758  0  1
3    84348301  M  11.42  20.38   77.58  ...  0.2575  0.6638  0.17300  0  1
4    84358402  M  20.29  14.34  135.10  ...  0.1625  0.2364  0.07678  0  1
..        ... ..    ...    ...     ...  ...     ...     ...      ... .. ..
564    926424  M  21.56  22.39  142.00  ...  0.2216  0.2060  0.07115  0  1
565    926682  M  20.13  28.25  131.20  ...  0.1628  0.2572  0.06637  0  1
566    926954  M  16.60  28.08  108.30  ...  0.1418  0.2218  0.07820  0  1
567    927241  M  20.60  29.33  140.10  ...  0.2650  0.4087  0.12400  0  1
568     92751  B   7.76  24.54   47.92  ...  0.0000  0.2871  0.07039  1  0

[569 rows x 34 columns]


딥러닝 모델에 돌릴 때 무조건 더미 변수를 만드는 것은 아니라고 합니다. 트리 기반 모델의 경우 더미 변수를 보내면 정교하지 못하게 예측하는 경우가 발생한다고 합니다. 절대적인 얘기는 아니며 사용하는 모델에 맞춰서 작업을 진행을 한다고 합니다.

3. 정규 표현식(regexp)

정규 표현식은 특정한 규칙을 가진 문자열의 집합을 표현하는 데 사용하는 형식 언어입니다. 많은 프로그래밍 언어에서 지원하고 약속된 기호를 사용하여 문자열의 패턴을 확인하고 추출하는 것을 도와줍니다. 처음보면 사용하는 기호들이 난해할 수 있지만 패턴대로 문자열을 나누는 기능 자체의 폭은 R에서의 stringr 패키지 등 보다 넓습니다. Python에서 모듈 re를 호출하여 사용할 수 있습니다.

​

# 모듈 불러오기
import re

# 정규 표현식 문법 확인
re?

모듈 re 내에서 match, search, split 등 다른 함수도 자주 사용하는 편이지만 이 글에서는 패턴을 지정하는 compile과 패턴에 맞는 문자를 리스트 형태로 만들어주는 findall만 사용할 것입니다.

1) compile

자주 쓰는 정규식 패턴은 compile하여 변수화하여 사용합니다. 패턴에 대한 내용은 예제를 직접 실행하면서 설명하도록 하겠습니다.

​

re.compile(pattern,  # 정규 표현식 입력
           flags)    # re?의 맨 아래에서 옵션 설명 확인 가능

# flags = re.IGNORECASE : 패턴 추출시 대소문자의 구분 제거

※ 간단한 팁 및 주의사항

1) 영어의 경우에는 [a-z]로 찾을 수 있고, 한글의 경우에는 [가-힣]으로 찾을 수 있습니다. 2) (,)나 . 등은 문법으로 사용되는 기호이기 때문에 저 문자를 패턴으로 입력하고 싶을때는 이스케이프 문자인 \를 입력해야 합니다. 3) \는 대괄호 내에서 이스케이프 기능을 수행하지 못하며, 일반 기호로 인식됩니다.

2) findall

re.compile로 변수화한 패턴을 이용하여 findall에 넣으면 원하는 패턴의 글자를 찾을 수 있습니다.

​

v_mail = 'abc 12 ! abc@naver.com aaaa .. 11 Abbb@hanmail.net'

pat = re.compile('[a-z0-9]+@[a-z]+.[a-z]+', flags=re.IGNORECASE)
pat.findall(v_mail)
Out: ['abc@naver.com', 'Abbb@hanmail.net']

이메일은 보통 아이디@포털이름.com 식의 구조로 되어있는데 아이디에는 영어와 숫자가 들어가기 때문에 아이디에 들어가는 패턴을 찾기 위해 @ 앞에 [a-z0-9]+를 입력하였습니다. 포털 이름은 영어로만 되어 있어서 [a-z]+를 입력하였습니다. 마지막으로 이메일 주소 맨 뒤에는 com 이나 net 등의 영어가 오기 때문에 마찬가지로 [a-z]+를 입력하였습니다.

이처럼 원하는 패턴을 입력하여 찾고 그 글자를 그대로 가져오는 방법도 있지만 가져온 글자에서 원하는 부분만 바로 가져올 수 있는 기능도 있습니다. 예를 들면 위에서 이메일 주소의 패턴을 찾고나서 아이디에 해당하는 부분만 찾는 것을 의미합니다. 괄호 기호를 이용한 방법입니다.

아래 예시는 이메일 주소에서 아이디와 포털 이름 둘만 묶어서 출력하는 패턴입니다.

​

v_email = 'abc 12 ! abc@naver.com aaaa .. 11 Abbb12-1@hanmail.net'

pat2 = re.compile('([a-z0-9-]+)@([a-z]+)\.[a-z]{2,4}', flags=re.IGNORECASE)
pat2.findall(v_email)
Out: [('abc', 'naver'), ('Abbb12-1', 'hanmail')]

아이디에 해당하는 앞 부분, @와 . 사이에 포털 이름 각각의 양 옆에 괄호를 입력함으로서 두 부분만 떼서 튜플 형식으로 바꾼 후 출력한 모습을 볼 수 있습니다. 다음으로는 방금 추출한 리스트에서 모듈 pandas의 시리즈를 이용하여 아이디 따로, 포털 이름만 따로 출력하는 코드도 실행해보겠습니다.

​

# 아이디만 출력
Series(pat.findall(v_email)).str[0]
Out: 
0         abc
1    Abbb12-1
dtype: object

# 포털 이름만 출력
Series(pat.findall(v_email)).str[1]
Out: 
0      naver
1    hanmail
dtype: object


3) str.findall

str.findall은 pandas에 내장되어 있는 모듈로 시리즈에 적용가능한 패턴 추출 메소드로 벡터연산이 내장되어 있어 모든 원소에 대해 패턴 추출이 가능한 메소드입니다.

해당 메소드를 이용하여 문자가 들어있는 시리즈에서 이메일 주소만 추출해봅시다.

​

# 아이디만 출력
s1 = Series(['abc abcd1@naver.com af',
             'goe ghpa3@gmail.com 34'])

s1.str.findall(re.compile('\S+@\S+'))
Out :
0 [abcd1@naver.com]
1 [ghpa3@gmail.com]

추가로 원소마다 있는 리스트의 괄호를 벗기는 방법은 str 메소드를 이용하면 됩니다.

​

s1.str.findall(re.compile('\S+@\S+')).str[0]
Out :
0 abcd1@naver.com
1 ghpa3@gmail.com

​