Shiwon Kim

02. 시스템 소프트웨어 및 윈도우와 컴퓨터의 단위

gool — Fri, 11 Nov 2022 18:09:05 +0900

IT통합기초.pdf

2.17MB

01. 클라이언트 서버 구조 및 컴퓨터의 구성

gool — Fri, 11 Nov 2022 18:05:06 +0900

IT통합기초.pdf

2.17MB

07. 웹 크롤링과 법적 문제

gool — Fri, 22 Jul 2022 15:13:19 +0900

웹 크롤링 시 법적 권고안을 무시하면 법적인 문제가 발생할 수 있다.

웹 크롤링(Web Crawling)은 인터넷 서비스 '웹' 브라우저를 통해 인터넷을 돌아다니면서

인터넷 상의 정보를 가져가는 행위를 거미가 거미줄을 위를 기어다니는 것처럼 표현한 것이다.

* 웹(Web)은 FTP처럼 대중적으로 사용되는 인터넷 서비스 또는 규약의 한 종류(웹 ≠ 인터넷)

웹 상의 정보에 대한 권리는 서비스 공급자에게 있다.

웹 크롤링을 수행하는 클라이언트는 정보 제공자의 요구를 반드시 받아들여야 할 의무는 없지만,

접근 금지를 요청하거나 법적인 문제를 제기하는 주체가 공급자이므로 받아들이는 것이 좋다.

robot.txt는 관리자가 크롤링을 허용하는 정보와 허용하지 않는 정보를 명시해놓은 파일이다.

페이지 URL 주소 뒤에 /robots.txt를 붙이면 robots.txt 파일을 확인할 수 있다.

https://www.google.com/robots.txt

'Disallow' 표시가 된 것은 Google 페이지의 관리자가 크롤링하지 않을 것을 요구한 항목이다.

크롤링 행위가 직접 법적인 문제로 이어지지는 않지만, 해당 요구사항은 지킬 것이 권고된다.

사람인 잡코리아 크롤링, 여기어때 야놀자 크롤링, 다윈프로퍼티 네이버 크롤링 등은

웹 크롤링 행위가 서비스 관리자의 조치로 법적인 문제로까지 이어진 예시이다.

이처럼 크롤링 행위 자체가 불법은 아니지만,

사업체 소속으로 상대방의 사업 영역을 침해할 경우 충분히 법적인 문제로 이어질 수 있다.

06. 자동화 도구: Selenium

gool — Fri, 22 Jul 2022 14:26:36 +0900

Selenium은 마우스나 키보드를 통한 브라우저 조작을 자동화하는 도구이다.

Selenium은 사용자에 의해 이루어지는 웹 브라우저의 조작 및 제어를 자동화하는 도구이며,

사용자의 입력에 따라 동적으로 움직이는 페이지를 크롤링하는 동적 페이지 크롤링에 사용된다.

Selenium 사용 시 웹 브라우저 제어 도구인 드라이버(Driver)로 별도의 창을 열게 되므로,

웹 브라우저를 실행하지 않고 페이지 소스만을 가져오는 requests 모듈에 비해 속도가 느리다.

그러나 requests 모듈의 경우 정적 웹 문서에 대한 크롤링만 가능한 반면,

selenium은 마우스 클릭 및 스크롤링, 키보드 입력 등 모든 동적 활동에 대응할 수 있다.

따라서 동적 페이지의 비중이 커진 요즘의 웹 크롤링 작업에서 활용도가 높다.

아래 링크에서 selenium 자동화 도구를 활용한 동적 페이지 크롤링 실습 코드를 확인할 수 있다.

https://github.com/tldnjs1231/web-crawling/blob/main/web-crawling-06-selenium.ipynb

GitHub - tldnjs1231/web-crawling

Contribute to tldnjs1231/web-crawling development by creating an account on GitHub.

github.com

05. 데이터의 형태(2): HTML

gool — Thu, 21 Jul 2022 22:13:08 +0900

HTML 데이터는 태그명이 태그 속 정보를 대표하지 않아 크롤링이 까다롭다.

XML은 데이터 저장 및 정보 전달을 주된 목적으로 하는 언어이다.

따라서 각 태그가 별다른 기능을 제공하지 않고,

태그의 이름이 각 태그 안의 정보를 대표하는 역할을 한다.

즉, 태그의 이름으로부터 태그 속 정보의 내용을 유추할 수 있다.

반면, HTML은 클라이언트에게 보이는 화면을 디자인하기 위한 언어이다.

각 태그가 특정한 디자인 기능을 제공하는 것을 주된 목적으로 하기 때문에,

HTML 태그의 이름에는 각 태그가 제공하는 기능이 반영된다.

태그의 이름이 태그 속 정보의 내용과 무관하므로 XML 데이터에 비해 크롤링이 까다롭다.

이번 포스팅에서는 HTML 형태의 데이터를 처리하는 방식에 대해 알아본다.

아래 링크에서 실시간 이슈 키워드와 베스트셀러 정보를 수집하는 실습 코드를 확인할 수 있다.

https://github.com/tldnjs1231/web-crawling/blob/main/web-crawling-05-html.ipynb

GitHub - tldnjs1231/web-crawling

Contribute to tldnjs1231/web-crawling development by creating an account on GitHub.

github.com

04. 데이터의 형태(1): XML

gool — Thu, 21 Jul 2022 15:22:40 +0900

웹 상에서 가져올 수 있는 데이터의 형태에는 JSON, HTML, XML이 있다.

(1) JSON(JavaScript Object Notation)

JSON 표현식: 용량이 적고 사람과 기계가 모두 이해하기 쉬운 형태(JSON의 목적)
{key:value} 쌍으로 이루어진 데이터를 저장하거나 전송할 때 사용하는 개방형 표준 포맷
Javascript에서 객체 생성 시 사용하는 표현식

(2) HTML(Hypertext Markup Language)

웹사이트에서 화면에 표시되는 정보를 약속한 것
Hypertext: 단순 텍스트 이상의 텍스트(링크 등의 개념이 포함된 텍스트)
Markup: 꺾쇠(<, >)로 이루어진 태그를 사용하는 규격

(3) XML(eXtensible Markup Language)

HTML의 한계를 극복할 목적으로 만들어진 다목적 마크업 언어
XML은 HTML처럼 데이터를 보여주는 목적이 아닌, 데이터를 저장하고 전달할 목적으로 사용
XML 태그는 HTML 태그처럼 정해져 있지 않고, 사용자가 직접 정의 가능

데이터의 세 가지 형태 중 JSON과 XML은 Python에서 딕셔너리 형태로 사용이 가능하다.

반면, HTML은 딕셔너리 자료를 다루는 방식이 아닌 다른 방식으로 사용해야만 한다.

앞서 requests 모듈 실습에서 JSON 데이터를 딕셔너리와 리스트의 형태로 변환하는 json()을

이미 살펴보았으므로 JSON 데이터 처리 방식은 넘어가도록 한다.

이번 포스팅에서는 XML 형태의 데이터를 처리하는 방식에 대해 알아본다.

XML 데이터는 딕셔너리 형태와 다른 형태로 모두 처리가 가능하다는 특징이 있다.

아래 링크에서 XML 형태의 날씨 정보와 뉴스 기사 정보를 수집하는 실습 코드를 확인할 수 있다.

https://github.com/tldnjs1231/web-crawling/blob/main/web-crawling-04-xml.ipynb

GitHub - tldnjs1231/web-crawling

Contribute to tldnjs1231/web-crawling development by creating an account on GitHub.

github.com

03. 데이터 프레임(Data Frame)

gool — Tue, 19 Jul 2022 18:07:23 +0900

데이터 프레임은 행과 열로 이루어진 테이블 형태의 자료구조를
데이터 분석의 관점에서 부르는 말이다.

데이터 프레임(dataframe)은 테이블 형태로 데이터를 처리할 수 있어 데이터 분석에 용이하다.

웹 크롤링의 목적은 웹 상의 데이터를 분석에 용이한 dataframe 형태로 정리정돈하는 것이다.

앞선 포스팅에서 다룬 웹 페이지 요청 과정을 포함한 기본적인 웹 크롤링 절차는 다음과 같다.

웹 페이지에 요청할 요청문 준비(requests)
get 요청을 보내고 요청에 대한 응답 수용
파싱(parsing): 응답의 종류(JSON, HTML, XML)에 따라 해석 도구(parser) 상이
해석 방식에 따라 데이터를 처리하는 프로세스 상이
프로세스에 맞게 데이터 정리정돈(dataframe 변환)
정리/가공한 데이터를 파일로 저장

Python에서는 list와 dictionary로 데이터 프레임을 표현하며,

데이터 프레임 생성에는 pandas 라이브러리가 사용된다.

Pandas를 활용하여 list와 dictionary로 표현된 자료를 dataframe 형태로 변환한다.

이번 포스팅에서는 크롤링한 데이터를 dataframe으로 변환 또는 직접 dataframe을 생성한 뒤,

데이터를 가공하고 가공된 자료를 다시 CSV 파일로 저장해보는 실습을 진행한다.

이와 더불어 웹 크롤링에서 매우 중요한 time 모듈을 사용해볼 예정이다.

실습 후 웹 상의 자료를 list/dictionary 형태로 가져와 dataframe으로 저장할 수 있어야 하며,

크롤링에서 time 모듈이 중요한 이유를 이해하고 이를 수시로 적용하는 것에 익숙해져야 한다.

실습 코드는 아래 링크에서 확인할 수 있다.

https://github.com/tldnjs1231/web-crawling/blob/main/web-crawling-03-data_frame.ipynb

GitHub - tldnjs1231/web-crawling

Contribute to tldnjs1231/web-crawling development by creating an account on GitHub.

github.com

20. 군집 분석: K-Means Clustering

gool — Sun, 10 Jul 2022 00:26:53 +0900

군집 분석은 알고리즘이 스스로 라벨링 되지 않은 데이터를
분류하고 유사한 데이터끼리 묶는 비지도 학습 방식이다.

머신러닝에는 두 가지 모델 학습 방식이 존재한다.

사전에 제공된 정답(레이블) 데이터를 바탕으로 학습하는 지도 학습(Supervised Learning)과,

정답이 없는 데이터의 패턴을 스스로 찾아 학습하는 비지도 학습(Unsupervised Learning)이다.

지도 학습에는 분류(Classification)와 회귀(Regression) 모델이 있다.

이번 포스팅에서 다루게 될 군집화(Clustering)는 비지도 학습에 해당한다.

군집화(Clustering)

군집 분석에서 동일한 군집에 소속된 관측치들은 서로 유사할수록,

다른 집단에 소속된 관측지들은 유사하지 않을수록 군집화 모델의 성능이 좋다.

군집/관측치의 유사도는 관측치들 간의 거리나 상관계수로 정의한다.

군집 중심점(Centroid) 또는 밀도(Density)를 활용한 군집화 방식이 존재한다.

* 군집화 알고리즘

K-Means(Centroid-based)
DBSCAN(Density-based)

다음과 같은 경우에 군집화를 적용할 수 있다.

유사한 추세를 나타내는 주식 종목 그룹화
고객 행동 패턴, 브랜드, 마켓 세분화(Segmentation)
이미지 검출
이상 검출(Anomaly Detection)

실루엣 계수(Silhouette Coefficient)

실루엣 계수는 특정 데이터가 같은 군집 내의 데이터와 얼마나 가깝게 위치해 있고,

다른 군집의 데이터와 얼마나 멀리 떨어져 있는지를 나타내는 지표이다.

0부터 1까지의 값을 가지며, 1에 가까울수록 Clustering의 품질이 좋다.

실루엣 계수가 0이면 의미 없는 군집화이고, 음수이면 잘못 분류된 것을 의미한다.

a(i) : 개체 i와 같은 군집 내에 있는 모든 다른 개체들 사이의 평균 거리
b(i) : 개체 i와 다른 군집에 있는 개체들 사이의 평균 거리 중 가장 작은 값

* 개별 객체의 실루엣 계수(Silhouette Coefficient) 산출

a(i) = 1.04

b(i) = min(10.4, 6.4) = 6.4

전체 데이터에 대한 실루엣 지표는 모든 군집에 속한 개별 객체의 실루엣 지표의 평균과 같다.

실루엣 분석(Silhouette Analysis)에는 sklearn.metrics 모듈이 사용된다.

* Method

silhouette_samples(X, labels) : 각 데이터 포인트의 실루엣 계수를 산출
silhouette_score(X, labels) : 전체 데이터의 실루엣 지표를 반환(개별 지표의 평균)

K-Means Clustering

임의의 군집 중심점(Centroid) 설정 후 가까운 점들을 모으는 Centroid-based 알고리즘으로,

자주 쓰이고 어렵지 않은 군집 분석 기법이다.

사전에 군집의 수 K가 정해져야 알고리즘 실행이 가능하다.

각 개체는 가장 가까운 중심에 할당되며, 같은 중심에 할당된 개체들이 하나의 군집을 생성한다.

* K-Means 알고리즘 동작 과정

초기 군집 중심점 설정은 랜덤으로 또는 알고리즘의 계산에 의해 이루어진다.

K-Means 알고리즘은 쉽고 간결하며 대용량 데이터에도 활용이 가능하다는 장점이 있어,

일반적으로 군집화 작업에서 가장 많이 사용된다.

다만 초기에 몇 개의 군집 중심점을 설정해야 하는지에 대한 명확한 기준이 없고,
거리 기반의 알고리즘이므로 이상치(Outlier)에 취약하다는 단점이 있다.

K-Means Clustering에는 sklearn.cluster 모듈의 KMeans API를 사용한다.

* Argument

n_cluster : 군집 중심점의 개수
init : 초기에 군집 중심점의 좌표를 설정하는 방식(일반적으로 K-Means++ 방식 사용)
max-iter : 최대 반복 횟수(도달 전에 모든 데이터의 중심 이동이 다 이루어지면 그대로 종료)

군집 중심점의 좌표는 랜덤으로 설정할 수도, 내부 알고리즘을 통해 설정할 수도 있다.

K-Means++ 알고리즘은 기존의 K-Means 알고리즘을 개선한 알고리즘이다.

K-Means 알고리즘은 모든 중심을 랜덤하게 위치시키므로 매번 결과가 달라질 수 있다.

또, 한 번에 K개의 중심을 랜덤하게 생성하여 중심 간 거리가 가까우면 성능이 저하될 수 있다.

K-Means++의 경우 K개의 중심을 한 번에 생성하지 않고 데이터 중 하나를 무작위로 선택하여,

해당 데이터 포인트를 첫 번째 중심으로 지정한 후 최대한 거리가 먼 곳에 다음 중심을 생성한다.

이 같은 방식으로 한 번에 하나씩 K번에 걸쳐 K개의 군집 중심점을 설정한다.

* Method

fit_transform(dataset) : 학습 데이터를 이용하여 모델 학습

* Attribute

labels_ : 각 데이터 포인트가 속한 군집 중심점 레이블
cluster_centers_ : 각 군집 중심점의 좌표(shape=[군집 개수, feature 개수])
inertia_ : 군집 내의 거리의 합(최적의 K를 찾을 때 사용)

군집 중심점의 좌표 위치를 시각화할 때 cluster_centers_를 사용할 수 있다.

최적의 K 결정

앞서 말한 것처럼 K-Means Clustering은 군집 중심점의 개수를 모른다는 단점이 있다.

최적의 K(군집 중심점의 개수)를 찾는 것이 K-Means의 가장 중요한 단계이다.

이를 도와주는 방법으로 Elbow method와 Silhouette method가 있다.

(1) Elbow method

Total intra-cluster variation/Total within-cluster sum of squared distance(WCSS)가

최소가 되는 K를 찾는 방법으로, 군집 내의 거리의 합(변동성)을 나타내는 inertia가 급감하는

지점(Elbow)을 군집의 개수로 사용한다.

변동성이 급격히 떨어진다는 것은 유사한 데이터가 잘 묶였다는 것을 의미한다.

inertia 수치는 K-Means API의 inertia_ 속성으로 확인할 수 있다.

(2) Silhouette method

Elbow method를 사용하다 보면 inertia 그래프가 꺾이는 지점이 여러 개인 경우가 존재하므로,

최적의 K를 결정할 때 어느 정도 감에 의존할 수 밖에 없다.

따라서 실루엣 계수의 시각화를 통해 K를 최적화하는 Silhouette method를 함께 사용한다.

실루엣 계수는 군집 내의 거리와 군집 간의 거리를 모두 고려하기 때문에 참고하기 좋은 지표이다.

군집 중심점의 개수(K)를 두 개(왼쪽)와 세 개(오른쪽)로 설정

위의 그림에서 x축은 실루엣 계수, y축은 개별 군집과 이에 속하는 데이터이다.

빨간색 점선은 전체 데이터의 평균 실루엣 계수를 나타낸다.

개별 군집(y축)의 높이를 통해 군집 내 데이터의 분포와 뭉쳐 있는 정도를 가늠할 수 있다.

군집 중심점의 개수를 두 개로 설정한 왼쪽의 경우 평균 실루엣 계수가 0.7보다 조금 작다.

1번 군집의 데이터는 평균보다 높은 실루엣 계수를 가지지만,

0번 군집의 경우 대부분의 데이터가 평균 이하의 실루엣 계수를 가지며, 그림이 넓게 분포한다.

1번 군집은 내부 데이터가 뭉쳐있지만 0번 군집은 내부 데이터 간 거리가 멀다고 해석할 수 있다.

오른쪽 그림은 군집 중심점의 개수를 세 개로 설정한 경우이다.

평균 실루엣 계수 값은 두 개의 군집 중심점을 생성했을 때보다 작다.

0번 군집의 경우 모두 평균보다 높은 실루엣 계수를 가지는 것으로 보아 데이터가 잘 뭉쳐있지만,

1번과 2번 군집의 데이터는 대체로 평균보다 낮은 실루엣 계수를 가진다.

이상치에 취약한 군집화 모델의 특성 상 전체 데이터의 평균 실루엣 계수는 쉽게 변동할 수 있다.

따라서 평균 실루엣 계수와 개별 군집의 높이를 복합적으로 따져서 최적의 K를 결정한다.

개별 군집 간 적당한 거리를 유지하면서 군집 내 데이터가 잘 뭉쳐있는 경우를 찾는다.

여기까지 군집 분석에 대한 설명을 마친다.

실루엣 분석(Silhouette Analysis)과 K-Means 군집화 실습 코드는 아래 링크에서 볼 수 있다.

https://github.com/tldnjs1231/data-analytics/blob/main/data-analytics-20-k-means_clustering.ipynb

GitHub - tldnjs1231/data-analytics

Contribute to tldnjs1231/data-analytics development by creating an account on GitHub.

github.com

19. 차원 축소 및 주성분 분석(PCA)

gool — Tue, 5 Jul 2022 22:13:17 +0900

차원을 축소하여 복잡도를 줄이면서 정보의 손실을 최소화할 수 있는 방법

변수(feature) 간의 독립성이 만족되면 이론적으로는 변수가 많아질수록 모델의 성능이 향상된다.

하지만 실제로는 변수들이 독립적이지 않고, 변수의 수가 일정 수준 이상이 되면 성능이 저하된다.

머신러닝에서 차원(Dimension)은 변수(feature) 하나하나를 의미한다.

독립변수가 한 개면 1차원, 두 개면 2차원, ... , n개면 n차원인 식이다.

차원의 저주(Curse of Dimensionality)

앞서 말했듯이 변수의 수, 즉 차원이 증가하면 모델의 복잡도가 높아지고 성능이 저하된다.

이처럼 차원이 커지면서 한정된 관측치로 증가하는 차원의 패턴을 잘 설명하지 못하게 되고,

모델의 성능이 저하되는 현상을 차원의 저주(Curse of Dimensionality)라고 한다.

차원이 커지면 데이터 간의 거리가 증가하여 모델의 예측 신뢰도가 하락한다.

아래 그림에서 실데이터의 수는 다섯 개로 일정하지만, 차원의 수가 점점 늘어남에 따라

존재하는 데이터로 설명할 수 없는 빈 공간이 많아진다.

차원의 저주(Curse of Dimensionality)

차원 축소(Dimension Reduction)

차원 축소는 고차원 학습 데이터를 저차원 데이터(3차원 이하)로 변환하여 학습시간을 절약하고,

시각적으로 보다 쉽게 데이터의 패턴을 인지할 수 있도록 하는 것을 말한다.

차원 축소 과정에서 정보의 손실을 최소화하고 데이터의 설명력을 높게 유지하는 것이 중요하다.

대표적인 차원 축소 기법으로 주성분 분석(PCA, Principal Component Analysis)이 있다.

규제 회귀 방식(Ridge, Lasso, ElasticNet)도 차원 축소법의 일종이다.

회귀 계수가 0에 가까운 컬럼을 삭제하는 Lasso 규제는 보다 직관적인 차원 축소 방식이다.

CNN(Convolutional Neural Network)은 인간의 시신경을 모방하여 만든 딥러닝 구조로,

이미지 분석 시 정보 소실을 최소화하기 위해 활용하는 차원 축소 기법이다.

딥러닝에 사용되는 기법이므로 참고만 하도록 한다.

차원 축소는 크게 두 가지 방식으로 이루어지는데,

각각 변수 선택(Feature Selection)과 변수 추출(Feature Extraction)이다.

주성분 분석(PCA)은 변수 추출 방식을 사용한다.

변수 선택(Feature Selection)

변수 선택은 데이터의 특징을 잘 나타내주는 변수(feature)만 선택하는 방식이다.

전처리 실습 과정에서 머신러닝에 필요 없는 feature를 drop한 것도 변수 선택에 해당한다.

최근에 등장한 머신러닝 모델(Boosting)의 경우 중요 변수를 추출하는 알고리즘이 내장되어 있어

다른 모델들에 비해 우수한 성능을 보인다.

다음의 네 가지 변수 선택 방식이 존재한다.

전역 탐색(Exhausitve Search)
전진 선택(Forward Selection)
후진 제거(Back Elimination)
단계 선택(Stepwise Selection)

* 현실적으로 가능한 방식은 전진 선택, 후진 제거, 단계 선택의 세 가지 뿐이다.

(1) 전역 탐색(Exhaustive Search)

가능한 모든 경우를 시도하여 최적의 feature 조합을 찾는 방식으로,

할 수만 있다면 최고의 방법이지만 현실적으로 불가능하다. (2**p - 1가지 경우의 수 발생)

(2) 전진 선택(Forward Selection)

설명변수가 하나도 없는 상태에서 시작하여 유의미한 변수부터 차례로 모델에 추가하는 방식이다.

전진 선택법(Forward Selection)

학습 데이터에 x1부터 x5까지 다섯 개의 변수가 존재한다고 할 때,

다음과 같이 변수를 하나씩 추가하면서 각 경우의 결정계수(R²)를 비교해 최적의 조합을 찾는다.

3단계에서 다른 변수를 추가해도 모델의 성능이 나아지지 않으므로 최적의 조합은 x3, x4이다.

(3) 후진 제거(Back Elimination)

설명변수를 모두 포함한 상태에서 시작하여 가장 적은 영향을 주는 변수부터 제거하는 방식이다.

후진 제거법(Back Elimination)

마찬가지로 x1부터 x5까지 다섯 개의 변수가 존재하는 경우,

이번에는 아래 상태에서 출발하여 추가로 변수를 제거하는 것이 성능 저하를 가져올 때 멈춘다.

(4) 단계 선택(Stepwise Selection)

변수가 하나도 없는 상태에서 시작하여 전진 선택과 후진 제거를 번갈아가며 수행하는 방식이다.

이후 과정에서 한 번 선택된 변수가 제거되거나 제거된 변수가 재선택 될 수 있다.

전진 선택법과 후진 제거법에 비해 시간이 많이 소요되지만 좋은 성능을 보인다.

4가지 변수 선택법 성능 및 소요시간 비교

변수 추출(Feature Extraction)

기존의 데이터를 주요 성분/feature를 포함한 저차원 데이터로 압축하여 추출하는 방식으로,

원본 데이터의 고차원 feature 공간을 저차원의 새로운 feature 공간으로 투영한다.

기존 feature를 조합하여 데이터를 잘 설명할 수 있는 새로운 feature를 추출해낸다.

변수 추출 모델은 내장된 알고리즘으로 높은 설명력의 상관관계를 가진 feature들을 찾아,

선별된 변수를 대상으로 분산 값을 구하는 등 모델 내부에서 추가적인 계산을 수행한다.

이 같은 방식으로 고차원 데이터의 변동을 최대한 보존하면서 저차원 데이터로 변환한다.

변수 추출 시 내부적인 계산을 통해 중요한 성분을 포함한 새로운 feature를 추출하기 때문에,

추출된 feature는 기존 데이터의 feature와 다른 값을 가지게 된다.

주성분 분석(PCA)이 대표적인 변수 추출 방식의 차원 축소 기법이다.

주성분 분석(PCA, Principal Component Analysis)

주성분 분석은 차원 축소를 위해 분포의 주성분을 분석하는 기법으로,

변수가 너무 많아 기존 feature를 조합한 새로운 변수로 모델을 생성할 때 사용된다.

(* 주성분: 전체 feature의 분산/변동을 가장 잘 설명하는 성분)

주성분 분석의 목적은 데이터를 충분히 잘 설명할 수 있는 새로운 축을 찾아내는 것이다.

예를 들어 x1, x2 두 개의 축을 가진 2차원 데이터를 1차원으로 축소하려고 한다.

가장 쉬운 방법은 둘 중 하나의 축으로 모든 데이터를 이동시키는 것이다.

하지만 그렇게 할 경우, 아래 그림의 x1, x2 축과 같이 겹치는 데이터 생겨 정보가 소실된다.

차원을 축소하면서 발생하는 정보의 유실을 최소화하기 위해서는 분산을 최대한 보존해야 한다.

분산이 커지면 점들 사이의 거리가 유지되어 데이터가 서로 겹치지 않고,

데이터가 겹치지 않으면 변수들 간의 차이가 명확하여 효율적인 분석이 가능하다.

다음은 데이터가 퍼져 있는 정도인 분산이 최대가 되는 축을 찾아나가는 과정이다.

주성분 분석(PCA)에서는 학습 데이터의 분산이 최대인 축을 먼저 찾고,

이 첫 번째 축과 직교하면서 분산을 최대한 보존하는 두 번째 축을 찾는다.

첫 번째 축(빨간색)과 두 번째 축(파란색)

3차원 이상의 데이터라면 처음 두 개의 축에 직교하고 분산이 최대인 세 번째 축을 찾을 수 있다.

PCA 알고리즘은 데이터의 차원(feature)의 개수만큼 여러 방향의 직교하는 축을 찾는다.

이처럼 i번째 축을 정의하는 단위 벡터를 i번째 주성분(PC, Principal Component)이라고 한다.

축이 결정되면 모델 내부에서 축을 기준으로 데이터의 값을 변환하는 작업을 거친다.

PCA를 구현하기 위한 API는 sklearn.decomposition에 포함되어 있다.

* Argument

n_components : PCA로 변환할 차원의 수

* Method

fit_transform(x) : x에 차원 축소를 적용
inverse_transform(x) : 데이터를 원래의 차원 공간으로 변환

* Attribute(적절한 차원의 수 결정에 사용)

explained_variance_ : component 별 변동성(분산)
explained_variance_ratio : component 별 변동성 비율

변동성 비율은 축소된 차원(축)이 원본 데이터의 변동성을 얼마나 반영하는지 나타내는 비율이다.

각 component가 전체 데이터에 대해 어느 정도의 설명력을 가지는지 알 수 있다.

차원 축소 시 적절한 차원의 수를 결정하는 데에 사용된다.

차원 축소와 주성분 분석을 완전히 이해하기 위해서는,

공분산 행렬과 고유값(eigenvalue) 등 수학적 지식이 뒷받침되어야 한다.

데이터 사이언스와 머신러닝을 깊이 있게 이해하기 위한 수학 공부의 필요성을 느낀다.

아래 링크에서 주성분 분석(PCA) 실습 코드를 확인할 수 있다.

https://github.com/tldnjs1231/data-analytics/blob/main/data-analytics-19-pca.ipynb

GitHub - tldnjs1231/data-analytics

Contribute to tldnjs1231/data-analytics development by creating an account on GitHub.

github.com

18. Kaggle 프로젝트: 호텔 예약

gool — Tue, 5 Jul 2022 22:12:27 +0900

호텔 예약 취소 여부(binary data)를 예측하는 모델링

머신러닝 플랫폼 캐글(Kaggle)의 호텔 예약 관련 데이터를 활용하여,

데이터 전처리 및 시각화와 로지스틱 회귀, 랜덤 포레스트, XGBoost 등의 모델을 실습한다.

프로젝트 실습 코드는 아래 링크에서 확인할 수 있다.

https://github.com/tldnjs1231/data-analytics/blob/main/data-analytics-18-hotel_booking.ipynb

GitHub - tldnjs1231/data-analytics

Contribute to tldnjs1231/data-analytics development by creating an account on GitHub.

github.com