[삼성 SDS Brightics] 상관분석 - 부동산 데이터를 통해 전/월세와 매매가격 간 상관관계 분석(feat. Pearson분석)

 

안녕하세요! 브라이틱스 서포터즈 yeenn입니다:)

 

이제 드디어 서포터즈 활동 5주차에 접어들었는데요,

지난 주까지의 개인분석 미션이 모두 끝나고 드디어 팀 미션이 시작되었습니다!

 

제가 속해 있는 브라이틱스 3조는 현재 브라이틱스 홍보 영상관련해서 영상 기획안 회의를 진행중인데요,

관련 포스팅도 회의가 마무리되는 대로 정리하여 올리도록 하겠습니다!(기대해주세요ㅎㅎ)

 

 

이번 주 포스팅은 개인 미션은 아니구요, 3주간 개인분석 미션에서 다 다루지 못한 브라이틱스 공부&실습을 다루는 포스팅입니다..! 

브라이틱스 활동 종료시점까지,, 개인 포스팅으로 전반적인 머신러닝부분까지 다루는 것이 목표인데, 팀 미션들과 잘 병행할 수 있도록 호흡 조절 잘해보겠습니다!

 

---

 

이번 주 포스팅에서 다룰 내용은 '상관분석'인데요, 

브라이틱스 Tutorial 페이지에 개인적으로 흥미있어보이는 dataset분석이 있어서 튜토리얼을 따라 직접 실습을 진행해보려고 합니다!

 

* 브라이틱스 튜토리얼 페이지를 보시면 분석 프로세스별로, 분석이 이용되는 산업별로 예제를 통한 자세한 tutorial을 확인하실 수 있습니다!

 

 

 

 

[이론학습]

 

상관분석(Correlation Analysis)이란? 

두 변수가 서로 어떠한 선형관계를 가지는지 분석하는 기법으로 상관계수를 이용하여 측정하는 분석방법입니다.

 

 

상관계수란? 

상관계수 r은 X와 Y가 함께 변하는 정도와 X와 Y가 각각 변하는 정도를 나타내며, 이 'r'은 X와 Y가 완전히 동일하면 +1, 반대방향으로 완전히 동일하면 -1 의값을 가집니다.

※ r값이 0인 경우, '상관이 없다'라고 해석하기 보다는 '선형의 관계가 아니다' 라고 말하는 것이 적절합니다!

 

 

 

대표적인 상관계수로는 피어슨(Pearson) 상관계수, 스피어만(Spearman) 상관계수, 켄달(Kendall)상관계수가 있습니다!

 

 

1) Pearson 상관계수

-피어슨 상관계수는 두 연속형 변수가 한 직선에 얼마나 모여 있는지, 즉 선형관계의 정도와 그 방향이 어떠한지를 나타냅니다.

- -1≤r≤1 의 범위를 가지며, 절댓값이 1에 가까울수록 강한 상관관계를 나타냅니다.

 

2) Spearman 상관계수

-스피어만 상관계수는 원래 데이터를 그대로 사용했던 피어슨 상관계수와는 다르게, 원래 데이터에 대해 순위를 구한 후 그 순위에 대해 상관계수를 구한 것입니다.

-순위를 활용하여 상관계수를 구하기 때문에, 스피어만 순위 상관계수라고도 부릅니다. 

-피어슨 상관계수와 마찬가지로 -1≤r≤1 의 범위를 가지며, 절댓값이 클 수록 강한 상관관계를 나타냅니다. 

 

3) Kendall 상관계수

-켄달 상관계수는 두 변수의 순위의 일치정도를 측정합니다.

-켄달 상관계수 역시 순위와 관련된 상관계수이기 때문에 켄달 순위 상관계수라고 부르고, 타우를 사용하기 떄문에 '켄달의 타우'라고도 부릅니다.

 

피어슨 상관계수	스피어만/켄달 상관계수
-두 변수의 형태가 등간형(interval) 또는 비율형(ratio)일 경우의 상관계수 -두 변수의 선형 정도를 파악할 때 사용 -한 변수의 값이 증가할 때, 다른 변수의 값도 같이 증가 또는 감소하는지의 관계	-두 변수의 형태가 순서형(ordinal)인 경우. 서열변수간의 상관관계 -변수의 순위가 증가할 때, 다른 변수의 순위도 같이 증가 또는 감소하는지의 관계 -두 연속형 변수의 분포가 정규분포를 심하게 벗어날 경우의 상관관계를 측정시에도 사용

 

 

여기까지 간단히 상관분석에 대한 이론학습을 해보았는데요, 충분히 선행 학습이 되셨다면 다음 실습으로 넘어가보도록하겠습니다!

 

---

[실습]

 

1. 상황 및 분석 목표

• 부동산 시장에 관심이 많은 재승이는 주거 밀집지역인 송파구를 대상으로 전/월세 가격와 매매가격 간에 상관관계가 있는지 분석해보고자 합니다.
• 한국감정원, 공공데이터포탈 등에서 부동산 관련 데이터를 제공하고 있으므로 2017년의 월별 데이터로 상관관계를 분석해보고자 합니다.

 

2. Dataset

• 송파구 지역 아파트 단지의 전/월세 데이터(61_py_rent_price.csv)

변수	변수 설명
address1	시군구
address2	번지
main_num	본번
sub_num	부번
complex_name	단지명
rent_type	전, 월세 구분
area	면적(제곱미터)
contract_ym	계약연월
contract_date	계약일(초, 중 하순 구분)
deposit	보증금
monthly_rent_fee	월세
floor	층수
construction_year	시공연월
street	도로명
area2	평형대

 

• 전월세 전환율(61_py_rent_ratio.csv)

변수	변수 설명
yyyymm	연월
ratio	전환율

 

• 매매가격(61_py_sale_price.csv)

변수	변수 설명
address1	시군구
address2	번지
main_num	본번
sub_num	부번
complex_name	단지명
area	면적
contract_ym	계약연월
contract_date	계약일
price	매매가
floor	층수
construction_year	시공연월
street	도로명
area2	평형대

 

 

 

0. Data Flow Model

 

 

 

1. Data Load

 

3 종류의 dataset - 송파구 지역 아파트 단지의 전/월세 데이터(61_py_rent_price.csv) / 전월세 전환율(61_py_rent_ratio.csv) / 매매가격(61_py_sale_price.csv) 을 모두 load해줍니다.

 

세 dataest의 Delimiters는 모두 Comma로 설정하고 load해주시면 됩니다!

특별히 load과정에서 수정해야 할 사항은 없는 듯 합니다.

 

 

61_py_rent_price.csv 를 load해줍니다.

 

 

61_py_rent_ratio.csv 를 load해줍니다.

 

 

61_py_sale_price.csv 를 load해줍니다.

 

 

 

 

2. 데이터 전처리

 

앞서 목표에서 전/월세 데이터를 모두 살펴보기로 했었는데요, 두 금액의 단위가 다르기 때문에 월세의 단위를 전세로 환산하는 작업을 진행하도록 하겠습니다.

월세의 경우 보증금의 크기에 따라 정해지기 때문에, 한국감정원에서 매달 발표하는 '전월세 전환율' 데이터를 이용하여 월세를 전세 단위로 환산하여 계산해보겠습니다!

 

 

2-1. 데이터 전처리-결합

 

전/월세 데이터와 전/월세 전환율 데이터의 거래년월을 key value로 결합합니다.

 

 

Parameter 설정을

Join Type: Inner join

Left Keys: contract_ym

Right Keys: yyyymm

Sort: Flase

로 지정해주세요.

 

참!

 

 

work flow model에서 rent_price 데이터와 rent_ratio 데이터 load함수를 모두 join함수로 연결시키는 것 유의해주세요!

 

 

 

2-2. 데이터 전처리-전환

 

그 다음은 전월세 전환율을 이용하여 월세를 전세로 전환할 경우의 보증금을 계산해볼 건데요,

한국감정원에서 발표한 전월세 전환율을 활용한 수식을 사용해보겠습니다.

 

※ 전환된 보증금 = ((월세 * 12) / 전월세전환율) * 100 + 기존 보증금

 

 

New Column Name에는 전환된 변수임이 잘 들어날 수 있는 새 변수명을 지정해주시고,

Expression Type: SQLite

Expression: ((monthly_rent_fee*12)/ratio)*100+deposit)

을 지정하여 Run을 눌러주세요. 

월세를 전세로 전환할시의 보증금 변수가 새로 생성이 되었네요!

 

 

 

2-3. 데이터 전처리-변환

 

그 다음, 주소, 단지명, 전/월세 타입, 계약연월, 평형 별로 평균 보증금 을 구하기 위해서는 데이터의 열과 행을 변환해야 겠죠? pivot함수를 사용해줍니다.

 

 

Rows: address1, complex_name, rent_type, contract_ym, area2

Values: deposit

Agreegate Function: Mean

을 지정한 후, Run을 눌러주세요!

 

그럼 다음과 같은 결과가 나타나게 됩니다.

 

 

여담이지만,, 피벗 함수사용도 엑셀보다 브라이틱스가 훨씬 편해요bbb

 

 

2-4. 데이터 전처리 - 전세 case filtering

 

그 다음, 전세인 경우 전세보증금과 매매가격과의 상관관계를 알아보기 위해, 전처리된 데이터에서 전세인 경우의 데이터만 필터링해보겠습니다. 

 

 

Filter 함수의 Condition에 

rent type=='lease'를 지정해줍니다.

(따옴표 잊지 마세요!)

 

 

rent type 중 전세 항목인 lease type만 필터링되었습니다!

 

 

 

그 다음은, 월세인 경우 전세보증금과 매매가격과의 상관관계를 알아보아야 겠죠?

앞서 진행한 process와 동일하게 pivot 함수를 통한 데이터 정렬 → filter함수를 통한 월세경우 추출 작업을 진행해줍니다.

 

 

2-5. 데이터 전처리-변환

 

 

 

Rows: address1, complex_name, rent_type, contract_ym, area2

Values: mean_monthly_pay_to_deposit

Agreegate Function: Mean

을 지정한 후, Run을 눌러주세요!

 

 

 

2-6. 데이터 전처리 - 월세 case filtering

 

월세인 경우 전세보증금과 매매가격과의 상관관계를 알아보기 위해, 전처리된 데이터에서 월세인 경우의 데이터만 필터링해보겠습니다. 

 

 

Filter 함수의 Condition에

rent type=='monthly rent'를 지정해줍니다.

 

 

rent type 중 월세 항목인 monthly rent type만 필터링되었습니다!

 

 

 

2-7. 데이터 전처리 - 변환

 

그 다음, 주소, 단지명, 계약연월, 평형 별로 평균 가격 을 구하기 위해서 데이터의 열과 행을 변환하는 pivot함수를 사용해줍니다.

 

 

 

Row: address_1, complex_name, contract_ym, area2

Vaule: price

Aggregate Function: Mean

을 지정하고 Run을 눌러주세요.

 

 

주소, 단지명, 계약연월, 평형 별 평균 매매가격이 table에 재정렬되었습니다!

 

 

 

2-8. 데이터 전처리 - 결합

 

그 다음은, 앞서 전처리된 평균 전세보증금과 평균 매매가격을 비교해보겠습니다.

송파구 지역의 아파트 단지별 계약연월, 평형별 평균 전세보증금과 평균 매매가격을 비교하기 위해 

두 dataset을 join함수를 이용해 결합해보겠습니다. 

 

 

Join Type: innerjoin

Left Keys: address1, complex_name, contract_ym, area2

Right Keys: address1, complex_name, contract_ym, area2

를 지정하고 Run을 눌러줍니다.

 

산점도(Scatter Plot)을 통해 위 table을 조금 더 자세히 살펴보겠습니다!

 

 

평형별 평균 매매가와 평균 보증금의 관계를 산점도를 통해 살펴보기 위해 parameter을 다음과 같이 지정합니다.  

Chart Type: Scatter Plot

X-axis: mean_price

Y_axis: mean_deposit

Color By: area2

 

 

그럼 위와 같은 산점도를 확인할 수 있는데요, 전체 데이터의 갯수가 1322개로 default Show rows 1000개보다 많으므로, Show Rows를 3000으로 설정하여 전체 data를 확인할 수 있게 해줍니다.

 

 → 데이터가 선형으로 분포하고 있음을 알 수 있습니다!

 

 

 

2-9. 데이터 전처리 - 결합

 

그 다음은, 송파구 지역의 아파트 단지별 계약연월, 평형별 전환된 월세보증금 평균금액과 평균 매매가격을 비교하기 위해 전처리된 두개의 데이터셋을 Join 함수를 이용하여 결합해보겠습니다!

 

 

Join Type : Inner Join

Left Keys : address1, complex_name, contract_ym, area2

Right Keys : address1, complex_name, contract_ym, area2

Sort : False

을 지정한 후, Run을 눌러줍니다.

 

위와 마찬가지로, 산점도(Scatter Plot)을 통해 위 table을 조금 더 자세히 살펴보겠습니다!

 

 

아파트 단지별 계약연월, 평형별 전환된 월세보증금 평균금액과 평균 매매가격을 비교하기 위해

Parameter을 다음과 같이 지정해줍니다.

Chart Type: Scatter Plot

X-axis: mean_price

Y-axis: mean_monthly_pay_to_deposit

Color By: area2

 

 

→ 데이터가 대체적으로 선형으로 분포하고 있으나 매매가격에 비해 월세 보증금은 크게 오르지 않는 경우가 존재하는 것으로 보여지네요!

 

 

 

3-1. Pearson 상관분석

 

앞서 살펴 본 평형대 별 매매가격과 전세보증금 간의 상관계수를 계산하여 매매가격의 상승이 전세보증금과 어느정도의 연관성을 가지고 있는지 상관관계분석을 진행해보도록 하겠습니다.

 

 

Correlation 함수를 추가하여

Input Columns: mean_price, mean_deposit

Method: Pearson

Display Plots: True

Group By: area2

를 지정해주시고 Run을 눌러주세요.

 

결과를 살펴볼까요?

 

• 0평형

 

 

• 10평형 

 

 

 

• 20평형

 

 

• 30평형

 

 

• 40평형

 

 

• 50평형

 

→20평형 미만대의 소규모 평수에서 상관계수가 0.84~0.96 로 매우 높은 것을 확인할 수 있었는데요, 이를 통해 매매가격이 오르면 전세보증금도 거의 비슷한 규모로 상승함을 알 수 있었습니다.

→또한, 평형 별로 차이는 있으나 대부분 0.5 이상으로 전세가격과 매매가격 사이에 높은 상관관계가 있음을 알 수 있었습니다.

 

 

 

3-1. Pearson 상관분석

 

마지막으로, 앞서 살펴 본 평형대 별 매매가격과 월세보증금 간의 상관계수를 계산하여 매매가격의 상승이 월세보증금과 어느정도의 연관성을 가지고 있는지 상관관계분석을 진행해보도록 하겠습니다.

 

 

Correlation 함수를 추가하여

Input Columns: mean_price, mean_monthly_pay_to_deposit

Method: Pearson

Display Plots: True

Group By: area2

를 지정해주시고 Run을 눌러주세요.

 

결과를 살펴볼까요?

 

• 0평형

 

 

• 10평형

 

 

• 20평형

 

• 30평형

 

• 40평형

 

 

• 50평형

 

→ 월세보증금의 경우도 20평형 미만대의 소규모 평수에서 상관계수가 비교적 높은 상관성을 띄고있는 것을 확인할 수 있었습니다.(0.91, 0.83)

→다만 월세보증금은 송파구 전체의 평균 전월세전환율로 전환된 보증금이므로 실제 세입자가 월세를 전세로 전환할 경우의 보증금 가격과 차이가 존재하기 때문에 전세 보증금과는 다르게 상관관계가 낮게 나타날 수 있습니다.

 

 

※ 위의 실습과정은 아래 Brightics Studio Tutorial을 참고하여 작성되었습니다.

 

https://www.brightics.ai/kr/docs/ai/s1.0/tutorials/61_py_housing_rent_sales_corr?type=insight 

Brightics Studio

 

 

---

-본 게시물은 Brightics 서포터즈 활동의 일환으로 작성된 포스팅 입니다.