제2장 데이터 분석 입문

장 미리보기. 이 입문에서는 보험 업무와 관련된 데이터 분석 개념을 중점적으로 다룹니다. 데이터 분석은 다양한 분야에서 서로 다른 용어로 사용되므로, 먼저 2.1절에서 데이터 분석의 기본 구성 요소, 즉 요소들을 설명하는 것으로 시작합니다. 이어서 2.2절에서는 분석가가 보험 데이터를 분석하는 데 사용할 수 있는 과정을 개괄합니다. 많은 분야에서는 다수의 변수, 즉 “빅” 데이터에 초점을 맞춘 데이터 분석의 발전을 강조합니다. 그러나 이는 흔히 단일 변수에 대한 고려를 배제하는 대가를 치르게 됩니다. 이에 따라 2.3절에서는 “단일 변수 분석”이라 부르는 접근법을 소개합니다. 여기에는 변수 유형에 대한 설명, 탐색적 분석과 확증적 분석의 비교, 모형 구축 및 선택의 요소가 포함되며, 이 모두는 단일 변수의 맥락에서 수행할 수 있습니다. 이를 바탕으로 2.4절에서는 많은 변수의 존재를 필요로 하는 지도 학습과 비지도 학습의 역할을 살펴봅니다.

이 장의 마지막 절인 2.5절은 이 책의 범위를 넘어서는 데이터 관련 고려 사항을 더 폭넓게 소개하며, 이 장을 데이터 분석에 대한 심화 학습의 기초로 삼고자 하는 신진 분석가를 위한 것입니다. 또한 기술 부록에서는 주성분, 군집 분석, 트리 기반 회귀 모형 등 데이터 분석의 다른 표준 구성 요소를 소개합니다. 이러한 주제는 이 책에 꼭 필요한 것은 아니지만, 더 넓은 분석 맥락에서는 중요합니다.

2.1 데이터 분석의 요소

이 절에서는 다음과 같은 데이터 분석의 필수 구성 요소를 설명하는 방법을 배웁니다.

여러 핵심 개념으로 구성된 요소, 그리고
두 가지 기본 접근 방식인 데이터 모델링과 알고리즘 모델링.

데이터 분석은 결론을 도출하고 의사 결정을 내리는 데 도움이 되는 유용한 정보를 발견하기 위해 데이터를 검사하고, 정제하고, 변환하고, 모델링하는 작업을 포함합니다. 데이터 분석은 오랜 역사를 가지고 있습니다. 1962년에 통계학자 John Tukey는 데이터 분석을 다음과 같이 정의했습니다.

데이터를 분석하기 위한 절차, 그러한 절차의 결과를 해석하기 위한 기법, 데이터 분석을 더 쉽고, 더 정밀하거나 더 정확하게 만들기 위해 데이터 수집을 계획하는 방법, 그리고 데이터 분석에 적용되는 (수리) 통계학의 모든 도구와 결과.

— (Tukey 1962)

2.1.1 데이터 분석의 핵심 개념

데이터 분석의 요소를 뒷받침하는 핵심 개념은 다음과 같습니다.

데이터 기반. 1.1.2절에서 설명한 바와 같이, 데이터 분석 과정을 통해 내려지는 결론과 의사 결정은 데이터 입력에 크게 좌우됩니다. 이와 비교하여, 계량경제학자들은 오래전부터 데이터 주도 모형과 구조적 모형의 차이를 인식해 왔습니다. 후자는 경제 이론과 확률 모형 사이의 명시적인 상호작용을 나타내는 모형입니다@goldberger1972structural .
EDA(탐색적 데이터 분석)와 CDA(확증적 데이터 분석). 데이터셋의 평균을 구하는 것처럼 일부 기법은 겹치지만, 데이터를 분석하는 이 두 접근 방식은 서로 다른 목적을 가지고 있습니다. EDA의 목적은 특정 모형을 참조하지 않고 데이터의 측면이나 패턴을 드러내는 것입니다. 반면 CDA 기법은 데이터를 사용하여 모형의 측면이나 패턴을 입증, 즉 확증합니다. 더 자세한 논의는 2.3.2절을 참조하십시오.
추정과 예측. 통계적 추론의 전통적인 세 요소인 가설검정, 모수 추정, 예측을 떠올려 보십시오. 의학 통계학자는 신약의 효능을 검정하고, 계량경제학자는 경제적 관계의 모수를 추정합니다. 보험에서도 가설검정과 모수 추정을 사용합니다. 더 나아가, 아직 실현되지 않은 확률적 결과에 대한 예측은 기존 위험의 미래 기간에 대한 재무적 위험 관리(예: 가격 책정)뿐만 아니라 현재 기간에 아직 관측되지 않은 위험의 관리에도 매우 중요합니다. Frees (2015)를 참조하십시오.
모형 복잡도, 간결성, 그리고 해석 가능성. 모형은 현실을 수학적으로 표현한 것으로, 통계학에서는 데이터 집합을 사용하여 보정됩니다. 한 가지 고려 사항은 모형의 복잡도로, 여기에는 모형을 정의하는 데 사용되는 모수의 개수, 모형이 의존하는 변수의 개수, 그리고 모수와 변수 사이 관계의 복잡성이 포함될 수 있습니다. 경험적으로, 모형이 복잡할수록 데이터 집합을 적합하는 데에는(따라서 추정에는) 더 뛰어나지만 새로운 결과를 예측하는 데에는 더 떨어진다는 것을 보게 될 것입니다. 다른 조건이 같다면, 모수가 더 적은 모형을 간결하다고 하며, 따라서 덜 복잡합니다. 또한 간결한 모형은 일반적으로 비슷한 수준의 더 복잡한 모형보다 해석하기 쉽습니다. 복잡도는 모형의 내부 작동 방식을 이해하는 능력, 즉 해석 가능성을 저해하며, 2.1.2절에서 데이터 모형과 알고리즘 모형을 비교할 때 핵심 요소가 될 것입니다.
모수적 모형과 비모수적 모형. 확률 분포를 포함한 많은 모형은 모수라고 불리는 제한된 수의 양을 제외하고는 알려져 있습니다. 예를 들어, 평균과 분산은 정규분포를 결정하는 모수입니다. 반면에, 다른 모형은 모수에 의존하지 않을 수 있으며, 이러한 모형을 간단히 비모수적 모형이라고 합니다. 당연히 분포의 일부에 대해서는 모수에 의존하고 다른 부분에 대해서는 분포 무관인 모형도 많이 있습니다. 이러한 모형을 준모수적 모형이라고 합니다. 모수적 접근법과 비모수적 접근법은 서로 다른 강점과 한계를 지니며, 어느 쪽도 다른 쪽보다 엄밀하게 더 낫지 않습니다. 어떤 상황에서 한 접근법을 다른 접근법보다 선호할 수 있는지 설명하기 위해 2.3.3절에서 논의를 시작합니다.
강건성이란 모형, 검정 또는 절차가 모형 가정이나 모형 보정에 사용된 데이터의 예상치 못한 이탈에 영향을 잘 받지 않는다는 것을 의미합니다. 결과를 해석할 때, 가정이나 데이터의 변화에 결과가 어떻게 반응하는지, 즉 결과의 강건성에 대해 질문하는 것은 자연스러운 일입니다.
계산 통계학. 역사적으로 통계적 모형화는 해석하기 쉬울 뿐만 아니라 계산하기도 쉬운 요약 통계량에 크게 의존해 왔습니다. 현대의 컴퓨팅 성능 덕분에 “계산하기 쉬움”의 정의가 크게 바뀌었으며, 한때 계산량이 너무 많아 실용적이지 않다고 여겨졌던 측도들이 사용될 수 있는 길이 열렸습니다. 더욱이 데이터의 부분표본추출과 재표본추출이라는 아이디어(예: 교차 검증과 부트스트래핑)는 통계적 표본추출 오차와 모형의 예측 능력을 이해하기 위한 새로운 방법을 도입했습니다.
빅데이터. 이는 방대한 데이터로부터 정보를 신속하게 추출할 수 있는 특수한 방법과 도구를 사용하는 과정에 관한 것입니다. 빅데이터의 예로는 비정형 데이터라고도 불리는 텍스트 문서, 동영상, 오디오 파일 등이 있습니다. 표 2.1은 새로운 데이터로 이어지는 새로운 유형의 데이터 원천을 요약합니다. 분석 동향의 일환으로, 다양한 유형의 알고리즘은 새로운 유형의 데이터를 처리하기 위한 새로운 소프트웨어로 이어집니다. 더 자세한 논의는 2.5.4절을 참조하십시오.

표 2.1. 분석 동향 (Frees and Gao (2019)에서 발췌)

\[ {\small \begin{array}{l|l} \hline \textbf{Data Sources} & \textbf{Algorithms}\\ \hline \text{Mobile devices} & \text{Statistical learning} \\ \text{Auto telematics} & \text{Artificial intelligence}\\ \text{Home sensors (Internet of Things)}& \text{Structural models}\\ \text{Drones, micro satellites} &\\ \hline \textbf{Data} & \textbf{Software} \\ \hline \text{Big data (text, speech, image, video)} & \text{Text analysis, semantics} \\ \text{Behavioral data (including social media)}& \text{Voice recognition}\\ \text{Credit, trading, financial data} & \text{Image recognition} \\ & \text{Video recognition} \\ \hline {{\tiny \textit{Source}:\text{Stephen Mildenhall, Personal Communication}}} & \\ \hline \end{array} } \]

2.1.2 데이터 모델링 대 알고리즘 모델링

데이터에서 결론을 얻기 위해 통계적 모델링을 사용하는 데에는 두 가지 문화가 있습니다. 바로 데이터 모델링 문화와 알고리즘 모델링 문화입니다. 데이터 모델링 문화에서는 데이터가 주어진 확률 모형에 의해 생성된다고 가정합니다. 알고리즘 모델링 문화에서는 데이터 생성 메커니즘을 알려지지 않은 것으로 취급하며 알고리즘 모형을 사용합니다.

데이터 모델링(Data modeling) 생성된 데이터가 확률적 데이터 모형에서 나온다고 가정함 은 통계학자가 데이터를 분석하고 데이터 메커니즘에 대한 정보를 얻을 수 있게 해 줍니다. 그러나 Breiman (2001)는 통계학계가 데이터 모델링에 집중한 결과 다음과 같은 몇 가지 부작용이 생겼다고 주장했습니다.

무관한 이론과 의심스러운 과학적 결론을 낳았습니다.
이는 통계학자들이 더 적합할 수도 있는 알고리즘 모형을 사용하지 못하게 했습니다.
통계학자들이 폭넓은 문제를 다루는 능력을 제한했습니다.

알고리즘 모델링(Algorithmic modeling) 생성된 데이터가 알려지지 않은 알고리즘 모형에서 나온다고 가정함 은 오래전부터 산업 통계학자들이 사용해 왔습니다. 안타깝게도 알고리즘 방법의 개발은 통계학 외부의 공동체들이 맡게 되었습니다. 알고리즘 모델링의 목표는 예측 정확도(predictive accuracy) 설명변수가 반응 결과를 얼마나 잘 예측하는지에 대한 정량적 척도입니다. 일부 복잡한 예측 문제에는 데이터 모형이 적합하지 않습니다. 이러한 예측 문제에는 음성 인식, 이미지 인식, 필기 인식, 비선형 시계열 예측, 금융 시장 예측 등이 있습니다. 알고리즘 모델링의 이론은 수렴성과 예측 정확도 같은 알고리즘의 성질에 초점을 맞춥니다.

Show Quiz Solution

2.2 데이터 분석 과정

이 절에서는 데이터 분석 과정을 다음 다섯 단계로 설명하는 방법을 배웁니다.

범위 설정 단계,
데이터 분할,
모형 개발,
검증,
그리고 함의 도출입니다.

표 2.2는 보험 활동과 관련된 데이터를 분석할 때 사용하는 일반적인 단계를 개괄합니다.

표 2.2 보험 활동을 위한 데이터 분석 과정

\[ {\scriptsize \begin{array}{c|c|c|c|c}\hline \textbf{I. Scoping} &\textbf{II. Data}& \textbf{III. Model} & \textbf{IV. Validation} & \textbf{V. Determine} \\ \textbf{Phase} &\textbf{ Splitting}& \textbf{ Development} & & \textbf{Implications} \\ \hline \text{Use background} &\text{Split the}& \text{Select a candidate} & \text{Repeat Phase III} & \text{Use knowledge gained} \\ \text{knowledge and} &\text{data into}& \text{model} & \text{ to determine several} & \text{from exploring the data,} \\ \text{theory to} &\text{training}& &\text{candidate models} & \text{fitting and predicting} \\ \text{define goals} &\text{and testing}&&& \text{the models to make} \\ &\text{portions}&&& \text{data-informed statements} \\ &&&& \text{about the project goals} \\ &&&& \\ \text{Prepare, collect,}&&\text{Select variables to} &\text{Assess each model} \\ \text{and revise data}&&\text{ be used with the} & \text{using the testing}& \\ &&\text{candidate model} & \text{portion of the data}& \\ && & \text{ to determine its}& \\ && & \text{predictive capabilities}& \\ &&&& \\ \text{EDA}&&\text{Evaluate model fit} &&\\ \text{Explore the data}&&\text{using training data} &&\\ &&&& \\ &&\text{Use deviations from}&&\\ &&\text{ model fit to improve}&&\\ &&\text{suggested models}&&\\ \hline \end{array} } \]

I. 범위 설정 단계

범위 설정, 즉 문제 정식화는 세 가지 구성 요소로 나눌 수 있습니다.

배경 지식과 이론을 활용하여 목표를 정의하십시오. 보험 활동 프로젝트는 일반적으로 시장 상황과 같은 배경 지식 및 위험 감수에 대한 개인의 태도와 같은 이론에 부합하도록 수립된 사업상 목적에서 동기를 얻습니다.
데이터를 준비하고, 수집하고, 수정하십시오. 당면한 질문에 대한 통찰을 주는 적절한 데이터를 확보하는 일은 대개 대부분의 프로젝트에서 가장 많은 시간이 드는 부분입니다. 2.5절에서는 데이터 구조, 품질, 정제 등의 까다로운 세부 사항을 더 깊이 다룹니다.
EDA - 특정 모형을 참조하지 않고 데이터를 탐색하면 데이터에서 예상하지 못한 측면이나 패턴을 드러낼 수 있습니다.

이 세 가지 구성 요소는 반복적으로 수행될 수 있습니다. 예를 들어, 어떤 질문은 특정 유형의 데이터를 수집해야 함을 시사할 수 있습니다. 그런 다음 데이터에 대한 예비 분석에서 관심을 끄는 추가 질문이 제기되고, 이는 더 많은 데이터를 찾는 것으로 이어질 수 있습니다. 이러한 순환은 여러 번 반복될 수 있습니다. 이러한 반복적 접근법은 분석가가 가설을 세우고, 데이터를 수집한 다음, 그 데이터를 사용해 가설을 검정하는 전통적인 “과학적 방법”과는 다르다는 점에 유의하십시오.

II. 데이터 분할

필수는 아니지만, 데이터를 훈련용과 테스트용으로 분할하면 몇 가지 중요한 이점이 있습니다. 사용 가능한 데이터셋이 충분히 크다면, 데이터를 하나 이상의 후보 모형을 보정하는 데 사용하는 부분인 훈련 부분과, 검정, 즉 모형의 예측 능력을 평가하는 데 사용할 수 있는 다른 부분으로 분할할 수 있습니다. 데이터 분할 절차는 모형의 과적합을 방지하고 모형의 예측 측면을 강조합니다. 많은 응용에서는 예상하지 못한 편향의 원인을 완화하기 위해 분할을 무작위로 수행합니다. 보험과 같은 일부 응용에서는 이전 기간의 데이터를 사용하여 미래의 행동을 예측, 즉 전망하는 것이 일반적입니다. 예를 들어, 1.3절의 위스콘신 재산 기금 데이터의 경우 2006-2010년 데이터를 훈련에 사용하고 2011년 데이터를 예측 평가에 사용할 수 있습니다.

대규모 데이터셋의 경우 일부 분석가는 데이터를 세 부분으로 분할하는 것을 선호합니다. 하나는 훈련(모형 추정)용, 하나는 검증(모형 선택을 위한 예측 오차 추정)용, 하나는 검정(최종 선택된 모형의 일반화 오차 평가)용입니다. Hastie, Tibshirani, and Friedman (2009)(7장)을 참고하십시오. 반면, 중간 규모 및 소규모 데이터셋의 경우에는 데이터셋을 훈련 부분과 테스트 부분으로 반복적으로 분할한 다음 여러 번의 적용 결과를 평균하는 교차 검증(cross-validation) 데이터 표본을 부분표본들로 분할하고, 각 부분표본을 차례로 표본 외 데이터셋으로 삼아 분할을 구성하는 모형 검증 절차. 기법을 사용하는 것이 일반적입니다. 이러한 기법은 8장에서 더 자세히 설명합니다.

III. 모형 개발

모형 개발 단계의 목적은 여러 유형의 모형을 고려하고 각 “후보” 모형에 대해 최적의 적합을 제공하는 것입니다. 범위 설정 단계와 마찬가지로 모형 개발은 반복적인 절차입니다.

후보 모형을 선택합니다. 분석가의 관점에서 권장 모형이 될 가능성이 높은 “후보”인 모형에서 시작합니다. 분석가는 과거에 적용해 본 모형이나 업계에서 인정받는 모형처럼 익숙한 모형에 집중하겠지만, 원칙적으로는 모든 유형의 모형에 열린 자세를 유지합니다.
후보 모형에 사용할 변수를 선택합니다. 더 단순한 상황에서는 단 하나의 결과, 즉 변수만이 관심 대상입니다. 그러나 많은(대부분은 아니더라도) 상황에서는 다변량 결과를 다루며, 2.4절에서 보게 되듯이 분석가는 어떤 변수를 시스템의 입력으로 간주하고 어떤 변수를 결과로 취급할 수 있는지에 대해 많은 고민을 합니다.
훈련 데이터에서 모형 적합도를 평가합니다. 하나 이상의 선택된 변수에 기반한 후보 모형이 주어지면, 다음 단계는 훈련 데이터를 바탕으로 모형을 보정하고 모형 적합도를 평가하는 것입니다. 모형 적합도의 척도는 많이 있습니다. 분석가는 프로젝트 목표 및 데이터 분석 과정의 대상 독자와 부합할 가능성이 높은 척도에 집중해야 합니다.
모형 적합으로부터의 편차를 사용하여 후보 모형의 개선점을 제안합니다. 훈련 데이터를 모형 적합값과 비교할 때, 모형 개선을 시사하는 특정 패턴이 드러날 수 있습니다. 회귀 분석에서는 이러한 방법을 진단 검사라고 합니다.

IV. 검증

3단계를 반복하여 여러 후보 모형을 정합니다. 분석가가 선택할 수 있는 잠재적 모형은 매우 많습니다. 어떤 모형은 모수적이고, 어떤 모형은 비모수적이며, 또 어떤 모형은 그 둘을 혼합한 것입니다. 선형 관계를 통한 것처럼 단순성에 초점을 맞춘 모형이 있는가 하면, 훨씬 더 복잡한 모형도 있습니다. 그 밖에도 여러 가지가 있습니다. 3단계 과정을 반복 적용하면서, 훈련 데이터에 대한 적합도를 바탕으로 후보를 소수로 좁히는 것이 관례입니다.
데이터의 테스트 부분을 사용하여 각 모형을 평가하고 그 예측 능력을 판단합니다. 모형 개발 단계에서 가장 좋은 성능을 보인 소수의 모형을 대상으로 각 모형의 예측 능력을 평가합니다. 구체적으로, 각 적합된 모형을 사용하여 예측을 수행하고 그 예측 결과를 따로 남겨 둔 검정 데이터와 비교합니다. 이 비교는 교차 검증을 사용하여 수행할 수도 있습니다. 그런 다음 예측 능력을 바탕으로 모형들을 비교합니다.

V. 시사점 도출

범위 설정, 모형 개발, 검증 단계는 모두 프로젝트 목표에 관해 데이터에 근거한 진술을 하는 데 기여합니다. 대부분의 프로젝트는 하나의 추천 모형으로 귀결되지만, 각 단계는 강력한 통찰을 제공할 잠재력이 있습니다.

보험 활동과 관련된 데이터 분석 프로젝트에서는 예측 능력이 가장 뛰어난 모형을 선택하는 것이 일반적입니다. 그러나 분석가는 분석의 대상 독자도 염두에 두므로, 더 단순하고 해석하기 쉬운 모형을 선호하는 것 또한 일반적입니다. 해석 가능성의 상대적 중요성은 프로젝트 목표에 따라 크게 달라집니다. 예를 들어, 잠재 고객이 웹페이지를 보도록 유도하는 데 쓰이는 모형은 예측 능력을 더 중시하여 평가할 수 있습니다. 반면, 보험료 산정의 기초를 제공하는 모형은 일반적으로 규제 당국과 소비자 권익 단체의 면밀한 검토를 받으며, 이 경우에는 해석이 중요한 역할을 합니다.

Show Quiz Solution

2.3 단일 변수 분석

이 절에서는 다음 관점에서 단일 변수에 기반한 분석을 설명하는 방법을 배웁니다.

변수의 유형,
탐색적 분석과 확증적 분석,
모형 구축,
모형 선택.

분석에서 흔히 그렇듯 입력과 출력으로 이루어진 여러 변수로 시작하는 대신, 이 절에서는 단일 변수로 범위를 한정합니다. 단일 변수 분석은 통계적 데이터 모형화에서 비롯되었습니다. 또한 3~8장에서 보게 되듯이, 단일 변수 분석은 기본적인 보험 및 위험 관리 응용에서 중요한 역할을 합니다.

2.3.1 변수 유형

이 절에서는 통계적 데이터 분석에서 전통적으로 접하는 기본 변수 유형을 설명합니다. 2.5절에서는 빅데이터를 포함하는 더 광범위한 유형에 대한 틀을 제시합니다.

질적 변수

질적(qualitative) 측정값이 여러 그룹, 즉 범주 집합 중 어디에 속하는지를 나타내는 변수의 한 유형입니다. 변수 또는 범주형 변수(categorical variable) 값이 질적인 그룹이며, 자연스러운 순서가 없거나(명목형) 순서가 있을 수 있는(순서형) 변수는 측정값이 여러 그룹, 즉 범주 중 어디에 속하는지를 나타내는 변수입니다. 예를 들어, 피보험자가 국내 어느 지역에 거주하는지를 코딩한다면 북부에는 1, 남부에는 2, 그 밖의 모든 지역에는 3을 사용할 수 있습니다. 범주형 변수에 대한 분석은 어떤 것이든 범주에 붙인 레이블에 좌우되어서는 안 됩니다. 예를 들어, 북부, 남부, 기타에 1, 2, 3을 사용하는 대신 북부와 남부를 맞바꾸어 2, 1, 3으로 코딩하더라도 동일한 요약 통계량을 얻어야 합니다.

이와 달리 순서형 변수(ordinal variable) 순서가 있는 둘 이상의 범주를 가진 질적/범주형 변수의 한 유형입니다.는 순서가 존재하는 범주형 변수의 한 변형입니다. 예를 들어, 고객이 저희 청구 서비스 부서에 얼마나 만족하는지 알아보는 설문 조사에서는 불만족을 뜻하는 1부터 만족을 뜻하는 5까지의 5점 척도를 사용할 수 있습니다. 순서형 변수는 수준 간 간격의 크기는 알 수 없지만, 변수의 수준 사이에 명확한 순서를 제공합니다.

이진 변수(binary variable) 범주가 두 개뿐인 특수한 유형의 범주형 변수입니다.는 범주가 두 개뿐인 특수한 유형의 범주형 변수이며, 두 범주는 흔히 0과 1로 둡니다.

앞서 1.3절의 사례 연구에서 표 1.5를 통해 질적 변수의 여러 예를 살펴보았습니다. 여기에는 범주형 변수 EntityType과 이진 변수 NoClaimCredit 및 Fire5가 포함되었습니다. 또한 AlarmCredit를 범주형 변수로 다루었지만, 일부 분석가는 이를 순서형 변수로 활용하는 방안을 탐구하고자 할 수도 있습니다.

양적 변수

질적 변수와 달리 양적 변수(quantitative variable) 양적 변수란 수치 수준이 어떤 척도에서 실현된 값이어서, 척도상의 임의의 두 수준 사이의 거리가 의미를 갖는 변수의 한 유형입니다.는 각 수치 수준이 어떤 척도에서 실현된 값이어서, 척도상의 임의의 두 수준 사이의 거리가 의미를 갖는 변수입니다. 연속형 변수(continuous variable) 연속형 변수란 유한한 구간 내에서 어떤 값이든 취할 수 있는 양적 변수입니다.는 유한한 구간 내의 어떤 값이든 취할 수 있는 변수입니다. 예를 들어, 보험계약자(policyholder) 보험계약을 실제로 보유하고 있는 사람; 계약 소유자.의 나이, 체중, 소득을 연속형 변수로 나타낼 수 있습니다. 이와 달리 이산형 변수(discrete variable) 이산형 변수란 임의의 유한한 구간 내에서 유한한 개수의 값만을 취하는 양적 변수입니다.는 임의의 유한 구간에서 유한한 개수의 값만 취하는 변수입니다. 예를 들어, 보험계약자의 공제금액(deductibles) 공제액은 계약에 명시된 모수입니다. 일반적으로 공제액 미만의 손실은 보험계약자가 부담하는 반면, 공제액을 초과하는 손실은 보험자가 책임집니다(보험금 한도 및 공동보험 조건에 따름). 선택을 살펴볼 때 가능한 결과가 0, 250, 500, 1000이라는 값뿐일 수 있습니다. 이 값들은 순서형 변수처럼 순서가 있는 서로 다른 범주를 나타냅니다. 그러나 순서형 변수와 달리 수준 간의 수치적 차이가 경제적 의미를 갖습니다. 이산형 변수의 특수한 유형으로 계수형 변수(count variable) 계수형 변수란 음이 아닌 정수 값을 갖는 이산형 변수입니다.가 있으며, 이는 음이 아닌 정수 값을 갖는 변수입니다. 예를 들어, 저희는 주어진 기간 동안 한 보험증권에서 발생하는 청구 건수에 특히 관심을 둘 것입니다. 또 다른 흥미로운 변형으로 구간형 변수(interval variable) 두 값 사이의 차이의 크기가 의미를 갖는다는 추가적인 성질을 지닌 순서형 변수가 있으며, 이는 가능한 결과의 범위를 제공하는 변수입니다.

앞서 1.3절의 사례 연구에서 양적 변수의 여러 예를 접했습니다. 여기에는 공제액(로그 달러 단위), 건물 및 동산 보장 총액(로그 달러 단위), 청구 심도와 청구 빈도가 포함되었습니다.

손실 데이터

이 데이터 분석 입문은 보험계약상의 의무에서 발생하거나 그와 관련된 손실 데이터의 특징에서 출발합니다. 손실 데이터는 고전 통계학의 상당 부분이 발전하는 계기가 된 종 모양의 정규분포에서 발생하는 경우가 드뭅니다. 그 결과, 이 책에서 데이터 분석을 다루는 방식은 다른 데이터 분석 입문서에서 흔히 접하는 방식과 다릅니다.

손실 데이터의 어떤 특징이 특별한 처리를 필요로 합니까?

1.3절의 사례 연구에서 이미 살펴보았듯이, 저희는 계수형 변수의 한 유형인 손실 빈도에 관심을 둘 것입니다.
또한 손실이 발생하면 관심의 대상은 양적 변수인 청구 금액입니다. 이 청구 심도는 극단적으로 큰 결과에 비교적 큰 확률이 부여되도록 왜도가 있고 꼬리가 긴 분포를 사용하여 모형화하는 것이 일반적입니다. 일반적으로 정규분포는 손실 분포로 적합하지 않은 선택입니다.
손실이 실제로 발생하더라도 분석가는 공제액, 상한, 공동보험 모수와 같은 보험계약상의 특성에 의해 수정된 값만 관측하는 경우가 많습니다.
손실 데이터는 흔히 이산형 성분과 연속형 성분의 결합으로 이루어집니다. 예를 들어 보험계약자의 피보험 손실(loss) 개인이나 기업이 입은 피해액으로, 일반적으로 보험 가능한 사건의 결과로 발생합니다.을 분석할 때, 피보험 손실이 없음을 나타내는 0에서의 이산형 결과와 피보험 손실의 금액을 나타내는 양의 결과에 대한 연속형 금액을 접하게 됩니다.

2.3.2 탐색적 분석과 확증적 분석

데이터 분석에는 탐색적 데이터 분석(exploratory data analysis) 시각적 방법, 기술통계, 군집화, 차원 축소를 사용하여 데이터 세트의 주요 특성을 요약하는 데이터 분석 접근법(EDA)과 확증적 데이터 분석(confirmatory data analysis) 가설검정, 유의성 검정, 모형 추정, 예측, 신뢰구간, 추론을 통해 데이터에 대한 가정을 검증하는 과정(CDA)이라는 두 단계가 있습니다. 표 2.3은 EDA와 CDA의 몇 가지 차이점을 요약합니다. EDA는 대개 패턴을 찾고 가설을 수립하는 것을 목표로 관측 데이터에 적용됩니다. 반면 CDA는 모형과 데이터 사이의 불일치가 우연에 의해 발생할 것으로 기대되는 정도를 정량화하는 것을 목표로 실험 데이터(즉, 공식적인 실험 설계를 통해 얻은 데이터)에 적용되는 경우가 많습니다.

표 2.3. 탐색적 데이터 분석과 확증적 데이터 분석의 비교

\[ \small{ \begin{array}{lll} \hline & \textbf{EDA} & \textbf{CDA} \\\hline \text{Data} & \text{Observational data} & \text{Experimental data}\\[3mm] \text{Goal} & \text{Pattern recognition,} & \text{Hypothesis testing,} \\ & \text{formulate hypotheses} & \text{estimation, prediction} \\[3mm] \text{Techniques} & \text{Descriptive statistics,} & \text{Traditional statistical tools of} \\ & \text{visualization, clustering} & \text{inference, significance, and}\\ & & \text{confidence} \\ \hline \end{array} } \]

절 1.3의 사례 연구에서 살펴본 바와 같이, 단일 변수 EDA 기법에는 기술 통계량(예: 평균, 중앙값, 표준편차, 분위수)과 히스토그램 등을 통한 분포의 요약이 포함됩니다. 반면 CDA 기법에는 추론, 유의성, 신뢰라는 전통적인 통계 도구가 포함됩니다.

2.3.3 모형 구축

절 2.1.2에서 배운 바와 같이, 모형은 통계적 모형화 패러다임에 따른 확률적 기반을 가질 수도 있고 단순히 알고리즘의 결과일 수도 있습니다. 모형을 구축할 때에는 모형이 어떻게 모수화되는지 생각하고 모형을 구축하는 목적을 파악하는 것이 도움이 됩니다.

모수적 방법과 비모수적 방법

데이터 분석 모형은 모수적일 수도 있고 비모수적일 수도 있습니다. 모수적 모형은 모수라고 불리는 몇 개의 항을 제외하고는 알려져 있는 표현입니다. 이는 확률 분포의 표현일 수도 있고 단순히 데이터 결과를 예측하는 데 사용되는 알고리즘일 수도 있습니다. 일반적으로 데이터는 모수를 결정하는 데 사용되며, 이러한 방식으로 모형을 보정합니다. 반면 비모수적 방법은 알려진 함수 형태에 대해 그러한 가정을 하지 않습니다. 예를 들어 절 4.4.1에서는 데이터에 대해 분포를 가정하지 않으므로 분포 무관 방법이라고도 불리는 비모수적 방법을 소개할 것입니다.

모수적 모형에서는 함수 형태가 알려져 있으므로, 이 접근법은 데이터의 크기가 비교적 제한적일 때 잘 작동합니다. 이러한 논리는 많은 변수를 동시에 고려하여 이른바 “차원의 저주”가 사실상 표본 크기를 제한하는 상황으로도 확장됩니다. 예를 들어 자동차 손실의 기대 비용을 결정하려는 경우, 운전자의 연령, 성별, 운전 지역, 차량 유형 및 수십 가지의 다른 변수를 고려하게 될 것입니다. 순수한 비모수적 접근법은 실무에서 유용하게 쓰기에는 너무 큰 데이터 세트를 필요로 하므로, 이들 변수 간에 어느 정도의 모수적 관계를 사용하는 접근법이 일반적입니다.

비모수적 방법은 특히 각 변수의 분포를 이해하려는 분석의 탐색 단계에서 매우 유용합니다. 비모수적 방법은 가정을 더 적게 하므로 더 유연하고, 더 로버스트(robust) 이상값이나 모형 가정에서의 작은 이탈에 영향을 덜 받는 통계량하며, 비정량적 데이터에 더 잘 적용될 수 있습니다. 그러나 비모수적 방법의 단점은 관측된 데이터 영역 밖으로 결과를 외삽하기가 더 어렵다는 것이며, 이는 예측 모형화에서 핵심적으로 고려해야 할 사항입니다.

설명과 예측

데이터 분석에는 설명과 예측이라는 두 가지 목표가 있습니다. 경제학, 심리학, 환경과학 등 일부 과학 분야에서는 데이터 분석의 초점이 입력 변수와 반응변수 사이의 인과 관계를 설명하는 데 있습니다. 자연어 처리, 생물정보학, 보험계리학과 같은 다른 과학 분야에서 데이터 분석의 초점은 입력 변수가 주어졌을 때 반응이 어떻게 될지를 예측하는 것입니다.

Shmueli (2010)는 설명적 모델링과 예측적 모델링의 차이를 자세히 논의했습니다. 설명적 모형화(Explanatory modeling) 의미 있고 통계적으로 유의한 관계를 갖는 변수를 식별하고 가설을 검정하는 것을 모형화 목표로 하는 과정는 이론의 구축과 검정에 흔히 사용되며, 일반적으로 다음과 같이 수행됩니다.

지배적인 이론을 기술하십시오.
인과 가설을 기술하십시오. 인과 가설은 측정 가능한 변수가 아니라 이론적 구성 개념의 관점에서 제시됩니다. 이론적 구성 개념들 사이에 가정된 인과관계를 보여 주기 위해 보통 인과 다이어그램을 포함합니다.
구성 개념을 조작화하십시오. 이 단계에서는 선행 문헌과 이론적 근거를 사용하여 이론적 구성 개념과 관찰 가능한 측정값 사이에 다리를 놓습니다.
연구 가설로부터 조작화된 통계적 가설과 함께 데이터를 수집하고 모형을 구축하십시오.
연구 결론을 도출하고 정책을 권고하십시오. 통계적 결론을 연구 결론이나 정책 권고로 전환합니다.

이와 대조적으로, 예측적 모형화(predictive modeling) 새로운 관측값을 예측하는 것을 모형화 목표로 하는 과정는 새로운 관측값이나 미래의 관측값을 예측할 목적으로 통계 모형이나 데이터 마이닝 알고리즘을 데이터에 적용하는 과정입니다. 예측에는 새로운 관측값에 대한 점 예측, 구간 예측, 영역, 분포, 순위가 포함됩니다. 예측 모형은 예측을 산출하는 어떤 방법이든 될 수 있습니다.

2.3.4 모형 선택

가설검정은 여러 분야에서 실행 가능한 모형 선택 접근법 중 하나이지만, 단점도 있습니다. 예를 들어, 귀무가설과 대립가설 사이의 비대칭성이 문제를 일으킵니다. 가설검정은 반대되는 강력한 증거가 없는 한 귀무가설 쪽으로 편향되어 있습니다.

보험 활동을 모형화할 때는 일반적으로 여러 모형의 예측력을 추정하고 예측력이 가장 좋은 모형을 선택하는 것이 바람직합니다. 그 동기는 좋은 모형 선택 방법이 적합도와 간결성 사이의 균형을 이루기를 바라기 때문입니다. 이것이 상충 관계인 이유는, 한편으로는 더 많은 모수를 추가하여 데이터에 더 잘 적합시킬 수 있지만, 그만큼 모형이 더 복잡해지고 덜 간결해지기 때문입니다. 다른 한편으로, 모수가 더 적은 (간결한) 모형은 단순성과 해석 가능성 때문에 매력적입니다. 또한 추정 변동성의 영향을 덜 받으므로 더 정확한 예측을 제공할 수 있습니다@ruppert2003semiparametric.

이러한 균형을 측정하는 한 가지 방법은 아카이케 정보 기준(AIC(AIC) 통계 모형이 관측값 집합에 얼마나 잘 적합하는지를 나타내는 적합도 척도.)과 베이즈 정보 기준(BIC(BIC) 베이즈 정보 기준) 같은 정보 기준을 이용하는 것입니다. 이러한 측도는 각각 모형이 데이터에 얼마나 잘 적합하는지를 요약하는 구성 요소인 적합도(goodness of fit) 통계 모형이 데이터에 얼마나 잘 적합하는지를 평가하는 데 사용하는 척도로, 일반적으로 관측값과 모형하의 기댓값 사이의 차이를 요약하여 나타냅니다. 부분과, 모형의 복잡성에 벌점을 부과하는 구성 요소를 포함합니다.

이 측도들은 단순하다는 점에서 매력적이지만 단점도 있습니다. 특히 두 측도 모두 결과의 기저 분포에 대한 지식(또는 적어도 좋은 추정값)에 의존합니다. 더 강건한 접근법은 데이터 세트를 모형을 보정하는 데 사용할 수 있는 부분인 훈련 부분과, 모형의 예측력을 정량화하는 데 사용하는 또 다른 부분인 검정 부분으로 나누는 것입니다. 이 방법은 어떠한 분포 가정에도 의존하지 않으며 일반적인 모형을 검증하는 데 사용할 수 있다는 의미에서 더 강건합니다.

데이터 분할 접근법은 예측력 평가라는 개념과 직접적으로 부합하고, 일반적이고 복잡한 상황에서도 사용할 수 있으므로 매력적입니다. 그러나 어떤 관측값이 훈련 부분과 테스트 부분에 속하게 되는지에 대한 불확실성이라는 추가적인 무작위성을 도입함으로써 과정에 추가적인 변동성을 가져옵니다. 이 문제를 완화하기 위해 교차 검증이라고 알려진 접근법을 사용하는 것이 일반적입니다. 예를 들어, 데이터셋을 대략 같은 크기의 다섯 개 부분집합으로 무작위로 분할한다고 가정해 봅시다.

\[ \fbox{Train} \ \ \ \fbox{Test} \ \ \ \fbox{Train} \ \ \ \fbox{Train} \ \ \ \fbox{Train} \]

그런 다음 첫 번째, 세 번째, 네 번째, 다섯 번째 부분집합을 바탕으로 모형을 추정하고, 이 적합된 모형을 사용하여 두 번째 부분집합의 결과를 예측한 후, 그 예측을 검정 부분에서 따로 떼어 둔 값과 비교하십시오. 각 부분집합을 차례로 검정 부분으로 선택하고 나머지는 훈련에 사용하는 방식으로 이 과정을 반복한 다음, 비교 결과의 평균을 구하면 교차 검증 통계량이 됩니다. 교차 검증은 보험 활동을 모형화할 때 널리 사용되며, 5장에서 더 자세히 설명합니다.

표 2.1: Silly. Create a table just to update the counter…
x
2

표 2.1: Silly. Create a table just to update the counter…
x
2

표 2.1: Silly. Create a table just to update the counter…
x
2

예제 2.3.1. 과소적합과 과대적합. 수준이 여섯 개인 단일 범주형 변수에 따라 달라질 수 있는 청구 자료가 있다고 가정합시다. 예를 들어, 1.3절 사례 연구에는 여섯 가지 기관 유형이 있습니다. 각 수준이 실제로 서로 다르다면, 고전 통계학에서는 수준별 평균을 사용하여 향후 청구를 예측합니다. 또 다른 방법은 범주형 변수의 정보를 무시하고 전체 평균을 사용하여 예측하는 것입니다. 이를 “커뮤니티 요율(community-rating)” 방식이라고 합니다.

설명을 위해 여섯 개 수준 가운데 두 개는 서로 같고 나머지와는 다르다고 가정합니다. 예를 들어, 표 1.6의 요약 통계량을 보면 학교(Schools) 수준과 기타(Miscellaneous) 수준은 비슷하게 볼 수 있지만, 다른 네 수준보다 더 높은 예측 청구액이 타당하다는 것을 알 수 있습니다. 설명을 위해 이 패턴을 따르는 청구 100건을 생성하였습니다(8장에서 설명할 시뮬레이션 기법을 사용하였습니다).

세 가지 적합된 모형에 대한 결과는 표 2.2에 요약되어 있습니다. 이 모형들은 전체 평균을 사용하는 “커뮤니티 요율(Community Rating)”, 두 개의 평균을 사용하는 “두 수준(Two Levels)”, 범주형 변수의 각 수준마다 평균을 사용하는 “여섯 수준(Six Levels)”입니다. 크기가 100인 데이터 세트를 무작위로 다섯 개의 폴드로 나누었습니다. 각 폴드에 대해 나머지 폴드를 사용하여 모형을 훈련/추정한 다음, 해당 폴드를 사용하여 예측을 평가하였습니다. 표 2.2의 처음 다섯 행은 각 폴드에 대한 평균 제곱근 오차 결과를 보여 줍니다. 여섯 번째 행은 다섯 폴드에 대한 평균을 제시하며, 마지막 행은 또 다른 적합도 통계량인 \(AIC\)에 대해 유사한 결과를 보여 줍니다. 이 방식을 “교차 검증”이라고 하며, 6장과 8장에서 더 자세히 설명합니다.

표 2.2을 보면 모든 경우에 “두 수준” 모형의 평균 제곱근 오차와 \(AIC\)가 가장 낮으므로, 이 모형이 선호되는 모형임을 알 수 있습니다. 과대적합된 여섯 수준 모형이 2위를 차지하였고, 과소적합된 모형인 커뮤니티 요율은 큰 차이로 3위에 그쳤습니다. 이 분석은 적절한 모형을 선택하는 기법을 보여 줍니다. 실제 데이터를 분석할 때와 달리, 이 예시에서는 데이터를 실제로 직접 생성하였기 때문에 결과가 옳다는 것을 알 수 있다는 추가적인 이점을 누렸습니다. 이는 분석가들이 실제 데이터에 분석 절차를 적용하기 전에 그 절차를 개발할 때 흔히 사용하는 방식입니다.

표 2.2: **Under- and Over-Fitting of Models**
	Community Rating	Two Levels	Six Levels
Rmse - Fold 1	1.318	1.192	1.239
Rmse - Fold 2	1.034	0.972	1.023
Rmse - Fold 3	0.816	0.660	0.759
Rmse - Fold 4	0.807	0.796	0.824
Rmse - Fold 5	0.886	0.539	0.671
Rmse - Average	0.972	0.832	0.903
AIC - Average	227.171	206.769	211.333

예제 2.3.1 R 코드 보기

Show Quiz Solution

2.4 다변수 분석

이 절에서는 다음과 같은 관점에서 여러 변수에 기반한 분석을 설명하는 방법을 배웁니다.

지도 학습과 비지도 학습,
선형 회귀, 릿지 회귀, 라쏘 회귀 및 정규화를 포함한 알고리즘 모형의 유형, 그리고
포아송 회귀와 일반화 선형모형을 포함한 데이터 모형의 유형.

2.3절의 단일 변수의 경우와 마찬가지로, 여러 변수가 있을 때에도 분석가는 변수 식별, 데이터 탐색, 모형 구축 및 선택이라는 동일한 구조를 따릅니다. 그러나 여러 변수를 고려하면 잠재적인 응용 분야가 훨씬 더 풍부해집니다. 잠재적인 응용 분야가 많기 때문에, 데이터 분석 기법이 서로 다르지만 중첩되는 분야에서 발전해 온 것은 자연스러운 일입니다. 이러한 분야에는 통계학, 머신러닝, 패턴 인식, 데이터 마이닝이 포함됩니다.

통계학은 데이터를 수집하고 추론을 하는 신뢰할 수 있는 방법을 다루는 분야입니다.
머신러닝(machine learning) 명시적인 지시 없이 패턴과 추론에 의존하여 특정 작업을 수행하는 알고리즘과 통계 모형에 관한 연구이라는 용어는 1959년 Samuel이 처음 만들었습니다(Samuel 1959). 원래 머신러닝은 컴퓨터가 명시적으로 프로그래밍되지 않고도 학습할 수 있는 능력을 갖추는 것을 다루는 연구 분야를 가리켰습니다. 오늘날 머신러닝은 계산적 방법이 경험(즉, 분석에 사용할 수 있는 과거 정보)을 활용하여 성능을 향상시키거나 정확한 예측을 하는 광범위한 연구 분야로 발전했습니다.
공학에서 비롯된 패턴 인식(pattern recognition) 데이터에 있는 패턴과 규칙성의 자동화된 인식은 컴퓨터 과학에서 성장한 머신러닝과 밀접하게 관련된 분야입니다. 실제로 패턴 인식과 머신러닝은 같은 분야의 두 측면으로 간주할 수 있습니다(Bishop 2007).
데이터 마이닝(Data mining) 대규모 데이터 세트를 수집, 정제, 처리, 분석하고 그로부터 패턴과 유용한 통찰을 발견하는 과정 는 데이터를 수집, 정제, 처리, 분석하고 데이터로부터 유용한 통찰을 얻는 일을 다루는 분야입니다(Aggarwal 2015).

2.4.1 지도 학습과 비지도 학습

변수가 여러 개인 경우에도 변수 유형 식별, 데이터 탐색, 모형 선택이라는 핵심 작업은 원칙적으로 2.3절에서 단일 변수에 대해 설명한 것과 비슷합니다. 여러 차원의 데이터를 탐색할 때에는 유사한 관측값을 군집화하거나 차원을 축소하는 것과 같은 추가적인 고려 사항이 생깁니다. 이러한 고려 사항은 이 책의 응용 사례에서는 다루지 않으므로, 기술 부록 2.6.1절에서 간략히 소개하는 데 그칩니다.

단일 변수 모형화와 다변수 모형화를 비교하면 모형을 구성하는 방식이 크게 다릅니다. 변수가 많으면 그중 일부는 시스템의 “입력”으로, 나머지는 “출력”으로 생각해 볼 수 있습니다. 입력 변수와 출력 변수에 기반한 모형은 지도 학습 방법(supervised learning methods) 설명 예측변수를 입력으로 사용하여 반응 목표변수를 예측하는 모형 또는 회귀 방법(regression methods) 반응변수가 연속형, 이진형, 또는 이산형과 연속형의 혼합일 수 있는 고전적 지도학습 방법이라고 합니다. 표 2.5는 여러 유형의 변수를 부르는 일반적인 명칭을 정리한 것입니다(Frees 2009). 목표변수가 범주형 변수인 경우, 지도 학습 방법을 분류 방법(classification methods) 반응변수가 범주형 변수인 지도학습 방법이라고 부릅니다.

표 2.5. 여러 변수의 일반적인 명칭

\[ \small{ \begin{array}{ll} \hline \textbf{Target Variable} & \textbf{Explanatory Variable}\\\hline \text{Dependent variable} & \text{Independent variable}\\ \text{Response} & \text{Treatment} \\ \text{Output} & \text{Input} \\ \text{Endogenous variable} & \text{Exogenous variable} \\ \text{Predicted variable} & \text{Predictor variable} \\ \text{Regressand} & \text{Regressor} \\ \hline \end{array} } \]

데이터 분석 방법은 지도 학습 방법과 비지도 학습 방법의 두 가지 유형으로 나눌 수 있습니다(Abbott 2014; James et al. 2013). 비지도 학습 방법(Unsupervised learning methods) 설명변수만을 사용하여 패턴이나 그룹을 기술하는 모형은 데이터를 모두 동일하게 취급하고 “입력”과 “출력” 사이에 인위적인 구분을 두지 않는 경우에 사용합니다. 따라서 비지도 학습 방법은 분석의 탐색 단계에서 특히 유용합니다.

2.4.2 알고리즘 모델링

초기의 데이터 분석은 1750년대에 Boscovich가 천문 관측값을 사용하여 태양 주위를 도는 천체의 궤도 운동을 추적한 데서 시작되었으며, 1800년대 초에 Legendre와 Gauss에 의해 이어졌습니다(뒤의 두 사람은 최소제곱법의 개발과 관련하여 이 작업을 수행했습니다). 이 작업은 확률변수의 분포를 고려하지 않고 (최소제곱법과 같은) 알고리즘적 적합 방법을 사용하여 이루어졌습니다.

알고리즘적 적합의 바탕이 되는 아이디어는 쉽게 이해할 수 있습니다. 한 변수 \(Y\)를 목표변수로 정합니다. 다른 변수 \(X_1, X_2, \ldots, X_p\)는 목표 \(Y\)를 이해하거나 설명하는 데 사용합니다. 목표는 \(f(X_1, X_2, \ldots, X_k)\)가 \(Y\)의 유용한 예측값이 되도록 적절한 함수 \(f(\cdot)\)를 결정하는 것입니다.

선형회귀. 예를 들어, 고전적인 선형회귀 상황을 생각해 봅시다. 이 경우 목표변수와 설명변수에 대한 \(n\)개의 관측값이 있으며, \(i\)번째 관측값을 \((x_{i1}, \ldots, x_{ik}, y_i) =\) \(({\bf x}_i, y_i)\)로 나타냅니다. 각 \(i\)에 대해 \(f({\bf x}_i)\)가 \(y_i\)의 합리적인 근사가 되도록 하나의 함수 \(f\)를 결정하고자 합니다. 선형회귀에서는 고려 대상을 \[ f(x_{i1}, \ldots, x_{ik}) = \beta_1 x_{i1} + \cdots + \beta_k x_{ik} = {\bf x}_i^{\prime} \boldsymbol \beta. \] 형태의 함수로 제한합니다. 여기서 \(\boldsymbol \beta = (\beta_1, \ldots, \beta_k)'\)은 회귀계수의 벡터입니다. 이 함수는 설명변수에 대해 선형이며, 이로부터 선형회귀(linear regression) 선형 함수를 사용하여 목표변수와 설명변수 사이의 관계를 근사하는 지도 모형이라는 이름이 붙었습니다.

보통최소제곱(OLS) 추정값은 다음 최소화 문제의 해입니다. \[ \begin{array}{cc} {\small \text{minimize}}_{\boldsymbol \beta} & \frac{1}{n} \sum_{i=1}^n (y_i - {\bf x}_i^{\prime} \boldsymbol \beta)^2 .\\ \end{array} \tag{2.1} \] OLS 추정값이 역사적으로 두드러진 이유 중 하나는 계산과 해석이 쉽다는 점입니다. 물론 \((y_i - {\bf x}_i^{\prime} \boldsymbol \beta)^2\)와 같은 차이의 제곱만이 목표 \(y_i\)와 추정값 \({\bf x}_i^{\prime} \boldsymbol \beta\) 사이의 편차를 측정하는 유일한 방법은 아닙니다. 일반적으로 분석가들은 이 편차를 측정하는 데 손실 함수 \(l(y_i, {\bf x}_i^{\prime} \boldsymbol \beta)\)라는 용어를 사용하며, 그 대안으로 절대 편차를 사용하는 경우도 드물지 않습니다.

알고리즘 모델링 문화. 2.1.2절에서 소개한 바와 같이, 특히 음성, 이미지, 필기 인식과 같은 복잡한 문제에서 알고리즘적 적합을 강조하는 문화가 광범위한 공동체 전반에 걸쳐 형성되었습니다. 2.3.3절에서 언급한 바와 같이, 알고리즘적 방법은 예측이 목표일 때 특히 유용합니다. 이러한 알고리즘 중 상당수는 선형회귀와 유사한 접근법을 취합니다. 예를 들어, 널리 사용되는 다른 알고리즘적 적합 방법으로는 릿지 회귀와 라쏘 회귀, 그리고 정규화 방법이 있습니다.

릿지 회귀. OLS의 한 가지 한계는 특히 회귀계수의 개수 \(k\)가 커질 때 과적합되는 경향이 있다는 것입니다. 실제로 \(k=n\)이면 목표값 \(y_i\)와 예측 함수가 정확히 일치하게 됩니다. Hoerl and Kennard (1970)가 1970년에 도입한 수정 방법은 릿지 회귀로 알려져 있는데, 이 방법에서는 식 (2.1)에서와 같이 회귀계수 \(\boldsymbol \beta\)를 구하되 \(\sum_{j=1}^p |\beta_j |^2 \le c_{ridge}\)라는 제약 조건을 둡니다. 여기서 \(c_{ridge}\)는 적절하게 선택한 상수입니다. 당연히 \(c_{ridge}\)가 매우 크면 제약 조건은 아무런 효과가 없으며, 릿지 추정값은 OLS 해와 같아집니다. 그러나 \(c_{ridge}\)가 작아질수록 회귀계수의 크기가 줄어듭니다. 이러한 의미에서 릿지 회귀 추정량은 “0을 향해 축소된다”고 말합니다.

계수의 크기에 제약 조건을 추가하면 OLS와 비교하여 더 작고 더 안정적인 계수를 얻을 수 있습니다. 따라서 릿지 회귀는 예측변수의 개수가 관측값의 개수에 비해 매우 큰 고차원 데이터셋을 다룰 때 특히 유용합니다. 보험계리 응용에서는 모형화하려는 위험이 겨우 수천 건에 불과한 포트폴리오를 다룰 수도 있습니다. 릿지 회귀를 사용하면 수백만 개의 변수를 잠재적 입력으로 활용하여 예측 모형을 개발할 수 있습니다.

라쏘 회귀. 릿지 회귀와 마찬가지로, 식 (2.1)에서와 같이 회귀계수 \(\boldsymbol \beta\)를 구하되 \(\sum_{j=1}^p |\beta_j | \le c_{lasso}\)라는 제약 조건을 둘 수 있습니다. 여기서 \(c_{lasso}\)는 적절하게 선택한 상수입니다. 이 절차는 라쏘 회귀로 알려져 있습니다. 여기서는 제약 함수에 절댓값을 사용합니다(손실 함수에는 여전히 오차 제곱을 사용합니다).

라쏘는 릿지 회귀의 중요한 한계를 극복합니다. 릿지 회귀에서는 상수 \(c_{ridge}\)의 크기를 줄여 회귀계수를 작아지게 할 수는 있지만, 회귀계수가 0이 된다는 보장은 없습니다. 이와 대조적으로, 라쏘는 사소한 회귀계수가 0이 되도록 보장합니다. 선형회귀 근사에서 회귀계수가 0이라는 것은 해당 변수가 함수 근사에서 빠진다는 뜻이며, 따라서 모형의 복잡도가 줄어듭니다.

정규화. 릿지 회귀와 라쏘 회귀는 모두 제약이 있는 최소화 문제입니다. 이들이 \[ {\small \text{minimize}}_{\boldsymbol \beta} \left( \frac{1}{n} \sum_{i=1}^n (y_i - {\bf x}_i^{\prime} \boldsymbol \beta)^2 + LM \sum_{j=1}^p |\beta_j |^s \right) , \] 로 쓰일 수 있음을 보이는 것은 그리 어렵지 않습니다. 여기서 \(s=2\)는 릿지 회귀에, \(s=1\)는 라쏘 회귀에 해당합니다. 최소화 연산 안의 첫 번째 부분은 적합도로, 두 번째 부분은 회귀계수의 크기에 대한 벌점으로 해석할 수 있습니다. 앞서 논의한 바와 같이, 계수를 줄이는 것은 모델링 복잡도를 줄이는 것을 의미할 수 있습니다. 이러한 의미에서 이 식은 모수 \(LM\)에 의해 조절되는 적합도와 모형 복잡도 사이의 균형을 보여 줍니다(이 경우 제약이 있는 최적화 문제이므로 이 모수는 라그랑주 승수입니다). \(LM=0\)를 선택하면 적합도에 초점을 맞추는 OLS 추정량으로 귀결됩니다. \(LM\)가 커질수록 초점은 데이터(따라서 적합도)에서 멀어집니다. 이는 데이터 분석에서 정규화 방법의 한 예로, 예측에 사용하는 함수의 평활성에 대한 사전 믿음을 표현하는 것입니다.

2.4.3 데이터 모델링

알고리즘적 기법의 개발 동기를 부여하는 한 가지 방법은 2.1.2절에서 소개한 데이터 모형을 사용하는 것입니다. 여기서는 이를 “확률” 또는 “가능도” 기반 모형으로 생각할 수도 있습니다. 주된 목표가 대개 설명변수의 관점에서 목표변수(\(Y\))의 분포를 이해하는 것이기 때문입니다. 따라서 데이터 모형은 앞서 2.3.3절에서 논의한 설명이라는 목표에 특히 유용합니다.

데이터 모형은 20세기 초 R.A. Fisher와 E.P. George Box(그 밖에도 매우 많은 연구자들)의 연구를 통해 처음 개발되었으며, 이들의 연구는 결과의 수가 적고 설명(통제)변수의 수는 그보다도 더 적은 실험의 결과로서의 데이터에 초점을 맞추었습니다.

선형회귀. OLS 추정치를 사용하는 (알고리즘적) 선형회귀는 다음과 같이 확률적 틀을 사용하여 동기를 부여할 수 있습니다. 목표변수 \(y_i\)이 알려지지 않은 분산과 설명변수들의 선형결합인 \({\bf x}_i^{\prime} \boldsymbol \beta\)와 같은 평균을 갖는 정규분포를 따른다고 생각할 수 있습니다. 관측값들이 서로 독립이라고 가정하면, 최대가능도 추정값이 식 (2.1)에서 구한 OLS 추정값과 같음을 보일 수 있습니다.

최대가능도 추정은 이 책에서 광범위하게 사용되며, 18장 부록 C에서 간략한 개요를 확인할 수 있습니다. 선형회귀의 경우 OLS와 최대가능도에 대한 추가적인 배경 지식은, 예를 들어 Frees (2009)를 참고하십시오.

포아송 회귀. 목표변수 \(Y\)이 (보험 손실 건수와 같은) 개수를 나타내는 경우, 잠재적 결과의 가능도를 표현하기 위해 포아송 분포를 사용하는 것이 일반적입니다. 포아송 분포는 평균이라는 단 하나의 모수만을 가지며, 설명변수를 사용할 수 있다면 평균이 \(\exp\left({\bf x}_i^{\prime} \boldsymbol \beta\right)\)와 같다고 둘 수 있습니다. 지수(\(\exp(\cdot)\)) 함수를 사용하는 한 가지 이유는 추정된 평균이 음수가 되지 않도록 보장한다는 점입니다(이는 포아송 분포의 필요조건입니다). 회귀계수를 추정하기 위해 최대가능도를 사용하는 경우, 이를 포아송 회귀라고 합니다.

일반화선형모형. 일반화선형모형(generalized linear model) 선형 성분이 연결 함수를 통해 반응변수와 관련되도록 하고 각 측정값의 분산이 그 예측값의 함수가 되도록 허용함으로써 선형회귀를 일반화한 지도 모형(GLM)은 선형 회귀 모형과 포아송 회귀모형을 특수한 경우로 포함하는 폭넓은 회귀 모형 족입니다. GLM에서는 목표변수의 평균이 설명변수들의 선형결합의 함수라고 가정합니다. 포아송 회귀에서와 마찬가지로, 일부 모수가 변할 수 있도록 허용하여 평균이 관측값마다 달라질 수 있지만, 회귀 모수 \(\boldsymbol{\beta}\)는 상수로 가정합니다.

GLM에서는 목표변수가 정규분포, 포아송 분포, 베르누이 분포, 와이블 분포 등을 포함하는 분포들의 모임인 선형 지수족에 속하는 분포를 따른다고 가정합니다. 따라서 GLM은 선형회귀와 포아송 회귀를 포함하는 더 넓은 범주를 구성하는 한 가지 방법입니다. 베르누이 분포를 사용하면 0-1 목표변수도 포함하게 되며, 이것이 바로 로지스틱 회귀로 알려진 것입니다. 따라서 GLM은 이산형 변수와 연속형 변수를 포함한 다양한 유형의 목표변수를 다룰 수 있는 통합된 틀을 제공합니다. 파레토 분포와 같이 선형 지수족에 속하지 않는 다른 분포로 확장하는 것도 가능합니다. 그러나 GLM은 그 형태 덕분에 (반복 재가중 최소제곱법이라고 알려진 방법을 통해) 추정량을 효율적으로 계산할 수 있기 때문에 역사적으로 유용하다고 여겨져 왔습니다. GLM에 대한 자세한 내용은 De Jong and Heller (2008)와 Frees (2009)를 참고하십시오.

Show Quiz Solution

2.5 데이터

이 절에서는 다음과 같은 측면에서 데이터 고려 사항을 기술하는 방법을 배웁니다.

데이터 유형,
데이터 구조와 저장,
데이터 정제,
빅데이터 문제,
윤리적 문제.

데이터는 “데이터 분석”의 근간을 이룹니다. 유용한 정보를 담은 데이터가 없다면, 아무리 정교한 분석 기법이라도 좋은 의사결정을 내리는 데 유용한 지침을 제공할 수 없습니다.

이 장의 앞 절들에서는 이 책의 나머지 부분에 필요한 데이터 관련 고려 사항의 기초를 제공합니다. 그러나 데이터 분석을 전문적으로 공부하고자 하는 독자에게는 다음 소절들이 심화 학습을 위한 유용한 출발점이 될 것입니다.

2.5.1 데이터 유형

데이터가 수집되는 방식에 따라 데이터는 1차 데이터와 2차 데이터의 두 가지 유형(Hox and Boeije 2005)으로 나눌 수 있습니다. 1차 데이터는 특정 연구 문제를 위해 수집된 원래의 데이터입니다. 2차 데이터는 원래 다른 목적으로 수집되었다가 또 다른 연구 문제에 재사용되는 데이터입니다. 1차 데이터를 사용하는 주요 장점은 이론적 구성 개념, 연구 설계, 데이터 수집 전략을 근본적인 연구 질문에 맞게 조정하여 수집된 데이터가 문제 해결에 도움이 되도록 할 수 있다는 점입니다. 1차 데이터를 사용하는 단점은 데이터 수집에 비용과 시간이 많이 들 수 있다는 점입니다. 2차 데이터를 사용하면 비용이 더 적게 들고 관련 정보에 더 빠르게 접근할 수 있다는 장점이 있습니다. 그러나 2차 데이터를 사용하는 것은 고려 중인 연구 질문에 최적이 아닐 수 있습니다.

조직화 정도에 따라 데이터는 정형 데이터와 비정형 데이터의 두 가지 유형으로도 나눌 수 있습니다. 정형 데이터(Structured data) 저장소 형식, 일반적으로 데이터베이스로 구성할 수 있는 데이터는 예측 가능하고 규칙적으로 나타나는 형식을 가집니다. 반면에 비정형 데이터(unstructured data) 미리 정의된 형식을 따르지 않는 데이터로, 대표적으로 텍스트와 시청각 데이터가 있음는 규칙적으로 나타나는 형식이 전혀 없으며 컴퓨터가 인식할 수 있는 구조가 없습니다. 정형 데이터는 레코드, 속성, 키, 인덱스로 구성되며 일반적으로 IBM DB2, Oracle, MySQL, Microsoft SQL Server와 같은 데이터베이스 관리 시스템에 의해 관리됩니다. 그 결과 대부분의 정형 데이터 단위는 빠르고 쉽게 찾을 수 있습니다. 비정형 데이터는 매우 다양한 형태와 변형을 가집니다. 비정형 데이터의 흔한 형태 중 하나는 텍스트입니다. 비정형 데이터에 접근하는 것은 번거로울 수 있습니다. 예를 들어 긴 텍스트에서 주어진 데이터 단위를 찾으려면 대개 순차 탐색을 수행합니다.

2.5.2 데이터 구조와 저장

앞 소절에서 언급했듯이 데이터에는 정형 데이터와 비정형 데이터가 있습니다. 정형 데이터는 고도로 조직화된 데이터이며 대개 다음과 같은 표 형식을 가집니다.

\[ \begin{matrix} \begin{array}{lllll} \hline & V_1 & V_2 & \cdots & V_d \ \\\hline \textbf{x}_1 & x_{11} & x_{12} & \cdots & x_{1d} \\ \textbf{x}_2 & x_{21} & x_{22} & \cdots & x_{2d} \\ \vdots & \vdots & \vdots & \cdots & \vdots \\ \textbf{x}_n & x_{n1} & x_{n2} & \cdots & x_{nd} \\ \hline \end{array} \end{matrix} \]

다시 말해 정형 데이터는 행과 열로 구성된 표로 조직할 수 있습니다. 일반적으로 각 행은 하나의 레코드를, 각 열은 하나의 속성을 나타냅니다. 하나의 표는 Microsoft SQL Server와 같은 관계형 데이터베이스에 저장할 수 있는 여러 개의 표로 분해할 수 있습니다. SQL(Structured Query Language, 구조화 질의 언어)을 사용하면 데이터에 쉽고 효율적으로 접근하고 데이터를 수정할 수 있습니다.

비정형 데이터는 규칙적인 형식을 따르지 않습니다. 비정형 데이터의 예로는 문서, 동영상, 오디오 파일 등이 있습니다. 우리가 접하는 데이터의 대부분은 비정형 데이터입니다. 실제로 “빅데이터”라는 용어는 이러한 사실을 반영하기 위해 만들어졌습니다. 전통적인 관계형 데이터베이스는 오늘날 방대한 비정형 데이터가 가져온 다양성과 규모의 문제에 대응할 수 없습니다. 방대한 비정형 데이터를 저장하는 데에는 NoSQL 데이터베이스가 사용되어 왔습니다.

주요 NoSQL 데이터베이스에는 키-값 데이터베이스, 열 지향 데이터베이스, 문서 지향 데이터베이스의 세 가지가 있습니다(Chen et al. 2014). 키-값 데이터베이스(Key-value databases) 고유 키 해시를 사용하여 레코드를 저장하고 찾는 데이터 저장 방식는 단순한 데이터 모형을 사용하며 키 값에 따라 데이터를 저장합니다. 현대의 키-값 데이터베이스는 관계형 데이터베이스보다 확장성이 높고 질의 응답 시간이 짧습니다. 키-값 데이터베이스의 예로는 Amazon이 사용하는 Dynamo와 LinkedIn이 사용하는 Voldemort가 있습니다. 열 지향 데이터베이스(Column-oriented databases) 레코드를 행 단위가 아닌 열 단위로 저장하는 데이터 저장 방식는 행이 아닌 열을 기준으로 데이터를 저장하고 처리합니다. 확장성을 확보하기 위해 열과 행은 여러 노드에 분할됩니다. 열 지향 데이터베이스의 예로는 Google이 개발한 BigTable과 FaceBook이 개발한 Cassandra가 있습니다. 문서 데이터베이스(Document databases) 검색과 조회에 문서 메타데이터를 사용하는 데이터 저장 방식으로, 반정형 데이터라고도 함는 키-값 데이터베이스에 저장되는 것보다 더 복잡한 데이터 형태를 지원하도록 설계되었습니다. 문서 데이터베이스의 예로는 MongoDB, SimpleDB, CouchDB가 있습니다. MongoDB는 문서를 이진 객체로 저장하는 오픈 소스 문서 지향 데이터베이스입니다. SimpleDB는 Amazon이 사용하는 분산 NoSQL 데이터베이스입니다. CouchDB는 또 다른 오픈 소스 문서 지향 데이터베이스입니다.

2.5.3 데이터 정제

원시 데이터는 유용한 분석을 수행하기 전에 대개 정제가 필요합니다. 특히 분석을 위해 데이터를 준비할 때는 다음 영역에 주의를 기울여야 합니다(Janert 2010):

결측값. 원시 데이터에 결측값이 있는 것은 흔한 일입니다. 상황에 따라 해당 레코드를 버리거나, 해당 변수를 버리거나, 결측값을 대체할 수 있습니다.
이상값. 원자료에는 이상값과 같은 특이한 데이터 점이 포함될 수 있습니다. 이상값은 신중하게 다루어야 합니다. 이상값이 존재하는 이유를 알지 못한 채 단순히 이상값을 제거해서는 안 됩니다. 이상값은 때로 사무적 오류로 인한 것과 같은 단순한 실수일 수도 있지만, 때로는 그 특이한 양상이 바로 우리가 찾고 있는 유형의 효과를 가리킬 수도 있습니다.
쓰레기 데이터. 원시 데이터에는 인쇄할 수 없는 문자와 같은 쓰레기 데이터, 즉 정크가 포함될 수 있습니다. 이런 경우 쓰레기 데이터는 대개 드물고 쉽게 눈에 띄지 않습니다. 그러나 쓰레기 데이터는 후속 응용 프로그램에서 심각한 문제를 일으킬 수 있습니다.
형식. 원시 데이터는 이후의 분석에 불편한 방식으로 형식이 지정되어 있을 수 있습니다. 예를 들어, 텍스트 파일에서 한 레코드의 구성 요소가 여러 줄로 나뉘어 있을 수 있습니다. 이러한 경우에는 R과 같은 데이터 분석 소프트웨어로 불러오기 전에 하나의 레코드에 해당하는 줄들을 병합해야 합니다.
중복 레코드. 원시 데이터에는 중복 레코드가 포함될 수 있습니다. 중복 레코드는 식별하여 제거해야 합니다. 무엇을 “중복”으로 간주하느냐에 따라 이 작업은 간단하지 않을 수 있습니다.
데이터셋 병합. 원시 데이터는 서로 다른 출처에서 올 수 있습니다. 이러한 경우에는 호환성을 보장하기 위해 서로 다른 출처의 데이터를 병합해야 합니다.

R에서 데이터를 다루는 방법에 관한 자세한 내용은 Forte (2015)와 Buttrey and Whitaker (2017)를 참고하십시오.

2.5.4 빅데이터 분석

전통적인 데이터 분석과 달리, 빅데이터 분석은 방대한 데이터에서 정보를 신속하게 추출할 수 있는 추가적인 방법과 도구를 사용합니다. 특히 빅데이터 분석은 다음과 같은 처리 방법을 사용합니다(Chen et al. 2014):

블룸 필터(bloom filter)는 어떤 원소가 집합에 속하는지 판별하는 데 사용되는, 공간 효율적인 확률적 자료 구조입니다. 블룸 필터는 공간 효율이 높고 질의 속도가 빠르다는 장점이 있습니다. 블룸 필터 사용의 단점은 일정한 비인식률이 존재한다는 것입니다.
해싱(hashing)은 해시 함수를 통해 데이터를 고정 길이의 수치로 변환하는 방법입니다. 해싱은 읽기와 쓰기가 빠르다는 장점이 있습니다. 그러나 좋은 해시 함수를 찾기는 어렵습니다.
인덱싱(indexing)은 읽기 속도를 높이기 위해 데이터를 분할하는 과정을 말합니다. 해싱은 인덱싱의 특수한 경우입니다.
디지털 트리(digital tree)라고도 불리는 트라이(trie)는 문자열의 공통 접두사를 이용하여 문자열 간 비교를 줄임으로써 질의 효율을 높이는 방법입니다.
병렬 컴퓨팅(parallel computing)은 여러 컴퓨팅 자원을 사용하여 하나의 계산 작업을 완료합니다. 병렬 컴퓨팅 도구로는 MPI(Message Passing Interface), MapReduce, Dryad 등이 있습니다.

빅데이터 분석은 다음과 같은 수준에서 수행될 수 있습니다(Chen et al. 2014): 메모리 수준, 비즈니스 인텔리전스(BI) 수준, 대규모 수준. 메모리 수준 분석은 데이터를 컴퓨터 클러스터의 메모리에 적재할 수 있을 때 수행됩니다. 현재의 하드웨어는 수백 기가바이트(GB)의 데이터를 메모리에서 처리할 수 있습니다. BI 수준 분석은 데이터가 메모리 수준을 넘어설 때 수행될 수 있습니다. BI 수준 분석 제품이 테라바이트(TB) 이상의 데이터를 지원하는 것은 흔한 일입니다. 대규모 수준 분석은 데이터가 BI 수준 분석 제품의 처리 능력을 넘어설 때 수행됩니다. 대규모 수준 분석에는 보통 Hadoop과 MapReduce가 사용됩니다.

2.5.5 윤리적 문제

분석가는 데이터 분석 과정에서 윤리적 문제와 딜레마에 직면할 수 있습니다. 일부 분야에서 윤리적 문제와 딜레마에는 참여자 동의, 이익, 위험, 기밀 유지, 데이터 소유권(data ownership) 전사적 데이터의 법적 소유권을 상세히 규정하고, 데이터를 생성, 편집, 수정, 공유하고 데이터 접근을 제한할 수 있는 권한이 누구에게 있는지를 명시하는 거버넌스 절차 등이 포함됩니다(Miles, Hberman, and Sdana 2014). 예를 들어 프라이버시와 기밀 유지와 관련하여 다음과 같은 질문에 직면할 수 있습니다: 정보가 기밀로 유지되도록 어떻게 보장할 것입니까? 원시 데이터와 분석 결과가 어디에 저장되는지 어떻게 확인할 것입니까? 그것들에 어떻게 접근할 것입니까? 이러한 질문들은 명시적인 기밀 유지 협약에서 다루어지고 문서화되어야 합니다.

보험 부문에서는 차별, 프라이버시, 기밀 유지가 주요 관심사입니다. 보험에서의 차별 문제는 특히 까다롭습니다. 보험 산업 전체가 위험 분담을 목적으로 피보험자를 동질적인 범주로 “차별”, 즉 분류하는 데 기반을 두고 있기 때문입니다. 보험회사가 사용하는 많은 변수는 겉보기에 무해하지만(예: 자동차 보험에서의 시각장애), 다른 변수들은 “부당하다”(예: 종교), “불공정하다”(예: 건강보험에서의 암 발병), “민감하다”(예: 혼인 여부), 또는 “불가해하다”(예: 인공지능이 생성한 변수)고 여겨질 수 있습니다. 규제 당국과 정책 입안자는 어떤 변수를 분류에 사용하는 것이 허용되지 않는지를 결정합니다. 서로 다른 태도에 좌우된다는 점이 한 원인이 되어, 관할 지역마다 관점이 크게 다를 수 있습니다. 예를 들어, 자동차 보험의 성별 기반 요율 산정은 미국에서 소수의 주(하와이, 매사추세츠, 몬태나, 노스캐롤라이나, 펜실베이니아, 그리고 2019년부터 캘리포니아)를 제외한 모든 주에서 허용되지만, 유럽연합에서는 허용되지 않습니다. 또한 자동차보험과 주택소유자보험 같은 개인 보험 종목에서는 빅데이터의 활용 가능성이 대리 차별과 관련된 문제로 이어질 수도 있습니다. 대리 차별은 인종이나 성별 같은 금지된 특성 대신 대체물, 즉 대리 변수가 사용될 때 발생합니다. 예를 들어 Frees and Huang (2021)를 참조하십시오.

Show Quiz Solution

2.6 추가 자료 및 기여자

기여자

코네티컷 대학교의 Guojun Gan은 이 장 초판의 주 저자입니다.
- 이 장의 검토자는 Runhuan Feng, Himchan Jeong, Lei Hua, Min Ji, Toby White입니다.
위스콘신 대학교 매디슨 캠퍼스와 호주 국립대학교의 Hirokazu (Iwahiro) Iwasawa와 Edward (Jed) Frees는 이 장 제2판의 저자입니다. 이 장에 대한 의견과 개선 제안은 iwahiro@bb.mbn.or.jp 또는 jfrees@bus.wisc.edu로 이메일을 보내 주십시오.

추가 읽을거리 및 참고문헌

Stigler (1986)는 Boscovich, Legendre, Gauss의 초기 기여에 대한 결정적인 설명을 제공합니다.
Breiman (2001)는 데이터 모델링 문화와 알고리즘 모델링 문화를 비교합니다.
Good (1983)는 데이터 분석의 두 단계인 탐색적 데이터 분석(EDA)과 확증적 데이터 분석(CDA)을 비교합니다
데이터 분석의 두 가지 목표인 설명과 예측에 대한 더 많은 논의는 예를 들어 Breiman (2001)와 Shmueli (2010)를 참조하십시오.
정형 데이터와 비정형 데이터의 비교는 Inmon and Linstedt (2014), O’Leary (2013), Hashem et al. (2015), Abdullah and Ahmad (2013), Pries and Dunnigan (2015) 등에서 찾아볼 수 있습니다.

2.6.1 기술 부록: 다변량 탐색적 분석

주성분 분석

주성분 분석(Principal component analysis) 직교 변환을 사용하여 상관관계가 있을 수 있는 변수 집합을 선형적으로 상관관계가 없는 변수 집합으로 변환하는 차원 축소 기법 (PCA)는 상관되어 있을 수 있는 변수들로 기술된 데이터셋을 선형적으로 상관되지 않은 변수들로 기술된 데이터셋으로 변환하는 통계적 절차이며, 이 변수들을 주성분이라 부르고 분산의 크기에 따라 순서를 매깁니다. PCA는 차원 축소를 위한 기법입니다. 원래 변수들 사이의 상관이 높다면, 처음 몇 개의 주성분만으로 원래 데이터 변동의 대부분을 설명할 수 있습니다.

변수들의 주성분은 그 변수들의 공분산 행렬의 고유값 및 고유벡터와 관련이 있습니다. \(i=1,2,\ldots,d\)에 대해, \((\lambda_i, \textbf{e}_i)\)을 \(d\) 변수 \(X_1,X_2,\ldots,X_d\)의 공분산 행렬 \({\Sigma}\)의 \(i\)번째 고유값-고유벡터 쌍이라고 하고, \(\lambda_1\ge \lambda_2\ge \ldots\ge \lambda_d\ge 0\)이며 고유벡터는 정규화되어 있다고 합시다. 그러면 \(i\)번째 주성분은 \[ Z_{i} = \textbf{e}_i' \textbf{X} =\sum_{j=1}^d e_{ij} X_j, \] 로 주어지며, 여기서 \(\textbf{X}=(X_1,X_2,\ldots,X_d)'\)입니다. \(\mathrm{Var~}{(Z_i)} = \lambda_i\)임을 보일 수 있습니다. 결과적으로 \(i\)번째 주성분이 설명하는 분산의 비율은 \[ \frac{\mathrm{Var~}{(Z_i)}}{ \sum_{j=1}^{d} \mathrm{Var~}{(Z_j)}} = \frac{\lambda_i}{\lambda_1+\lambda_2+\cdots+\lambda_d}. \] 로 계산됩니다. PCA에 대한 자세한 내용은 Mirkin (2011)를 참조하십시오.

군집 분석

군집 분석(Cluster analysis) 유사성 척도를 사용하여 데이터를 동질적인 그룹으로 나누는 것을 목표로 하는 비지도 학습 방법 (데이터 군집화라고도 함)은 데이터셋을 동질적인 그룹, 즉 군집으로 나누어 같은 군집에 속한 점들은 서로 유사하고 서로 다른 군집에 속한 점들은 뚜렷이 구별되도록 하는 과정을 말합니다 (Gan, Ma, and Wu 2007; Gan 2011). 데이터 군집화는 탐색적 데이터 분석에서 가장 널리 쓰이는 도구 중 하나이며, 여러 과학 분야에서 활용되고 있습니다.

지난 수십 년 동안 많은 군집화 알고리즘이 제안되었습니다. 이러한 군집화 알고리즘 가운데 \(k\)-평균 알고리즘은 단순하기 때문에 아마도 가장 잘 알려진 알고리즘일 것입니다. k-평균 알고리즘(k-means algorithm) 관측값을 가장 가까운 중심점(centroid)을 가진 군집에 할당함으로써 데이터를 상호 배타적인 k개의 군집으로 분할하는 것을 목표로 하는 군집화의 한 유형을 설명하기 위해, \(X=\{\textbf{x}_1,\textbf{x}_2,\ldots,\textbf{x}_n\}\)를 \(n\)개의 점을 포함하는 데이터셋이라 하고, 각 점은 \(d\)개의 수치형 특성으로 기술된다고 합시다. 원하는 군집 수 \(k\)가 주어지면, \(k\)-평균 알고리즘은 다음 목적함수를 최소화하는 것을 목표로 합니다: \[ P(U,Z) = \sum_{l=1}^k\sum_{i=1}^n u_{il} \Vert \textbf{x}_i-\textbf{z}_l\Vert^2, \] 여기서 \(U=(u_{il})_{n\times k}\)는 \(n\times k\) 분할 행렬이고, \(Z=\{\textbf{z}_1,\textbf{z}_2,\ldots,\textbf{z}_k\}\)는 군집 중심의 집합이며, \(\Vert\cdot\Vert\)는 \(L^2\) 노름, 즉 유클리드 거리입니다. 분할 행렬 \(U\)는 다음 조건을 만족합니다: \[ u_{il}\in \{0,1\},\quad i=1,2,\ldots,n,\:l=1,2,\ldots,k, \] \[ \sum_{l=1}^k u_{il}=1,\quad i=1,2,\ldots,n. \] \(k\)-평균 알고리즘은 목적함수를 최소화하기 위해 반복 절차를 사용합니다. 이 알고리즘은 어떤 종료 기준이 충족될 때까지 분할 행렬 \(U\)와 군집 중심 \(Z\)를 번갈아 반복적으로 갱신합니다. \(k\)-평균에 대한 더 자세한 내용은 Gan, Ma, and Wu (2007) 및 Mirkin (2011)을 참고하십시오.

2.6.2 트리 기반 모형

의사결정나무(Decision trees) 나무 형태의 의사결정 모형을 사용하여 표본 공간을 서로 겹치지 않는 영역으로 나누어 예측을 수행하는 모형화 기법(트리 기반 모형이라고도 함)는 예측변수 공간(즉, 독립변수가 이루는 공간)을 여러 개의 단순한 영역으로 나누고, 해당 영역의 평균이나 최빈값을 예측에 사용합니다 (Breiman et al. 1984). 트리 기반 모형에는 분류 트리와 회귀 트리의 두 가지 유형이 있습니다. 종속변수가 범주형이면 그 결과로 얻는 트리 모형을 분류 트리라고 합니다. 종속변수가 연속형이면 그 결과로 얻는 트리 모형을 회귀 트리라고 합니다.

분류 트리를 구축하는 과정은 회귀 트리를 구축하는 과정과 비슷합니다. 여기서는 회귀 트리를 구축하는 방법만 간략히 설명합니다. 이를 위해 예측변수 공간을 서로 겹치지 않는 영역들로 나누어 다음 목적함수 \[ f(R_1,R_2,\ldots,R_J) = \sum_{j=1}^J \sum_{i=1}^n I_{R_j}(\textbf{x}_i)(y_i - \mu_j)^2 \] 가 최소화되도록 합니다. 여기서 \(I\)는 지시함수이고, \(R_j\)는 \(j\)번째 상자에 속하는 관측값들의 인덱스 집합을 나타내며, \(\mu_j\)는 \(j\)번째 상자에 있는 관측값들의 평균 반응값이고, \(\textbf{x}_i\)는 \(i\)번째 관측값의 예측변수 값 벡터이며, \(y_i\)는 \(i\)번째 관측값의 반응값입니다.

예측 정확도 측면에서 의사결정나무는 일반적으로 다른 회귀 및 분류 모형만큼의 성능을 내지 못합니다. 그러나 반응변수와 예측변수 사이의 관계가 비선형인 경우에는 트리 기반 모형이 선형모형보다 더 나은 성능을 보일 수 있습니다. 의사결정나무에 대한 더 자세한 내용은 Breiman et al. (1984) 및 Mitchell (1997)을 참고하십시오.

2.6.3 기술 부록: 몇 가지 R 함수

R은 통계 계산과 그래픽을 위한 오픈 소스 소프트웨어입니다. R 소프트웨어는 R 프로젝트 웹사이트 https://www.r-project.org/에서 내려받을 수 있습니다. 이 절에서는 데이터 분석, 특히 앞 절들에서 언급한 데이터 분석 작업을 위한 몇 가지 R 함수를 소개합니다.

표 2.6. 데이터 분석을 위한 몇 가지 R 함수

\[ \small{ \begin{array}{lll} \hline \text{Data Analysis Task} & \text{R Package} & \text{R Function} \\\hline \text{Descriptive Statistics} & \texttt{base} & \texttt{summary}\\ \text{Principal Component Analysis} & \texttt{stats} & \texttt{prcomp} \\ \text{Data Clustering} & \texttt{stats} & \texttt{kmeans}, \texttt{hclust} \\ \text{Fitting Distributions} & \texttt{MASS} & \texttt{fitdistr} \\ \text{Linear Regression Models} & \texttt{stats} & \texttt{lm} \\ \text{Generalized Linear Models} & \texttt{stats} & \texttt{glm} \\ \text{Regression Trees} & \texttt{rpart} & \texttt{rpart} \\ \text{Survival Analysis} & \texttt{survival} & \texttt{survfit} \\ \hline \end{array} } \]

표 2.6은 여러 데이터 분석 작업을 위한 몇 가지 R 함수를 나열합니다. 이 함수들의 사용법은 R 문서에서 확인할 수 있습니다. 비슷한 기능을 하는 다른 R 패키지도 있습니다. 그러나 이 표에 나열된 함수들은 독자가 R에서 데이터 분석을 수행하기 위한 좋은 출발점이 됩니다. R에서 대규모 데이터셋을 효율적으로 분석하는 방법은 Daroczi (2015)을 참고하십시오.

이 저작물은 크리에이티브 커먼즈 저작자표시 4.0 국제 라이선스에 따라 이용할 수 있습니다.