EKE의 가중치 산정 및 통합 방식

EKE의 가중치 산정 및 통합 방식

EKE(Expert Knowledge Elicitation)에서는 여러 전문가의 판단을 수집한 뒤 이를 하나의 종합된 확률 분포나 예측값으로 통합한다. 이 과정에서 핵심이 되는 것이 바로 **가중치(weight)**의 산정이다. 모든 전문가의 판단이 동일하게 신뢰할 수 있는 것은 아니기 때문에, EKE에서는 전문가의 신뢰도나 정확도에 따라 다른 비중을 부여하는 방식을 사용한다.

 

1. 왜 가중치가 필요한가

전문가의 경험과 판단 능력에는 차이가 있다. 만약 단순 평균만 취한다면, 신뢰도가 낮은 판단도 동일하게 반영되어 결과의 품질이 떨어질 수 있다. 따라서 EKE에서는 전문가의 판단 성능을 사전에 평가하거나, 응답의 일관성과 불확실성 정도를 고려하여 전문가별 가중치를 부여한다. 가중치는 일종의 “전문가 신뢰 점수”로, 각 전문가의 정보가 최종 결과에 얼마나 영향을 미칠지를 결정한다.

 

2. 가중치 산정의 핵심 개념

① Seed Question (시드 질문)

전문가의 판단 능력을 평가하기 위해 정답이 이미 알려진 질문을 일부 포함한다. 이를 통해 각 전문가가 얼마나 정확하게 판단하는지를 측정할 수 있다.

예를 들어, 과거 데이터를 기반으로 결과를 알고 있는 사건(예: “2010년 특정 지역의 평균 강수량”)을 묻고, 전문가가 제시한 확률 분포와 실제 정답을 비교하여 성능을 평가한다.

이 과정에서 **정확도(calibration)**와 정보량(informativeness) 두 요소가 중요하게 사용된다.

 

② Calibration (정확도)

전문가의 확률 분포가 실제 결과를 얼마나 잘 포착했는지를 평가한다. 예를 들어, 전문가가 “사건이 70% 확률로 일어난다”고 했을 때, 비슷한 사건이 여러 번 중 70% 정도 실제로 일어났다면 그 전문가는 잘 교정된(calibrated) 판단을 한 것이다.

 

③ Informativeness (정보량)

전문가가 제시한 분포가 얼마나 구체적이고, 불확실성이 적은지를 나타낸다. 너무 넓은 범위를 제시하면 정보량이 낮고, 명확한 예측 구간을 제시하면 정보량이 높다고 평가된다.

정확도와 정보량의 균형을 고려해 정보는 풍부하지만 실제와 잘 맞는 전문가에게 더 높은 가중치를 부여한다.

 

3. Cooke’s Classical Model

EKE에서 가장 널리 사용되는 가중치 기반 통합 방법은 Cooke’s Classical Model이다. 이 모델은 전문가의 성과를 기반으로 통계적 가중치를 계산한다.

핵심 절차는 다음과 같다.

1. Seed Question 설정 → 실제 답이 알려진 질문을 사용
2. 각 전문가의 응답 평가 → 정확도(calibration)와 정보량(informativeness) 산출
3. 가중치 계산 → 두 값을 조합하여 전문가별 weight 부여
4. 가중 평균 통합 → 전문가의 판단을 가중 평균으로 결합

수학적 형태(단순 표현):

$$W_i = \frac{C_i \times I_i}{\sum (C_i \times I_i)}$$

여기서

$W_{i}$: 전문가 i의 가중치

$C_{i}$: 정확도 점수 (Calibration Score)

$I_{i}$: 정보량 점수 (Informativeness Score)

이렇게 계산된 가중치는 전체 확률분포 결합에 사용되어, 보다 신뢰도 높은 결과를 도출하게 된다.

 

4. 전문가 판단의 통합 방식

EKE에서 전문가들의 확률분포를 결합할 때는 두 가지 대표적인 방법이 있다.

① 수학적 결합 (Mathematical Aggregation)

전문가의 판단을 확률분포 형태로 가중 평균하여 통합한다. Cooke’s Classical Model은 이 방법의 대표적 사례다.
장점: 객관적이고 재현 가능
단점: 복잡한 계산과정, 전문가 간 상호작용 반영 어려움

② 행동적 결합 (Behavioral Aggregation)

전문가들이 함께 토론하고 피드백을 주고받으며 합의된 판단을 도출한다. 델파이(Delphi)나 NGT(Nominal Group Technique)에서 사용된다.
장점: 상호 이해 증진, 논리적 근거 강화
단점: 편향이나 집단사고의 위험 존재

 

5. 무응답 또는 불확실한 응답 처리

현실적으로 모든 전문가가 Seed Question에 완전하게 응답하지는 않는다. 이 경우는 다음과 같은 방식으로 처리한다.

• **부분 정보(partial information)**만 반영하거나
• 평균 또는 보정된 분포로 대체하여
• 응답자 전체를 배제하지 않고 통합에 포함시키는 방법을 사용한다.

이는 전문가 풀이 작거나 특정 주제에 대한 데이터가 희소할 때 정보 손실을 최소화하기 위한 절충 방법이다.

 

6. 요약

EKE의 가중치 산정은 전문가 판단을 단순 평균하지 않고, 정확도와 정보량을 반영해 신뢰도 기반으로 결합하는 과정이다.

Seed Question을 통해 전문가 성능을 평가하고 Cooke’s Classical Model을 이용해 가중치를 계산한다. 이후 수학적 결합 또는 행동적 결합을 통해 최종 판단을 도출한다.

이 과정은 EKE의 핵심으로, “누가 얼마나 정확하게 판단했는가”를 수량화하여 보다 객관적이고 신뢰도 높은 결론을 도출하게 해준다.