센서 정보의 통계적 신뢰와 한계

피셔 정보와 크래머–라오 하한

핵심

• 피셔 정보(Fisher information): 관측분포가 모수 변화에 얼마나 민감한지를 나타내는 양.
• 크래머–라오 하한(Cramér–Rao lower bound, CRLB): 주어진 확률모형과 정칙 조건 아래에서 추정량의 분산 또는 공분산이 가질 수 있는 하한.
• 스칼라 모수 \(\theta\)의 불편추정량 \(\hat{\theta}\)에 대한 기본 관계:

$$\mathrm{Var}(\hat{\theta}) \ge I(\theta)^{-1}$$

피셔 정보가 클수록 분산 하한은 작아진다. 단, CRLB는 가정한 통계모형 안에서의 하한이며 모든 알고리즘과 모든 오차척도에 무조건 적용되는 절대 한계는 아니다.

---

1. 해석 범위

추정 결과의 오차만으로는 데이터가 제공한 정보의 충분성을 판단하기 어렵다.

확인 대상:

• 관측값이 모수 변화에 얼마나 민감한가.
• 측정 잡음이 얼마나 큰가.
• 정보가 특정 방향에 편중되거나 퇴화하지 않는가.
• 가정한 모형에서 가능한 분산·공분산의 하한은 얼마인가.

피셔 정보와 CRLB는 추정 결과 자체보다 관측모형이 허용하는 정밀도를 분석하는 도구에 가깝다.¹²

---

2. 피셔 정보

2.1 우도와 로그우도

관측변수 \(X\)의 확률밀도 또는 확률질량함수를 \(f(x;\theta)\)라 둔다.

$$L(\theta;x)=f(x;\theta)$$$$\ell(\theta;x)=\log f(x;\theta)$$

독립 관측의 곱 형태 우도는 로그우도에서 합으로 변환된다.

2.2 스코어 함수

$$u(X;\theta)=\frac{\partial}{\partial\theta}\ell(\theta;X)$$

스코어는 관측된 로그우도의 모수 방향 기울기이다. 값이 크다는 사실만으로 정보가 크다고 판단하지 않으며, 반복 관측에 대한 제곱 기댓값으로 정보를 정의한다.

분포의 지지집합이 \(\theta\)에 의존하지 않고 미분과 적분의 순서를 교환할 수 있는 등의 정칙 조건 아래에서:

$$\mathbb{E}_{\theta}[u(X;\theta)]=0$$

2.3 피셔 정보의 정의

스칼라 모수:³

$$I(\theta)=\mathbb{E}_{\theta}\left[u(X;\theta)^2\right]$$

스코어의 평균이 0이면:

$$I(\theta)=\mathrm{Var}_{\theta}\left(u(X;\theta)\right)$$

추가 정칙 조건 아래에서:

$$I(\theta)=-\mathbb{E}_{\theta}\left[\frac{\partial^2}{\partial\theta^2}\ell(\theta;X)\right]$$

구분:

• 관측 정보(observed information): \(-\partial^2\ell(\theta;x)/\partial\theta^2\). 현재 표본에서 계산한 로그우도 곡률.
• 피셔 정보(expected information): 관측 정보의 기댓값 또는 스코어 제곱의 기댓값.

로그우도가 특정 모수 방향에서 급격히 변하면 해당 방향의 식별력이 크고, 평평하면 여러 모수값을 구분하기 어렵다.

2.4 독립 관측의 정보 합산

서로 독립인 \(X_1,\ldots,X_n\)에 대해:

$$I_n(\theta)=\sum_{i=1}^{n}I_i(\theta)$$

동일분포까지 가정한 i.i.d. 표본이면:

$$I_n(\theta)=nI_1(\theta)$$

표본 수 증가가 모든 방향의 식별성을 새로 만드는 것은 아니다.

• 정보가 작지만 0이 아닌 방향: 독립 반복 관측으로 정보가 누적될 수 있음.
• 정보가 정확히 0인 비관측 방향: 동일한 관측구조를 반복해도 식별되지 않음.

---

3. 크래머–라오 하한

3.1 스칼라 모수

\(\hat{\theta}(X)\)가 \(\theta\)의 불편추정량이면:

$$\mathbb{E}_{\theta}[\hat{\theta}]=\theta$$

정칙 조건과 \(0 $$\mathrm{Var}_{\theta}(\hat{\theta})\ge\frac{1}{I(\theta)}$$

보다 일반적으로 \(g(\theta)\)의 불편추정량 \(T(X)\)에 대해서는:

$$\mathrm{Var}_{\theta}(T)\ge\frac{\left(g'(\theta)\right)^2}{I(\theta)}$$

해석:

• 분산이 하한에 가까움: 해당 모형과 추정대상 아래에서 효율이 높음.
• 분산이 하한보다 큼: 추정량의 비효율, 유한표본 효과, 수치 근사, 모델 불일치 등을 점검할 수 있음.
• CRLB가 작음: 작은 분산이 가능함을 뜻할 뿐 실제 추정량이 그 성능을 달성한다는 뜻은 아님.

3.2 핵심 유도

불편성:

$$\int \hat{\theta}(x)f(x;\theta)\,dx=\theta$$

양변을 \(\theta\)로 미분:

$$\int \hat{\theta}(x)\frac{\partial f(x;\theta)}{\partial\theta}\,dx=1$$

\(\partial f/\partial\theta=f\,\partial\log f/\partial\theta\)를 대입:

$$\mathbb{E}_{\theta}[\hat{\theta}u]=1$$

\(\mathbb{E}_{\theta}[u]=0\)이므로:

$$\mathrm{Cov}_{\theta}(\hat{\theta},u)=1$$

코시–슈바르츠 부등식:

$$\mathrm{Cov}(\hat{\theta},u)^2\le\mathrm{Var}(\hat{\theta})\mathrm{Var}(u)$$

\(\mathrm{Var}(u)=I(\theta)\)를 대입:

$$1\le\mathrm{Var}(\hat{\theta})I(\theta)$$

따라서:

$$\mathrm{Var}(\hat{\theta})\ge I(\theta)^{-1}$$

이 유도는 정칙 조건 아래의 기본 스칼라 CRLB이다.⁴²

3.3 등호 조건과 효율성

CRLB 등호가 성립하려면 코시–슈바르츠 등호 조건에 의해 다음 관계가 거의 확실하게 성립해야 한다.

$$u(X;\theta)=I(\theta)\left(\hat{\theta}(X)-\theta\right)$$

즉, 스코어가 추정오차에 비례해야 한다. 모든 모수값에서 이를 만족하는 추정량은 제한적인 분포족에서만 존재한다.

효율도:

$$\mathrm{Eff}(\hat{\theta})=\frac{I(\theta)^{-1}}{\mathrm{Var}(\hat{\theta})}\le 1$$

3.4 편향 추정량과 MSE

기본 CRLB는 불편추정량에 대한 결과이다. 편향 \(b(\theta)=\mathbb{E}_{\theta}[T]-\theta\)를 갖는 추정량에는 일반화된 형태가 적용된다.

$$\mathrm{Var}_{\theta}(T)\ge\frac{\left(1+b'(\theta)\right)^2}{I(\theta)}$$

전체 평균제곱오차:

$$\mathrm{MSE}(T)=\mathrm{Var}(T)+b(\theta)^2$$

따라서 편향을 허용해 분산을 줄인 추정량은 기본 불편 CRLB보다 작은 분산을 가질 수 있다. 이는 CRLB 위반이 아니라 비교 조건의 차이다.

---

4. 정규분포 평균 추정

가정:

$$X_1,\ldots,X_n\overset{\mathrm{i.i.d.}}{\sim}\mathcal{N}(\mu,\sigma^2)$$

\(\sigma^2\)는 알려져 있고 추정대상은 \(\mu\).

로그우도에서 \(\mu\)와 무관한 항을 제외하면:

$$\ell(\mu)=-\frac{1}{2\sigma^2}\sum_{i=1}^{n}(x_i-\mu)^2+C$$

스코어:

$$u(\mu)=\frac{\partial\ell}{\partial\mu}=\frac{1}{\sigma^2}\sum_{i=1}^{n}(x_i-\mu)=\frac{n}{\sigma^2}(\bar{x}-\mu)$$

피셔 정보:

$$I_n(\mu)=-\mathbb{E}\left[\frac{\partial^2\ell}{\partial\mu^2}\right]=\frac{n}{\sigma^2}$$

CRLB:

$$\mathrm{Var}(\hat{\mu})\ge\frac{\sigma^2}{n}$$

표본평균:

$$\mathrm{Var}(\bar{X})=\frac{\sigma^2}{n}$$

또한:

$$u(\mu)=I_n(\mu)(\bar{X}-\mu)$$

따라서 \(\bar{X}\)는 CRLB를 달성하는 효율적 불편추정량이며, 이 문제의 MLE이기도 하다.

4.1 MLE의 점근적 효율성

일반적인 정칙 모형에서 MLE는 적합성·식별성 등의 조건 아래 다음 점근분포를 갖는다.

$$\sqrt{n}(\hat{\theta}_{\mathrm{MLE}}-\theta)\xrightarrow{d}\mathcal{N}\left(0,I_1(\theta)^{-1}\right)$$

동치인 근사 표현:

$$\hat{\theta}_{\mathrm{MLE}}\dot{\sim}\mathcal{N}\left(\theta,I_n(\theta)^{-1}\right)$$

주의:

• 유한표본에서는 MLE가 편향될 수 있음.
• 경계값, 비정칙 모형, 혼합모형, 비식별성, 모델 미스매치에서는 일반적인 점근 결과가 성립하지 않을 수 있음.
• MLE와 CRLB 달성 추정량은 일반적으로 동일한 개념이 아님.¹⁵

---

5. 다변수 피셔 정보와 정보 퇴화

모수벡터 \(\boldsymbol{\theta}\in\mathbb{R}^d\), 스코어벡터:

$$\mathbf{u}(X;\boldsymbol{\theta})=\nabla_{\boldsymbol{\theta}}\ell(\boldsymbol{\theta};X)$$

피셔 정보행렬:

$$\mathbf{I}(\boldsymbol{\theta})=\mathbb{E}\left[\mathbf{u}\mathbf{u}^{T}\right]$$

정칙 조건 아래의 곡률 형태:

$$\mathbf{I}(\boldsymbol{\theta})=-\mathbb{E}\left[\nabla_{\boldsymbol{\theta}}^2\ell(\boldsymbol{\theta};X)\right]$$

\(\hat{\boldsymbol{\theta}}\)가 불편이고 \(\mathbf{I}\)가 양의 정부호이면:

$$\mathrm{Cov}(\hat{\boldsymbol{\theta}})\succeq\mathbf{I}(\boldsymbol{\theta})^{-1}$$

\(\mathbf{A}\succeq\mathbf{B}\)는 \(\mathbf{A}-\mathbf{B}\)가 양의 준정부호임을 뜻한다.

방향벡터 \(\mathbf{v}\)에 대해:

$$\mathrm{Var}\left(\mathbf{v}^{T}\hat{\boldsymbol{\theta}}\right)\ge\mathbf{v}^{T}\mathbf{I}^{-1}\mathbf{v}$$

5.1 고유값 관점

정보행렬 고유분해:

$$\mathbf{I}=\mathbf{V}\boldsymbol{\Lambda}\mathbf{V}^{T}$$

• 큰 고유값: 해당 고유벡터 방향의 높은 정보량.
• 작은 양의 고유값: 해당 방향의 큰 분산 하한과 수치 민감성.
• 0 고유값: 해당 방향이 국소적으로 식별되지 않음.

\(\mathbf{I}\)가 특이면 일반 역행렬 \(\mathbf{I}^{-1}\)은 존재하지 않는다. 이 경우:

• 전체 상태에 대한 유한한 표준 CRLB를 쓸 수 없음.
• 식별 가능한 부분공간만 분리하거나 제약조건을 추가해야 함.
• 문제 설정에 따라 일반화 역행렬을 이용한 하한을 사용할 수 있으나, 단순히 \(\mathbf{I}^{-1}\)로 표기해서는 안 됨.

정확한 비관측성과 단순한 ill-conditioning은 구분해야 한다.

---

6. 선형 가우시안 관측모형

선형 관측:

$$\mathbf{y}=\mathbf{H}\mathbf{x}+\boldsymbol{\varepsilon}$$$$\boldsymbol{\varepsilon}\sim\mathcal{N}(\mathbf{0},\mathbf{R})$$

\(\mathbf{R}\)가 \(\mathbf{x}\)에 의존하지 않으면:

$$\mathbf{I}(\mathbf{x})=\mathbf{H}^{T}\mathbf{R}^{-1}\mathbf{H}$$

해석:

• \(\mathbf{H}\): 상태 변화가 관측에 나타나는 방향과 민감도.
• \(\mathbf{R}^{-1}\): 측정 신뢰도를 나타내는 가중치.
• \(\mathbf{H}^{T}\mathbf{R}^{-1}\mathbf{H}\): 기하와 잡음을 함께 반영한 상태 정보.

비선형 관측 \(\mathbf{y}=\mathbf{h}(\mathbf{x})+\boldsymbol{\varepsilon}\)은 기준점에서 Jacobian \(\mathbf{H}=\partial\mathbf{h}/\partial\mathbf{x}\)로 선형화하여 국소 정보행렬을 구성한다.

---

7. GPS 의사거리 예제

7.1 측정모형

수신기 위치:

$$\mathbf{p}=\begin{bmatrix}x&y&z\end{bmatrix}^{T}$$

\(i\)번째 위성 위치:

$$\mathbf{s}_i=\begin{bmatrix}x_i&y_i&z_i\end{bmatrix}^{T}$$

단순화한 의사거리:

$$\rho_i=\|\mathbf{p}-\mathbf{s}_i\|+b+\varepsilon_i$$

여기서 \(b=c\,\delta t\)는 시간 오차를 거리 단위로 표현한 수신기 시계 바이어스이다.

상태벡터:

$$\mathbf{x}=\begin{bmatrix}\mathbf{p}^{T}&b\end{bmatrix}^{T}$$

7.2 Jacobian

거리항의 위치 미분:

$$\mathbf{g}_i^{T}=\frac{\partial\|\mathbf{p}-\mathbf{s}_i\|}{\partial\mathbf{p}}=\frac{(\mathbf{p}-\mathbf{s}_i)^{T}}{\|\mathbf{p}-\mathbf{s}_i\|}$$

\(\mathbf{g}_i\)는 위성에서 수신기로 향하는 단위방향이다. 수신기에서 위성으로 향하는 LOS 단위벡터를 사용하면 부호가 반대가 된다.

측정 Jacobian 행:

$$\mathbf{h}_i=\begin{bmatrix}\mathbf{g}_i^{T}&1\end{bmatrix}$$

전체 선형화:

$$\Delta\boldsymbol{\rho}=\mathbf{H}\Delta\mathbf{x}+\boldsymbol{\varepsilon}$$

7.3 피셔 정보와 CRLB

가우시안 의사거리 잡음:

$$\boldsymbol{\varepsilon}\sim\mathcal{N}(\mathbf{0},\mathbf{R})$$

국소 피셔 정보행렬:

$$\mathbf{I}(\mathbf{x})=\mathbf{H}^{T}\mathbf{R}^{-1}\mathbf{H}$$

\(\mathbf{H}\)가 열 전체 계수를 갖고 정보행렬이 가역이면:

$$\mathrm{Cov}(\hat{\mathbf{x}})\succeq\left(\mathbf{H}^{T}\mathbf{R}^{-1}\mathbf{H}\right)^{-1}$$

위치 성분의 하한은 전체 역행렬의 좌상단 \(3\times3\) 블록에서 읽는다. 대각성분은 각 좌표의 분산 하한이며, 고유값·고유벡터는 위치 불확실성 타원체의 주축과 방향을 나타낸다.

7.4 동일·독립 의사거리 잡음

$$\mathbf{R}=\sigma_{\rho}^{2}\mathbf{I}$$$$\mathbf{I}(\mathbf{x})=\frac{1}{\sigma_{\rho}^{2}}\mathbf{H}^{T}\mathbf{H}$$$$\mathrm{Cov}(\hat{\mathbf{x}})\succeq\sigma_{\rho}^{2}\left(\mathbf{H}^{T}\mathbf{H}\right)^{-1}$$

분리되는 요인:

• \(\sigma_{\rho}^{2}\): 측정 잡음의 크기.
• \((\mathbf{H}^{T}\mathbf{H})^{-1}\): 위성 기하에 의한 정밀도 희석.

7.5 DOP

등분산·독립 잡음 가정에서:

$$\mathbf{Q}=\left(\mathbf{H}^{T}\mathbf{H}\right)^{-1}$$

대표적인 DOP 정의:

$$\mathrm{GDOP}=\sqrt{\mathrm{tr}(\mathbf{Q})}$$$$\mathrm{PDOP}=\sqrt{Q_{xx}+Q_{yy}+Q_{zz}}$$$$\mathrm{TDOP}=\sqrt{Q_{bb}}$$

지역 수평좌표계에서는:

$$\mathrm{HDOP}=\sqrt{Q_{ee}+Q_{nn}}$$

DOP는 잡음 크기를 제외한 기하학적 증폭계수이다. 실제 위치 표준편차는 이상적인 등분산 모델에서 대략 \(\sigma_{\rho}\times\mathrm{DOP}\) 형태로 연결된다.

7.6 정보 퇴화

위성 방향이 한쪽에 몰리거나 서로 유사하면 \(\mathbf{H}\)의 열들이 충분히 독립적이지 않게 된다.

• 작은 고유값: 특정 상태방향의 큰 분산 하한.
• 0 고유값: 해당 상태방향의 비식별성.
• 높은 DOP: 관측 잡음이 위치 오차로 크게 증폭되는 기하.

도심 협곡, 실내·반실내, 차폐, 멀티패스, 비가시선 수신은 단순한 가우시안 잡음 증가뿐 아니라 편향과 모델 미스매치를 유발할 수 있다. 이 경우 명목상 CRLB가 실제 오차를 낙관적으로 평가할 수 있다.

지도 앱의 정확도 원은 수신기와 운영체제가 산출한 경험적·모델 기반 불확실성 표시이며, 일반적으로 CRLB 그 자체로 해석하지 않는다.

---

8. 센서 융합과 정보 합산

동일한 상태 \(\mathbf{x}\)에 대해 관측집합 \(\mathbf{y}_1,\ldots,\mathbf{y}_m\)이 \(\mathbf{x}\)를 조건으로 서로 독립이면:

$$p(\mathbf{y}_1,\ldots,\mathbf{y}_m\mid\mathbf{x})=\prod_{k=1}^{m}p(\mathbf{y}_k\mid\mathbf{x})$$

따라서 피셔 정보는 합산된다.

$$\mathbf{I}_{\mathrm{total}}(\mathbf{x})=\sum_{k=1}^{m}\mathbf{I}_k(\mathbf{x})$$

선형 가우시안 측정에서는:

$$\mathbf{I}_{\mathrm{total}}=\sum_{k=1}^{m}\mathbf{H}_k^{T}\mathbf{R}_k^{-1}\mathbf{H}_k$$

의미:

• 서로 다른 센서가 상보적인 방향의 정보를 제공하면 작은 고유값을 보강할 수 있음.
• 동일한 방향의 중복 관측은 해당 방향의 정보량을 증가시킴.
• 상관된 측정을 독립으로 취급하면 정보를 중복 계산하여 과신할 수 있음.

IMU는 일반적으로 단일 시점의 절대 위치정보를 직접 추가하기보다 시간에 걸친 상태 간 동역학 제약을 제공한다. 따라서 실제 SLAM·항법 문제에서는 전체 궤적 상태에 대한 블록 정보행렬 또는 factor graph의 Hessian으로 정보 구조를 해석하는 편이 정확하다.

8.1 정보 필터와의 관계

선형 가우시안 베이즈 추정에서 사전 공분산 \(\mathbf{P}^{-}\)의 정보행렬을 \(\boldsymbol{\Lambda}^{-}=(\mathbf{P}^{-})^{-1}\)라 두면, 독립 측정 업데이트는:

$$\boldsymbol{\Lambda}^{+}=\boldsymbol{\Lambda}^{-}+\mathbf{H}^{T}\mathbf{R}^{-1}\mathbf{H}$$

이는 측정 정보가 사전 정보에 더해지는 구조를 보인다. 다만 베이즈 정보행렬, 관측 Hessian, 빈도주의 피셔 정보는 관련되어 있지만 항상 동일한 개념은 아니다.

---

9. 실무적 해석

9.1 알고리즘 평가

• 추정량의 경험적 공분산과 CRLB 비교.
• 하한과의 차이가 추정기 비효율인지 모델 미스매치인지 분리.
• 편향이 존재하면 분산만이 아니라 MSE와 일반화된 하한 사용.

9.2 센서·실험 설계

• 센서 위치와 방향에 따른 정보행렬 고유값 비교.
• 샘플링 수, 관측시간, SNR, 시야각 변화에 따른 정보 증가량 분석.
• 행렬식, trace, 최소 고유값, 조건수 등을 목적에 맞게 사용.

대표적인 최적 실험설계 기준:

• D-optimality: \(\det\mathbf{I}\) 최대화.
• A-optimality: \(\mathrm{tr}(\mathbf{I}^{-1})\) 최소화.
• E-optimality: \(\lambda_{\min}(\mathbf{I})\) 최대화.

9.3 퇴화 판정

• 최소 고유값이 작음: 가장 약한 관측방향 존재.
• 조건수가 큼: 방향별 정보 불균형과 수치 민감성.
• 영공간 존재: gauge freedom 또는 비관측 상태 확인.

수치 임계값은 상태 스케일과 단위에 의존한다. 위치와 회전처럼 단위가 다른 상태를 그대로 놓고 고유값을 비교할 때는 스케일링과 좌표 선택을 명시해야 한다.

9.4 한계 해석

CRLB가 실제 성능 하한으로 유효하려면 다음을 확인해야 한다.

• 확률모형과 잡음모형의 적절성.
• 모수 식별성.
• 정칙 조건.
• 불편성 또는 사용한 일반화 하한의 조건.
• 유한표본과 비선형성의 영향.
• 이상치, 편향, 상관관계, 선형화 오차.

모델이 틀리면 정교하게 계산한 CRLB도 잘못된 신뢰도를 줄 수 있다.

---

10. 정리

• 피셔 정보는 관측분포가 모수 변화에 반응하는 정도를 정량화한다.
• CRLB는 주어진 모형과 조건 아래에서 추정량의 분산·공분산 하한을 제공한다.
• 독립 정보는 합산되지만 상관된 정보를 중복 계산해서는 안 된다.
• 다변수 문제에서는 정보행렬의 고유구조가 방향별 식별성과 퇴화를 나타낸다.
• 특이 정보행렬에는 일반 역행렬 기반 CRLB를 직접 적용할 수 없다.
• GPS에서는 위성 기하와 의사거리 잡음이 \(\mathbf{H}^{T}\mathbf{R}^{-1}\mathbf{H}\)를 통해 결합된다.
• DOP는 등분산·독립 잡음 가정에서 기하가 측정오차를 얼마나 증폭하는지 나타낸다.
• 센서 융합의 목적은 센서 수 자체가 아니라 부족한 상태방향의 정보를 보강하는 데 있다.
• CRLB는 알고리즘의 보편적 절대 한계가 아니라 명시된 통계모형 안에서의 기준선이다.

Everything has context.

참고문헌