분배 함수 (확률론) 문서 원본 보기

{{위키데이터 속성 추적}}
[[확률론]], [[정보 이론]] 및 [[동역학계|동적계]]에서 사용되는 '''분배 함수''' 또는 '''구성 적분'''은 [[분배 함수 (통계역학)|통계 역학에서 다루던 분배 함수]]의 정의를 일반화한 것이다. [[볼츠만 분포]]에 대한 확률론의 정규화 상수의 특별한 경우이다. 분배 함수는 자연적인 대칭이 있는 상황에서 관련 확률 측도인 깁스 측도가 [[마르코프 확률 과정|마르코프 속성]]을 갖기 때문에 확률론의 많은 문제에서 발생한다. 이는 분배 함수가 변환 대칭을 갖는 물리적 계뿐만 아니라 신경망([[홉필드 네트워크]])과 같은 다양한 설정과 마르코프 논리 네트워크와 [[마르코프 네트워크]]를 사용하는 [[유전체학]], [[말뭉치언어학|말뭉치 언어학]] 및 [[인공지능|인공 지능]]과 같은 응용에서도 발생한다는 것을 의미한다. 깁스 측도는 에너지의 고정된 기대값에 대한 [[엔트로피]]를 최대화하는 특성을 갖는 고유한 척도이기도 하다. 이는 [[최대 엔트로피 원리]]과 그로부터 파생된 알고리듬의 분배 함수의 출현에 기초한다.

분배 함수는 다양한 개념을 하나로 묶어 다양한 종류의 수량을 계산할 수 있는 일반적인 프레임워크를 제공한다. 특히 [[기댓값|기대값]] 계산 방법과 [[그린 함수]]를 보여주며 [[프레드홀름 이론]]에 대한 가교 역할을 한다. 이는 또한 정보 이론에 대한 정보 기하학 접근 방식을 위한 자연스러운 설정을 제공한다. 여기서 피셔 정보 계량은 분배 함수에서 유도된 상관 함수로 이해될 수 있다. 이는 [[리만 다양체]] 구조를 가진다.

확률 변수에 대한 설정이 복소 사영 공간 또는 사영 힐베르트 공간에 있을 때 [[푸비니-슈투디 계량]]으로 기하화하면 [[양자역학|양자 역학]] 이론과 보다 일반적으로 [[양자장론]]이 탄생한다. 이러한 이론에서 분배 함수는 [[경로 적분 공식화|경로 적분 공식]]에서 크게 활용되어 큰 성공을 거두었으며 여기에서 검토한 것과 거의 동일한 많은 공식을 생성한다. 그러나 기본 측도 공간은 확률론의 실수 값  [[단체 (수학)|단체]]와 달리 복소수 값이므로 많은 수식에 허수 <math>i</math>가 나타난다. 이를 추적하는 것은 번거로운 일이므로 여기서는 다루지 않는다. 이 문서에서는 확률의 합이 1이 되는 고전 확률론에 주로 중점을 둔다.

== 정의 ==
<math>x_i</math>들에서 값을 갖는 일련의 [[확률 변수]] <math>X_i</math>들과 퍼텐셜 함수 또는 [[해밀턴 역학|해밀토니안]] <math>H(x_1,x_2,\dots)</math>이 주어지면, 분배 함수는 다음과 같이 정의된다.

: <math>Z(\beta) = \sum_{x_i} \exp \left(-\beta H(x_1,x_2,\dots) \right)</math>

함수 ''<math>H</math>는'' 상태 공간 <math>\{X_1,X_2,\cdots\}</math>의 실수 값 함수로 이해된다. <math>\beta</math>는 실수 값의 자유 매개변수(통상적으로 역온도)이다.  <math>x_i</math>에 대한 합은 각 확률 변수 <math>X_i</math>가 가질 수 있는 모든 가능한 값에 대한 합으로 이해된다. 따라서 합은 <math>X_i</math>가 이산형이 아니라 연속형인 경우 [[적분]]으로 대체된다. 연속형인 경우 다음과 같이 쓴다.

: <math>Z(\beta) = \int \exp \left(-\beta H(x_1,x_2,\dots) \right) \, dx_1 \, dx_2 \cdots</math>


''<math>H</math>가'' 유한차원 [[행렬]]이나 무한차원 [[힐베르트 공간]] [[연산자]] 또는 [[C* 대수]]의 원소와 같은 [[관측가능량]]의 경우, 합산을 [[대각합]]으로 표현하는 것이 일반적이다.

: <math>Z(\beta) = \operatorname{tr}\left(\exp\left(-\beta H\right)\right)</math>

''<math>H</math>''가 무한 차원인 경우 위의 표기법이 유효하려면 인수는 [[대각합류 작용소|핵작용소]], 즉 합이 존재하고 유계인 형식이어야 한다.

변수 <math>X_i</math>들의 수는 가산일 필요는 없으며, 비가산일 경우 합은 [[범함수 적분]]으로 대체된다. 범함수 적분에 대한 많은 표기법이 있지만 일반적인 표기법은 다음과 같다.

: <math>Z = \int \mathcal{D} \varphi \exp \left(- \beta H[\varphi] \right)</math>

[[양자장 이론의 분할 함수|양자장론의 분배 함수]]의 경우도 마찬가지이다.

분배 함수에 대한 일반적이고 유용한 수정은 보조 함수를 도입하는 것이다. 이를 통해 예를 들어 분배 함수를 상관 함수 의 [[생성함수 (수학)|생성 함수]]로 사용할 수 있다. 이에 대해서는 아래에서 더 자세히 설명한다.

== 매개변수 β ==
매개변수 <math>\beta</math>의 역할 또는 의미는 다양한 의미로 이해될 수 있다. 고전 열역학에서는 역온도이다. 보다 일반적으로, 확률 변수  <math>X</math>의 어떤 (임의의) 함수 <math>H</math>에 켤레 변수라고 말할 수 있다. 여기서 ''켤레''라는 단어는 [[라그랑주 역학]]에서 켤레 [[일반화 좌표|일반화된 좌표]]라는 의미로 사용된다. 이때 <math>\beta</math>는 [[라그랑주 승수법|라그랑주 승수]]이다. 그것은 일반적으로 [[일반화 힘|일반화된 힘]]이라고 불린다. 이러한 모든 개념은 하나의 값은 고정되어 있어야 하고 다른 값은 복잡한 방식으로 상호 연결되어 변경될 수 있다는 공통점을 가지고 있다. 현재의 경우 고정되어야 할 값은 <math>H</math>의 [[기댓값|기대값]]이다. 심지어 많은 다른 [[확률 분포]]가 정확히 동일한 (고정) 값을 생성할 수 있다.

일반적인 경우에는 일련의 함수 <math>\{H_k(x_1,\cdots)\}</math>을 고려한다.  각각은 확률 변수 <math>X_i</math>에 따라 달라진다. 이러한 함수는 어떤 이유로든 기대값을 일정하게 유지하기를 원하기 때문에 선택된다. 이러한 방식으로 기대값을 제한하려면 [[라그랑주 승수법]]을 적용한다. 일반적인 경우 [[최대 엔트로피 원리|최대 엔트로피 방법]]은 이것이 수행되는 방식을 보여준다.

몇 가지 구체적인 예가 순서대로 나와 있다. 기본 열역학 문제에서 [[바른틀 앙상블]]을 사용할 때 하나의 매개변수 <math>\beta</math>만 사용한다.  이는 일정하게 유지되어야 하는 단 하나의 기대값, 즉 자유 에너지( [[에너지 보존 법칙|에너지 보존]]으로 인한)가 있다는 사실을 반영한다. 화학 반응과 관련된 화학 문제의 경우 [[큰 바른틀 앙상블]]이 적절한 기초를 제공하며 두 개의 라그랑주 승수가 있다. 하나는 에너지를 일정하게 유지하는 것이고, 다른 하나는 [[퓨가시티]]로 입자 수를 일정하게 유지하는 것이다(화학 반응에는 고정된 수의 원자 재결합이 포함되므로).

일반적인 경우에는

: <math>Z(\beta) = \sum_{x_i} \exp \left(-\sum_k\beta_k H_k(x_i) \right)</math>

<math>\beta=(\beta_1, \beta_2,\cdots)</math>는 공간 속의 한 점이다.

관측가능량 <math>H_k</math>들의 컬렉션의 경우,

: <math>Z(\beta) = \operatorname{tr}\left[\,\exp \left(-\sum_k\beta_k H_k\right)\right]</math>

이전과 마찬가지로 tr의 인수는 [[대각합류 작용소|핵작용소]]라고 가정한다.

그러면 해당 깁스 측도는 각각 <math>H_k</math>의 기대값이 고정된 값인 확률 분포를 제공한다. 더 정확하게 말하면,

: <math>\frac{\partial}{\partial \beta_k} \left(- \log Z \right) = \langle H_k\rangle = \mathrm{E}\left[H_k\right]</math>

<math>\langle H_k \rangle</math>는 <math>H_k</math>의 기대값을 나타내고 <math>\mathrm{E}[\;]</math>는 일반적인 대체 표기법이다. 이 기대값의 정확한 정의는 아래에 나와 있다.

비록 <math>\beta</math>의 값은 일반적으로 실수라고 여기지만 일반적으로 그럴 필요는 없다. 이에 대해서는 아래 정규화 절에서 설명한다. <math>\beta</math>의 값들은 공간의 점들의 좌표로 이해될 수 있다. 이 공간은 실제로 아래에 설명된 것처럼 [[다양체]]이다. 다양체로서의 이러한 공간에 대한 연구는 정보 기하학 분야를 구성한다.

== 대칭 ==
퍼텐셜 함수 자체는 일반적으로 합의 형태를 취한다.

: <math>H(x_1,x_2,\dots) = \sum_s V(s)\,</math>

여기서 ''<math>s</math>''에 대한 합은 집합 <math>X=\lbrace x_1,x_2,\dots \rbrace</math>의 [[멱집합]] ''<math>P(X)</math>''의 일부 부분 집합에 대한 합이다. 예를 들어 [[이징 모형|이징 모델]]과 같은 [[통계역학|통계 역학]]에서 합계는 최근접 이웃 쌍에 대한 것이다. [[마르코프 네트워크]]와 같은 확률 이론에서 합계는 그래프의 [[클릭 (그래프 이론)|클릭 수]]를 초과할 수 있다. 따라서 이징 모델 및 기타 [[격자 모형|격자 모델]]의 경우 최대 클릭은 가장자리이다.

퍼텐셜 함수가 합으로 기록될 수 있다는 사실은 일반적으로 병진 불변과 같은 [[군 (수학)|군]]의 [[군의 작용|작용]] 하에서 불변이라는 사실을 반영한다. 이러한 대칭은 불연속적이거나 연속적일 수 있다. 이는 확률 변수에 대한 상관 함수에서 구체화된다(아래에서 설명). 따라서 해밀토니안의 대칭은 상관 함수의 대칭이 된다(그 반대도 마찬가지).

이 대칭은 확률론에서 아주 중요한 해석을 갖는다. 이는 깁스 측도가 [[마르코프 확률 과정|마르코프 속성]]을 갖는다는 것을 의미한다. 즉, 특정 방식으로 확률 변수와 독립적이거나 동등하게 측정값이 대칭의 [[동치류]]에서 동일하다. 이로 인해 [[홉필드 네트워크]]와 같은 마르코프 속성 문제에서 분배 함수가 널리 나타난다.

== 측도로서의 정의 ==
표현식

: <math>\exp \left(-\beta H(x_1,x_2,\dots) \right)</math>

의 값은 특정 값 <math>(x_1,x_2,\dots)</math>을 갖는 구성이 계에서 발생할 가능성으로 해석될 수 있다.  따라서 특정 구성 <math>(x_1,x_2,\dots)</math>이 주어지면,

: <math>P(x_1,x_2,\dots) = \frac{1}{Z(\beta)} \exp \left(-\beta H(x_1,x_2,\dots) \right)</math>

는 구성 <math>(x_1,x_2,\dots)</math>의 [[확률 밀도 함수|확률]]이다. 이제 계에서 발생하는 문제가 <math>0\le P(x_1,x_2,\dots)\le 1</math>로 적절하게 정규화되어, 모든 구성의 합은 1이 된다. 따라서 분배 함수는 [[확률 공간]]에 대한 [[측도|측도값]] (확률 측도값)을 제공하는 것으로 이해될 수 있다. 공식적으로는 깁스 측도라고 한다. 이는 통계 역학에서 [[큰 바른틀 앙상블]]과 [[바른틀 앙상블]]의 더 좁은 개념을 일반화한다.

확률이 최대화되는 구성은 하나 <math>(x_1,x_2,\dots)</math> 이상 존재한다.  이 구성을 일반적으로 [[바닥 상태]]라고 한다. 이 구성이 유일한 경우 바닥 상태는 '''비퇴화(non-degenerate)'''라고 하며 계는 [[에르고딕성|에르고딕]]이라고 한다. 그렇지 않으면 바닥 상태가 '''퇴화'''된다. 바닥 상태는 대칭 생성원과 교환될 수도 있고 그렇지 않을 수도 있다. 교환되는 경우 불변 측도라고 한다. 교환하지 않을 때 대칭이 [[자발 대칭 깨짐|저절로 깨진]]다고 한다.

바닥 상태가 존재하고 유일한 조건은 [[카루시-쿤-터커 조건|카루시-쿤-터커]] 조건에 의해 제공된다. 이러한 조건은 일반적으로 최대 엔트로피 문제에서 깁스 측도 사용을 정당화하는 데 사용된다.

== 정규화 ==
<math>\beta</math>가 취하는 값은 [[무작위장]]이 변하는 [[공간#수학|공간]]에 따라 달라진다. 따라서 실수 값의 무작위장는 [[단체 (수학)|단체]] 값을 취한다. 이는 확률의 합이 1이 되어야 함을 기하학적으로 표현한 방식이다. 양자 역학의 경우 확률 변수는 복소 사영 공간(또는 복소수 값 사영 힐베르트 공간)에 걸쳐 있으며, 여기서 확률 변수는 [[확률 진폭]]으로 해석된다. 진폭은 여전히 1로 정규화되어 있으므로 여기서 강조점은 ''사영''이라는 단어이다. 퍼텐셜 함수에 대한 정규화는 적절한 공간에 대한 [[야코비 행렬|야코비안]]이다. 일반 확률의 경우 1이고 힐베르트 공간의 경우 ''i''이다. 따라서 [[양자장론]]에서는 지수에서 <math>\beta H</math>보다는 <math>it H</math>를 볼 수 있다. 분배 함수는 양자장론의 [[경로 적분 공식화]]에 아주 많이 활용되어 큰 효과를 발휘한다. 이론은 이러한 차이점과 일반적인 방식이 아닌 4차원 시공간에서 일반적으로 공식화된다는 사실을 제외하면 여기에 제시된 것과 거의 동일하다.

== 기대값 ==
분배 함수는 확률변수의 다양한 함수의 [[기댓값|기대값]]에 대한 확률 생성 함수로 흔히 사용된다. 예를 들어 <math>\beta</math>는 조정 가능한 매개변수로서 <math>\beta</math>에 대한 <math>\log(Z(\beta))</math>의 도함수

: <math>\mathbf{E}[H] = \langle H \rangle = -\frac {\partial \log(Z(\beta))} {\partial \beta}</math>

는 ''<math>H</math>''의 기대값을 제공한다. 물리학에서는 이를 계의 평균 [[에너지]]라고 한다.

위의 확률 측도의 정의가 주어지면 확률 변수 ''<math>X</math>''의 임의 함수  ''<math>f</math>''의 기대값은 이제 예상대로 작성될 수 있다. 따라서 이산 값 ''<math>X</math>''의 경우 다음과 같이 작성된다.

: <math>\begin{align}
\langle f\rangle
& = \sum_{x_i} f(x_1,x_2,\dots) P(x_1,x_2,\dots) \\
& = \frac{1}{Z(\beta)} \sum_{x_i} f(x_1,x_2,\dots) \exp \left(-\beta H(x_1,x_2,\dots) \right)
\end{align}
</math>

위의 표기법은 유한한 수의 이산 확률 변수에 대해서는 엄밀히 정확하지만 연속 변수에 대해서는 다소 '비공식적'인 것으로 보아야 한다. 적절하게 위의 합은 [[확률 공간]]을 정의하는 데 사용되는 기본 [[시그마 대수]]의 표기법으로 대체되어야 한다. 즉, 측도 공간에서 적절하게 공식화되면 항등식이 계속 유지된다.

따라서 예를 들어 [[엔트로피]]는 다음과 같이 주어진다.

: <math>\begin{align} S
& = -k_B \langle\ln P\rangle \\
& = -k_B\sum_{x_i} P(x_1,x_2,\dots) \ln P(x_1,x_2,\dots) \\
& = k_B(\beta \langle H\rangle + \log Z(\beta))
\end{align}
</math>

깁스 측도는 에너지의 고정된 기대값에 대한 엔트로피를 최대화하는 고유한 통계 분포이다. 이는 [[최대 엔트로피 원리]]에서의 사용의 기초가 된다.

== 정보 기하학 ==
점 <math>\beta</math>는 공간, 구체적으로는 [[다양체]]를 형성하는 것으로 이해될 수 있다. 따라서 이 다양체의 구조에 대해 묻는 것이 합리적이다. 이것이 정보 기하학의 목적이다.

라그랑주 승수에 관한 다중 도함수는 양의 준정부호 [[공분산 행렬]]을 생성한다.

: <math>g_{ij}(\beta) = \frac{\partial^2}{\partial \beta^i\partial \beta^j} \left(-\log Z(\beta)\right) = 
\langle \left(H_i-\langle H_i\rangle\right)\left( H_j-\langle H_j\rangle\right)\rangle</math>

이 행렬은 양의 준정부호 행렬이며 계량 텐서, 특히 [[리만 다양체|리만 계량]]으로 해석될 수 있다. 이러한 방식으로 라그랑주 승수 공간에 계량을 적용하면 [[리만 다양체]]로 변한다.<ref>{{저널 인용|제목=Measuring Thermodynamic Length|저널=[[Physical Review Letters|Phys. Rev. Lett.]]|성=Crooks|이름=Gavin E.|연도=2007|권=99|호=10|쪽=100602|arxiv=0706.0559|bibcode=2007PhRvL..99j0602C|doi=10.1103/PhysRevLett.99.100602|pmid=17930381}}</ref> 이러한 다양체에 대한 연구를 정보기하학이라고 한다. 위의 계량은 피셔 정보 계량이다. 여기서, <math>\beta</math>는 다양체의 좌표 역할을 한다. 위의 정의를 영감을 받은 보다 단순한 [[피셔 정보]]와 비교하는 것은 흥미롭다.

위의 내용이 피셔 정보 계량을 정의한다는 것은 기대값을 명시적으로 대체하면 쉽게 알 수 있다.

: <math>\begin{align} g_{ij}(\beta)
& = \langle \left(H_i-\langle H_i\rangle\right)\left( H_j-\langle H_j\rangle\right)\rangle \\
& = \sum_{x} P(x) \left(H_i-\langle H_i\rangle\right)\left( H_j-\langle H_j\rangle\right) \\
& = \sum_{x} P(x)
\left(H_i + \frac{\partial\log Z}{\partial \beta_i}\right)
\left(H_j + \frac{\partial\log Z}{\partial \beta_j}\right)
\\
& = \sum_{x} P(x)
\frac{\partial \log P(x)}{\partial \beta^i}
\frac{\partial \log P(x)}{\partial \beta^j} \\
\end{align}
</math>

여기서 <math>P(x)</math>는 <math>P(x_1,x_2,\dots)</math>를 뜻한다. 합은 모든 확률 변수 <math>X_k</math>의 모든 값에 대한 것으로 이해된다. 연속 값 확률 변수의 경우 합은 물론 적분으로 대체된다.

흥미롭게도 피셔 정보 계량은 변수를 적절하게 변경한 후 평면 공간 [[유클리드 거리|유클리드 계량]]으로 이해될 수도 있다. <math>\beta</math>가 복소수 값을 갖는 경우, 결과적으로 계량은 [[푸비니-슈투디 계량]]이다. 순수 상태 대신 혼합 상태로 작성된 경우 이를 Bures 계량이라고 한다.

== 상관 함수 ==
보조 함수 <math>J_k</math>을 도입하여 분배 함수로 변환한 다음 확률 변수의 기대값을 얻는 데 사용할 수 있다. 따라서 예를 들어 다음과 같이 작성하면 된다.

: <math>\begin{align} Z(\beta,J)
& = Z(\beta,J_1,J_2,\dots) \\
& = \sum_{x_i} \exp \left(-\beta H(x_1,x_2,\dots) +
\sum_n J_n x_n
\right)
\end{align}
</math>

그 중 하나는

: <math>\mathbf{E}[x_k] = \langle x_k \rangle = \left.
\frac{\partial}{\partial J_k}
\log Z(\beta,J)\right|_{J=0}
</math>

<math>x_k</math>의 기대값으로. [[양자장론]]의 [[경로 적분 공식화]]에서 이러한 보조 함수를 일반적으로 근원 장이라고 한다.

다중 미분은 확률 변수의 연결된 상관 함수로 이어진다. 따라서 변수  <math>x_j</math>와 <math>x_k</math>  사이의 상관 함수 <math>C(x_j,x_k)</math>는 다음과 같이 주어진다:

: <math>C(x_j,x_k) = \left.
\frac{\partial}{\partial J_j}
\frac{\partial}{\partial J_k}
\log Z(\beta,J)\right|_{J=0}
</math>

== 가우스 적분 ==
''<math>H</math>가'' [[미분 연산자]]를 포함하는 [[이차 형식]]으로 작성될 수 있는 경우, 즉 다음과 같다.

: <math>H = \frac{1}{2} \sum_n x_n D x_n</math>

그러면 분배 함수는 가우시안에 대한 합 또는 [[가우스 적분|적분]]으로 이해될 수 있다. 상관 함수 <math>C(x_j,x_k)</math>는 미분 연산자에 대한 [[그린 함수]]로 이해될 수 있다(그리고 일반적으로 [[프레드홀름 이론]]을 발생시킨다). 양자장론 설정에서 이러한 함수를 [[전파 인자]]라고 한다. 고차 상관자를 n-포인트 함수라고 한다. 그들과 함께 작업하는 것은 이론의 [[유효 작용]]을 정의한다.

확률 변수가 반교환 [[반가환수|그라스만 수]]일 때 분배 함수는 연산자 ''D'' 의 행렬식으로 표현될 수 있다. 이는 [[베레진 적분|베리진 적분]](그라스만 적분이라고도 함)으로 작성하여 수행된다.

== 일반적 성질 ==
분배 함수는 중요한 확장성과 보편성을 논의하는 데 사용되며 [[재규격화군|재규격화 군]]의 적용을 받는다.

== 같이 보기 ==
* [[지수족]]
* [[분배 함수 (통계역학)|분배 함수 (통계 역학)]]
* [[분할 문제]]
* [[마르코프 네트워크]]

== 각주 ==
{{각주}}

[[분류:정보 엔트로피]]
[[분류:확률론]]
[[분류:정보 기하학]]