[QML] 양자 머신 러닝에서 Barren plateaus - 불모의 고원

불모의 고원(Barren plateaus)이란?

기울기 소실(vanishing gradient). 즉, 양자 회로에서 기울기가 사라지는 현상이 발생한다. 

일반적인 인공신경망에서의 기울기 소실과는 다르기 때문에 '불모의 고원(Barren plateaus)'이라는 다른 이름이 붙었다.

 

불모의 고원의 원인

양자 회로가 무작위로 초기화될때 발생한다. 양자 회로의 무작위 초기화는 무작위로 작업 및 매개변수를 선택하는 것을 의미한다. - tensorflow blog

양자 공간의 측정 집중 현상으로 발생한다. - [article] Barren plateaus in quantum neural network training landscape

양자 관측 가능한 농도에 대한 그림을 보면 다음과 같다. 이로 인해 구에서는 양자 공간의 측정 집중 현상이 발생한다. 측정 집중 현상이란 임의의 좌표를 따라 0에서 고정각도 거리를 벗어나는 큐비트 수에 해당될때 급속도로 감소하는것을 말한다. 관측 가능한 항목이 힐베르트 공간에서 평균에 집중되고, 기울기가 기하급수적으로 작은 평평한 고원을 의미한다. 

 

양자 머신 러닝에서 불모의 고원이 발생하는 조건

 

복잡한 회로 사용 때문이다.

 

회로의 큐비트 수와 레이어 수가 증가할수록 악화된다. 회로에 더 많은 레이어를 추가할수록 그라디언트의 분산이 작아진다. 회로의 크기가 증가함에 따라 최적화 환경이 여러곳에서 평평해져 로컬 최소값도 찾기 어렵게 된다.

 

때문에, layer가 많이 쌓일수록 오류가 발생한다. 머신 러닝 에서는 layer가 쌓일수록 오류가 발생하는 점은 기울기 소실과 불모의 고원이 유사하다.

 

 

 

불모의 고원 해결 방법

피셔정보 이용 - 헤세 행렬이 불모의 고원을 해결할 수 있다는 자료가 발표되어있다. 헤세행렬과 피셔정보의 구성이 유사하기 때문에 피셔 정보를 사용하여 불모의 고원을 해결하고자 한다. 이를 실험하고 검증한 논문이 있다. 

 

The power of quantum neural networks

---

참고자료

-  Barren Pleateaus, Trainability Issues, and How to Avoid Them (https://learn.qiskit.org/summer-school/2021/lec8-2-barren-plateaus-trainability-issues-how-avoid-them)

- Barren plateaus in quantum neural network training landscapes (https://www.nature.com/articles/s41467-018-07090-4)

- [Tensorflow Blog] Layerwise learning for Quantum Neural Networks (https://blog.tensorflow.org/2020/08/layerwise-learning-for-quantum-neural-networks.html)

- Qiskit community slack