정리 - 인공 신경망

- 퍼셉트론(Perceptron)
  두뇌의 인지 능력을 모방하도록 만든 인위적인 네트워크.

- 역전파(Backpropagation, BP)
  신경망의 학습에 사용되는 알고리즘이다. 순방향 네트워크에서 사용되는 학습 알고리즘인데,
  입력값과 그에 대한출력값이 존재하는 지도학습 방법으로 구현된다.
  입력값을 신경망에 넣어 나온 출력값을 목표값과 비교하여 오차를 구해,
  신경망의 내부 노드의 연결가중치를 조율하는 방법으로 구현할 수 있다.

- 아달라인(Adaline)
  역전파 학습법을 기반으로 한 단일 레이어 신경망.
  마달라인(Madaline) 은 아달라인의 복수형 ... 그러니까 멀티플 아달라인이다. 신경망 층의 개수가 둘 이상일때..
  패턴인식에 사용된다.
  .. 지금 자바로 열심히 만들고있는것도 마달라인의 일종인듯...

- 홉필드 망(Hopfield net)
  존 홉필드에 의해 개발된 신경망 모델.
  뉴런의 작용을 단지 임계값의 작용으로 보고 훈련에 의한 정보가 연결강도에 의해 표현된다는 간단한 이론에 기초함.
  연상기억 이나 최적화 문제를 해결하는데 있어 매우 유용.
  하지만 지역 최소값에 빠져 문제를 해결하지 못하는 경우도 종종 발생한다.

- 볼츠만 머신(Boltzman machine)
  홉필드 망의 일반화된 모델 이라고도 함.
  홉필드 망이나 역전파 망에서는 그라디언트가 아래로만 향하는 방식으로 학습했지만,
  볼츠만 머신에서는 확률적으로 증가하는 경우도 있어서 지역 최소값에서 벗어날 수 있게 되었다.

- 카운터프로퍼게이션 네트워크(Counter-propagation network, CPN)
  Teuvo Kohonen 의 경쟁 네트워크(SOM)와 Stephen Grossberg 의 아웃스타 (outstar)구조의 결합으로 이루어져 있다.
  중간의 은닉층은 자율적인 학습을 하는 경쟁적인 뉴런들로 이루어진 코호넨의 층을 사용하며,
  상위층은 그로스버그의 층으로 이루어져 있는데 은닉층과 완전연결 (fully connected) 되어 있으나 경쟁하지는 않는다.
  SOM알고리즘과 아웃스타의 장점을 잘 살릴수 있어 매우 빠른 학습속도를 보인다.
  패턴인식, 최적화 기법, 근사 계산에 이용.