moment garden

Windy Frozen Lake 꽁꽁 언 호수를 건너 목적지에 도달하기 위한 경로 선택의 알고리즘, q-learning에 대해 계속 학습중이다. 이번엔 이 얼어있는 호수위에 강풍이 불고 있다고 가정해보자. 즉 내가 선택한 방향을 향해 가려고 노력하지만 바람때문에 의도치 않은 방향으로 미끄러지거나, 자칫하다간 얼음 웅덩이를 만날 수도 있는 불확실환 환경이다. Deterministic VS Stochastic 이러한 불확실한 환경을 Non-deterministic (비결정론적) 하다고 일컫는다. 내가 오른쪽으로 가려고 해도 가지지 않는 것. 어느 정도의 무작위성을 내재하고 있는 모델이다. 반면 deterministic하다는 것은 항상 일정한 상황이 정해져 있다는 것이다. 오른쪽으로 가려고 하면 항상 그 방향..

지난 시간에 큐러닝 알고리즘에 대해서 배웠지만, 아래 대목에서 어떠한 연유로 'a'를 선택하는 지에 대해서는 말하지 않았다. Select an aciton a and execute it (= a라는 특정한 행동방식을 선택 및 수행한다) Exploitation & Exploration 알고리즘 - 특정 행동을 선택하는 데 있어서 그 기반이 되는 알고리즘 1) exploit : 내가 가진 선택지 안에서 선택하는 방식 ex. 내가 자주 가는 가장 맛있는 식당을 선택하는 것 2) explore : 시도해보지 않은 새로운 선택지를 택하는 방식 ex. 전혀 가본 적없는 식당을 선택하여 모험하는 것 Exploration-exploitation 딜레마 - 새로운 것을 탐색할 것인가 vs 이미 내가 가진 패를 잘 활용할..

CNN 구조는 몇가지 종류의 레이어로 구성이 되는데, 보통 conv(olutional)레이어, Relu, Pooling, FC 레이어로 구성이 된다. Pooling 컨볼루셔널 레이어를 거쳐 추출된 특징들은 샘플링의 과정을 거치는데, 이 중 하나인 pooling을 일종의 (down)sampling 과정으로 볼 수 있다. 고해상도 이미지를 보면 이미지가 나타내는 물체가 무엇인지 한번에 파악할 수 있지만, 저해상도 이미지를 보더라도 우리는 어렵지 않게 판단을 내릴 수 있는 원리다. 직전 포스팅에서 필터를 이용해 원본 이미지 사이즈에서 output 사이즈를 구하는 과정에 대해 작성했는데 이 output 을 우리는 activation map이라고 한다. pooling은 이 activation map을 인위적으로 ..

CNN의 시작은 고양이의 시신경을 실험하면서 어떤 이미지를 보여줄 때 뇌 전체가 아닌 일부만 활성화된다는 사실을 알게되면서 부터다. 이미지로 시작하기 32X32X3 사이즈의 이미지를 입력받는다고 가정했을 때, 이미지의 일부인 5X5X3사이즈의 영역만 -이 일부를 필터라고 부른다- 읽어들인다. 이 때 필터가 하는 일은 궁극적으로 하나의 값(number)을 만들어내는 것이다. = Wx+b를 이용해 한 값을 만들어낸다. 전체 이미지에 대해 몇개의 필터 즉, 값이 필요한 것일까? 이 전체 사이즈(32X32X3)중 일부만 잘라내기 위해 5X5X3 필터를 이용한다고 가정해보자. 이 때 필터의 역할은 잘라낸 이미지를 통해 하나의 값을 추출해 내는 것이다. W의 값은 필터의 값이라고 보면된다. 필터는 전체 이미지를 훑..