이것저것 코딩하는 블로그

1. SRResNet[1] 앞서 포스팅했던 (codinglilly.tistory.com/4) SRCNN 과정을 한 블록으로 생각하여 계속 쌓아 모델을 만들면 일정 깊이까지는 높은 정확도를 보인다. 그러나 일정 깊이 이상에서는 기울기 폭발이나 기울기 소실의 문제가 발생한다. 이를 해결하기 위해 고안된 모델 구조가 SRResNet이다. 0) Batch SRResNet을 말하기에 앞서 batch의 개념을 살펴보자. 학습을 할 때 방대한 양의 데이터를 모두 처리하며 학습하는 것은 비효율적이고 많은 parameter과 시간을 요구한다. 따라서 입력 데이터를 일정한 size로 나눈 후, 해당 batch에 대한 학습을 진행한다. Batch별 학습 결과를 정규화하여 한 데이터셋에 대한 학습 결과를 도출하게 되는데, 이..

1. SRCNN[1] 앞서 살펴본 CNN에 대한 설명은 image classification 위주로 되어 있다. 그렇다면 CNN을 우리의 목적인 super-resolution (SR) 에 어떻게 적용할 수 있을까? 이를 다룬 논문인 SRCNN을 리뷰하며 그 방법을 알아보고자 한다. Super-resolution이란 low resolution (저해상도, LR) 이미지를 high resolution (고해상도, HR) 이미지로 변환하거나 화질을 개선시키는 기술이다. 주로 지도 학습으로 이루어지며, low resolution과 ground-truth (GT) 이미지를 모델에게 제공한 후, 모델은 HR 결과와 GT 결과의 차이가 적어지도록 학습된다. SRCNN의 SR 과정을 논문에 주어진 단계에 따라 살펴보자..

0. Fully-connected Layer (완전 연결 신경망) 앞서 신경망의 기초 개념을 살펴보았으니, 이번에는 다양한 신경망의 종류를 살펴보겠다. 그 중 가장 기본적인 것은 완전 연결 신경망 (fully-connected layer) 인데, 이는 이전에 살펴본 신경망들과 같이 k-1번째 계층의 모든 뉴런들과 k번째 계층의 모든 뉴런들이 연결되어 있는 신경망을 말한다. 이러한 계층 (이를 Affine 계층이라고 한다)을 쌓고, 하나의 fully-connected layer 뒤에 활성화 계층 (활성화 함수)를 연결한 것이 지금까지 살펴본 신경망의 기초 단위였다. 그러나 이는 어마어마한 계산량을 요구한다. 그렇다면 CNN은 이런 계층과 어떤 차이가 있을까? 1. CNN의 기본 구조 – Convolutio..

0. 신경망 1) 뉴런 신경망을 구성하는 것은 뉴런이다. 뉴런이란 하나의 함수로 이해하면 되는데, 입력값을 넣으면 어떤 과정을 거쳐 (이 과정은 사용자가 정의한다) 결과를 내놓는 것이다. 2) 퍼셉트론 퍼셉트론이란 특정한 과정이 설정된 뉴런이다. 그 과정이란, 입력값을 넣으면 퍼셉트론은 정해진 가중치를 곱하여 결과값을 계산한다. 그리고 그 결과값이 일정한 값을 넘으면 값을 출력한다. 이 때 일정한 값을 정하는 함수는 활성 함수라고 불리운다. 활성 함수에는 여러가지가 있는데, 대표적으로 시그모이드 함수와 ReLU 함수가 있다. 시그모이드 함수의 식은 다음과 같다. fx=1/1+e-x : 시그모이드 (Sigmoid) 함수 f(x) = max(0,x) : ReLU 함수 개형은 다음과 같다. 두 함수 모두 일정..