[네이버 AI Tech 8기] Week 5 회고

한 주 개요

NLP 맛보기

---

학습 내용/과제 수행 과정

Tokenization, 전처리, 임베딩, RNN, LSTM에 대해 학습하는 주간이었다. 

 

SAM 논문을 읽었는데, 

image encoder는 이미지를 임베딩으로 변환하고,

prompt encoder는 프롬프트를 임베딩으로 변환한다. 

두 정보를 결합한 후, mask decoder가 세그멘테이션 마스크를 예측한다. 

이 전체 구조를 Segment Anything Model이라 부른다고 한다. 

많은 데이터로 학습을 했으며, 새로운 이미지 분포에서도 제로샷으로 동작하며, 다양한 시각적 작업에 바로 적용할 수 있는 범용 모델임을 입증했다고 한다.

 

밑바닥부터 시작하는 딥러닝 책에서 학습한 부분은, 

자연어와 단어 분산 표현 부분인데, 컴퓨터에게 단어의 의미를 이해시키는 방법에 대해서 학습했다. 

시소러스 이용하는 방법에서 시작해서, 통계 기반 기법, 추론 기반 기법으로 발전해온 내용을 학습했다. 

 

이번 주 위클리 미션은 단계마다 코드 검증할 수 있는 테스트 코드가 있었고, 작성에 크게 어려운 부분은 없었다. 

다만, 정확도가 이상하게 나와서 무슨 문제인지 페어리뷰 때 함께 고민했는데, 

h_t, c_t = lstm_cell(x_t, h_t, c_t,self.W_f, self.W_i, self.W_g,self.W_o, self.b_f, self.b_i, self.b_g, self.b_o)

 

이 코드 부분을 작성하지 않았다.

매 시점 t에서 LSTM 한 스텝을 계산하는 호출인데, forget bias가 사용되는 부분이라고 한다. 

그래서 forget bias = 1이 적용되지 않았고, 0일 때랑 같은 정확도가 나왔던 것이다... 

코드 추가하고 난 뒤 결과 값

 

그렇다면, forget bias는 뭐고, 0일 때랑 1일 때 성능 차이가 나는 이유는 무엇인가? 

 

LSTM에는 3개의 gate가 있는데,

1. input gate: 새로운 정보를 얼마나 받아들일지 

2. output gate: 최종적으로 얼마나 보여줄지

3. forget gate: 이전 기억을 얼마나 잊을지 

있다. RNN의 장기 의존성 문제(기울기 소실) 때문에, 기억을 조절할 수 있는 구조를 추가한 모델이 LSTM이다. 

 

forget bias는 forget gate의 출력값을 초기 단계에서 조절하는 편향값이다. 

 

1일 경우, 학습 초기 단계에서 기억을 천천히 잊게 해준다. 

0일 경우, 너무 빨리 잊어서 장기 정보는 손실되기 쉽다. 

반대로 너무 크면, 기억을 너무 안 지워서 새 정보가 들어오기 힘들다 > 학습이 느려진다.

 

피어세션

밑바닥부터 시작하는 딥러닝 책을 추천 해주셔서 2권을 보고 있는데, 차근차근 설명해줘서 좋은 것 같다. 

 

회고 

이번 주는 추석 연휴가 끼는 바람에, 알고리즘 문제를 매일 풀지 못한 점이 아쉽다. 

이제 도메인을 정해야 하는 시간이 슬슬 다가오고 있는데, 그 전까지 딥러닝 책을 다 읽고 내 것으로 만들 수 있도록 해야겠다.