한 주 개요RecSys 학습 기간이 지났다. NLP, CV보다 RecSys 에서 수학을 더 많이 사용한다고 느껴졌다... 학습 내용/과제 수행 과정이번 주는 면접을 보기 위한 포트폴리오를 작성하고, 내가 적용한 기술 다시 공부하고 있는데 모델 구조까지 다 뜯어보려고 해서 그런가 너무 어렵다. Stable Diffusion 모델에 대해서 학습을 했고, LaMa Cleaner 모델에 대해서 공부 중이고, Agent에 대해서 공부해야 한다. 또, 포트폴리오에 적지 않은 다른 프로젝트에서 나온 ResNet에 대해서 논문을 읽고 정리했다. 그리고 변분추론에 대해서 공부했는데, 이해는 한 것 같은데 이게 어떻게 적용되는지에 대해 추가 학습을 해야 할 것 같다. 이번 주 위클리 미션은 수식을 코드로 작성하는 거라 ..

논문Deep Residual Learning for Image Reconition (2015)0. keywordResidual Learning, Identity Shortcut 1. What is new in the work 이 논문은 기존의 심층 신경망 학습 방식을 바꾼 Residual Learning 프레임워크를 제안한다. 기존의 입력 x를 통해 출력인 H(x)를 학습하는 대신, 각 층이 입력과의 차이(잔차)인 F(x) = H(x) - x 만 학습하도록 바꾸었다. 이를 위해 shortcut connection을 도입해, 출력 y = F(x) + x 형태로 입력을 그대로 다음 층에 더해준다. 이 단순한 구조로 100층 이상의 깊은 네트워크도 안정적으로 학습이 가능해졌다. 2. Why is the wo..

한 주 개요NLP 맛보기학습 내용/과제 수행 과정Tokenization, 전처리, 임베딩, RNN, LSTM에 대해 학습하는 주간이었다. SAM 논문을 읽었는데, image encoder는 이미지를 임베딩으로 변환하고,prompt encoder는 프롬프트를 임베딩으로 변환한다. 두 정보를 결합한 후, mask decoder가 세그멘테이션 마스크를 예측한다. 이 전체 구조를 Segment Anything Model이라 부른다고 한다. 많은 데이터로 학습을 했으며, 새로운 이미지 분포에서도 제로샷으로 동작하며, 다양한 시각적 작업에 바로 적용할 수 있는 범용 모델임을 입증했다고 한다. 밑바닥부터 시작하는 딥러닝 책에서 학습한 부분은, 자연어와 단어 분산 표현 부분인데, 컴퓨터에게 단어의 의미를 이해시키는 ..

한 주 개요cv 맛보기과거의 실패들 원인 짐작하기학습 내용/과제 수행 과정가장 기억에 남는 모델과 툴이라면 ResNet, VggNet, YOLO, SAM이 있다. ResNet과 VggNet은 악보 이미지 전처리 연구에서 인식률 확인용으로 사용했고,YOLO도 데이터를 라벨링 하고 학습해서 인식률 확인에 사용했는데 기대에 미치지 못했어서 그 이유를 짐작할 수 있으리라 생각한다. SAM은 생성형 AI 기반 이미지 편집 기능을 구현할 때 품질 향상을 위한 방법으로 사용할 수 있었으리라 생각한다. 이러한 이유로 해당 모델들은 논문도 읽어보고 구체적으로 파악해보려고 한다. 위클리 미션으로 ResNet 논문 읽고 ResNet을 구현 및 파인 튜닝 해보는거였는데, 일단 논문 읽는 것도 벅찼고, 논문 그대로 구현하는 ..

한 주 개요벌써 3주가 지났다. 시간이 정말 빠르다.내가 이룬 건 뭘까..? 학습 내용/과제 수행 과정이번 주는 개인적인 일이 꽤 있어, 오로지 강의와 퀴즈, 기본 과제를 학습하는 데 의의를 두기로 했다...이번 주부터 transformer을 배워 LLM 시작이라고 느꼈다.transformer 모델을 어느 정도 알고 있었는데 깊게 공부하려니 이해가 잘 안 되기도 하고,직접 구현하기가 정말 어렵다고 느꼈다. 피어세션낯선 첫 시작을 3주간 함께한 팀원들인데, 오늘을 마지막으로 팀 활동을 끝냈다... 코테 문제를 푸는 걸 계획했었는데, 다행히 다 잘 진행되어서 성공적이었다(?)물론 나는 사정 상 몇 번 빠져서 다 풀진 못했다 ^^... 멘토 세미나이번 주에는 멘토 세미나가 있어서 참석했다. AI에 대한 내용들..

한 주 개요AI math에 대해 배우는 한 주였다.학부 때도 선형대수와 확률과통계, 미적분 등 들었지만 오래돼서 기억이 잘 안 나서 새로 듣는 것 같았다. 실질적인 강의 시간은 짧은데, 이해하려고 하면 30분이 1시간이 되는 마법... 학습 내용/과제 수행 과정현재 기억에 남는 내용은, 1. 벡터 자신을 내적하면 전치가 되어서 계산한다는 것? 2. einsum, einops - einsum: 아인슈타인 표기법으로 쓰는 텐서 연산 도구 - einops: 텐서를 rearrange, reduce, repeat 할 수 있는 라이브러리 - 이게 진짜 복잡한 연산 코드 작성하는 데 유용하다import numpy as np# 벡터 내적(dot product)a = np.array([1, 2, 3])b = np.arr..

네이버 AI Tech 1주차 회고로 오랜만에 블로그에 글을 쓴다. 오랜만에 글을 쓰니까 뭘 어떻게 써야할 지 잘 모르겠는데, 쓰다보면 글도 늘지 않을까 싶다. 사실 네부캠 AI Tech에 지원하게 된 이유는, 상반기 AI 관련 직무 면접에서 타인에게 설명할 만큼 스스로가 제대로 알고 있지 않다는 점에서 다시 공부를 해보려고 했고, 시기 좋게 모집 중이어서 지원을 했다. 네부캠인 이유는, 강사진, 운영 뿐만 아니라 활동하는 사람들이 열정을 가지고 참여할 거라는 생각이 있었기 때문이다. 분위기라는 것이 있는 게 아무래도 주변에 열정적인 사람들이 많으면 나도 템포를 따라가게 된다. 아무튼 첫 주는 공지사항 파악하고 강의 듣기, 과제하기, 이것저것 활동들(피어세션, 페어리뷰, 모각공, 위클리미션)이 무엇인..

Overview체감 난이도: ★★☆☆☆문제 레벨: Gold 3문제 유형: 시뮬레이션, bfs풀이 상태: 답안참고 / 스스로 해결추후: 다시 풀어보기 / 간단 복습 / 완벽 이해 [문제] [코드]문제 풀이 과정- 구현 조건 정리 - 코드 실행 위치 확인 (코드 위치에 따라 실행이 달라짐) [구현하면서 발생한 문제점과 주의할 점]* deque로 bfs를 구현함을 잊지 말기 from collections import dequeQ = deque()  1. BFS 방법은 생각했으나, 최단 거리 측정 문제처럼 dist 설정하는 방법을 몰랐음-> dist[nx][ny] = dist[x][y] + 1 (이전 거리 값 + 1)  2. dist, fish, Q 값 초기화 위치 문제 -> bfs 밖에서 초기화 해주는 바람에..

당신은 배열을 회전시키는 방법을 몇 개나 알고 있습니까...? 좌표 값으로 회전시키는 방법만 생각하다가 전치 시키는 방법을 알게 되어선형대수가 나와 망치로 한 대 맞은 기분이 들었고까먹을까봐 블로그에 정리하러 왔읍니다... 😵 먼저, 대부분이 알고 있는 좌표 값으로 배열을 회전시킨다. 1. 좌표 값으로 회전1(0, 0)2(0, 1)3(0, 2)시계 방향으로 90도 회전하면, (i, j) -> ( n - j - 1, i ) 이 된다. (ex. 7(2, 0) -> 7(3-0-1=0, 2)7(0, 0)4(0, 1)1(0, 2)4(1, 0)5(1, 1)6(1, 2)8(1, 0)5(1, 1)2(1, 0)7(2, 0)8(2, 1)9(2, 2)9(2, 0)6(2, 1)3(2, 0) grid = [[1, 2, 3],..

Overview체감 난이도: ★☆☆☆☆ * 떨어뜨리는 방법만 알면 구현은 어렵지 않다. 문제 레벨: IL / Simulation / 격자 안에서 터지고 떨어지는 경우 / 연습 문제 문제 유형: Simulation 풀이 상태: 답안참고 / 스스로 해결추후: 다시 풀어보기 / 간단 복습 / 완벽 이해 [문제]Trail 4 / Chapter 1 / Lesson 3 / 연습 문제 Code Tree | Learning to Code with ConfidenceA super-comprehensive, meticulously arranged Coding Learning Curriculum engineered by Algorithm Experts composed of former International Olympia..