샤프펜슬이 끄적이는 생각공간

Transformer 이론¶1. 딥러닝 기반 기계 번역 발전 과정¶ 2021년 기준으로 최신 고성능 몬델들은 Transformer 아키텍처 기반으로 하고 있음 GPT : Transformer의 디코더 아키텍처 활용 BERT : Transformer의 인코더 아키텍처 활용 1.1. 연도순 발전과정¶ RNN (1986) LSTM (1997) : 다양한 시퀀스 정보 모델링 가능 (주가예측, 주기함수 예측 등) Seq2Seq (NIPS 2014) : 딥러닝 기반. 고정된 크기의 context vector를 사용하여 번역 진행. 단, 소스 문장을 고정된 크기의 vector에 압축해야 한다는 점에서 성능 한계가 드러남 Attention (ICLR 2015) : Attention 기법의 등장 Transformer (..

기계번역 이론¶1. RNN(Recurrent Neural Network¶ RNN은 시퀀스의 길이와 관계없이 입력을 받아들일 수 있는 네트워크 구조 RNN은 다양한 아키텍처를 가질 수 있다. one to one ~ many to many RNN의 한계 : 토큰 사이의 거리가 먼 경우 연속적인 정보가 잘 전달되지 않을 수 있음 2. LSTM¶ 핵심 아이디어 Gate Forget gate : 정보를 잊게 만드는 gate Input gate : 새로운 정보를 장기기억에 반영하는 역할 Cell state : forget gate와 input gate를 이용하여 업데이트하는 일종의 장기기억 output gate : 장기기억과 현재의 데이터를 이용해 단기기억(hidden state) 갱신 전통적 RNN 기반 번역 과..

Neural Image Caption 이론¶1. Image Caption Generation?¶ 이미지를 설명하는 문장을 생성하는 기술분야 대표적인 모델로는 Neural Image Caption(NIC)가 있다. CNN 네트워크를 이용해 이미지의 특징을 추출한 뒤 RNN을 거쳐 문장을 생성 이미지를 입력으로 받아 이미지를 설명하는 문장을 생성 이미지 캡션 생성은 "이미지를 번역"하는 문제로 보기 입력 : 이미지 I, 출력 : 목표 문장 S 따라서 가능도 P를 최대화하는 문제로 정의 가능 : 어떤 문장이 해당 이미지를 가장 잘 설명하는가? 2. 이미지 캡션 생성과 기계 번역의 공통점¶ 기계번역에서는 P(T|S)를 최대화한다. 소스 문장을 대표하는 하나의 문맥 벡터를 이용 이미지 캡션 생성 또한 P(S|I)..

Sequence to Sequence Learning with Neural Networks¶ 본 논문에서는 LSTM을 활용한 효율적인 Seq2Seq 기계 번역 아키텍처를 제안한다 Seq2Seq는 딥러닝 기반 기계 번역의 돌파구 역할을 수행했음 Transformer가 나오기 전까지 state-of-the-art로 사용 Seq2Seq : Encoder에서 투입된 내용이 "고정된 크기"의 vector를 지나 Decoder로 출력 context vector가 일종의 보틀낵으로 사용됨. 1. 딥러닝 기반의 기계 번역 발전 과정¶ 2021년 기준으로 최신 고성능 모델들은 Transformer 아키텍처를 기반으로 하고 있음 GPT : Transformer의 디코더(Decoder) 아키텍처를 활용 BERT : Tran..

CNN을 활용한 풍경 이미지 분류 실습1¶ "problem"이라고 적힌 부분만 코드를 직접 작성하였음을 알림! In [30]: import pandas as pd import os # 파일과 csv를 포함하는 폴더 경로 지정 path = 'D:/workspaces/WinterStudy2022/5. Deep Learning basic/practice2_scene/Scene-Classification-Dataset-Split-main/' # 전체 이미지 개수 출력하기 # 파일 os.listdir를 이용하여 디렉토리 내 파일을 리스트화하여 file_list에 저장한다. file_list = os.listdir(path + 'train/') print("file_list 확인 : "..

Natural language basic¶1. 데이터의 표현¶ 컴퓨터는 일반적으로 처리할 데이터를 행렬이나 벡터를 이용하여 처리 이미지 : 텐서, 행렬 또는 벡터로 표현 자연어 : 문장 혹은 단어를 벡터로 표현 데이터를 벡터로 표현할 때 장점 : 두 데이터 간 수치적 비교 가능, 머신러닝 모델의 입력 용이 1.1. 원-핫 인코딩¶ 단어를 수치적으로 표현하는 가장 기본적인 방법 각 단어를 항목에 할당한 후, 해당하는 단어가 등장할 경우 할당된 칸에 1 표시 1.2. BoW (Bag of Words)¶ 순서는 무시하고, 단어의 출현 빈도를 계산하는 데이터 표현 방법 문서 단어 행렬 (Document-Term Matrix, DTM) : 여러 문서에 대해 BoW를 적용하여 하나의 행렬로 표현한 것 단점1. 단어..

CycleGAN¶ 쌍을 이루지 않은 데이터셋으로 학습이 가능한 image-to-image translation 메서드 제안 cycle-consistent loss를 제안하여 다양한 업무에서 뛰어난 성능을 보임. CycleGAN은 Pix2Pix의 한계점을 보완하는 형태로 등장 1. 배경지식 (복습)¶1.1. 생성 모델(Generative Models)¶ 실존하지 않으나 있을 법한 이미지를 생성하는 모델 데이터의 분포 자체를 학습함 새로운 데이터 객체를 생성하는 아키텍쳐의 일종 이미지의 분포를 실제처럼 근사하는 과정이 필요 1.2. Generative Adversarial Networks(GAN)¶ GAN은 생성자와 판별자 두 개의 네트워크로 구성 생성자 : 판별자를 속이는 이미지 생성 판별자 : 특정한 이..

In [1]: import os import pandas as pd # 파일과 csv를 포함하는 폴더 경로 지정 path = 'D:/workspaces/WinterStudy2022/pytorchPractice/practice1_scene/train-scene classification/' # 전체 이미지 개수 출력하기 # 파일 os.listdir를 이용하여 디렉토리 내 파일을 리스트화하여 file_list에 저장한다. file_list = os.listdir(path + 'train/') print("file_list 확인 : ",file_list[:5]) print("file_list 타입확인 : ", type(file_list)) print('전체 이미지의 개수:', len(file_list)) fi..

Image-to-Image Translation with Conditional Adversarial Networks¶ 본 논문에서는 conditional GAN을 활용한 간단한 image-to-image translation 메서드를 제안한다. 다양한 업무에 공통적으로 적용할 수 있는 generic approach로 사용 가능 간단한 이미지를 실사처럼 변환, 흑백 사진을 컬러 사진으로 변환, 낮 풍경의 사진을 밤 풍경의 사진으로 변환 등.. 손실 함수 및 하이퍼 파라미터의 까다로운 조정이 요구되지 않는다는 장점이 존재 1. GAN (Generative Adversarial Networks)¶ 다양한 데이터를 생성할 수 있는 뉴럴 네트워크의 한 유형 "있을 법한" 데이터를 무수히 많이 만들어낼 수 있다는 ..

GAN : Generative Adversarial Networks¶ 컴퓨터는 존재하지 않는 그럴싸한 이미지를 어떻게 만들어낼 수 있는 것인가? 1. 확률분포¶1.1. 확률분포의 정의¶ 확률 변수가 특정한 값을 가질 확률을 나타내는 함수 이산확률분포 : 확률변수 X의 개수를 정확히 셀 수 있을 때 사용, 모든 확률의 합은 1 연속확률분포 : 확률변수 X의 개수를 정확히 셀 수 없을 때 사용(키, 달리기, 성적 등) - 많은 데이터는 정규분포로 표현이 가능하다 1.2. 이미지 데이터에 대한 확률분포¶ 이미지 데이터는 다차원 특징 공간의 한 점으로 표현 : 이미지의 분포를 근사하는 모델을 학습 가능 이미지에서는 다양한 특징들이 각각의 확률 변수가 되는 분포가 도리 수 있음 : 다변수 확률분포(multivar..