nlg
강의 소개
강의 소개
자연어 생성
자연어 생성 시스템
챗봇
딥러닝 자연어 처리의 최근 동향
1주차 과제
전처리
실습을 위한 안내
구글 콜랩 사용법
텐서플로와 파이토치 설치
transformers 라이브러리
자연어 처리에서 토큰화 방법
한글 풀어쓰기
준단어 토큰화의 종류
준단어 토큰화 실습
2주차 과제
딥러닝 프로그래밍
텐서플로 모형 만들기
순차적 API
함수형 API
명령형 API
Python 클래스
모형 서브클래싱
1주차 피드백
언어 모형
언어 모형으로 다음 토큰 예측
마스크 언어 모형으로 문장 중간의 빈 칸 예측
기타 파이프라인
텐서
로짓
자연어 생성
언어 모형의 결정론적 디코딩
transformers 결정론적 디코딩
언어 모형의 확률적 디코딩
transformers 확률적 디코딩
마스크 언어 모형의 디코딩
transformers 깁스 추출
자연어 생성 기법의 한계
자연어 생성의 평가
자연어 생성의 평가 방법
사람에 의한 평가
혼란도
혼란도 계산
HUSE
단어 겹침 측정치
KoGPT2를 이용한 한국어 문장 생성
BLEU 계산 (수정)
KoGPT2
KoGPT2 소스 코드 분석
KoGPT2 파일 다운로드
KoGPT2 모형 변환
KoGPT2를 이용한 한국어 문장 생성
KoGPT2 미세 조정
KoGPT2 미세 조정
자동 미분
텐서플로 Dataset
챗봇 데이터로 미세 조정
챗봇과 대화하기
KoGPT2를 이용한 감성분석과 TFRecord
전이 학습의 방식들
토큰화된 데이터를 TFRecord로 저장
GPT2 모형의 출력을 TFRecord로 저장
GPT2 모형의 출력으로 감성 분석
TFRecord
BERT
GPT2 감성분석 모형 사용하기
BERT
BERT의 사전 학습
BERT와 과제들
단일 문장 분류 과제
문장 짝 분류 과제
질문 답변 과제
토큰 분류 과제
BERT와 모형 압축
transformers에서 BERT
KoBERT
모형이 커지면 생기는 문제
모형 압축
BERT의 압축 모형들
DistilBERT
한국어 DistilBERT
BERT의 미세 조정
BERT를 이용한 문장 분류
BERT를 이용한 문장 관계 예측
BERT를 이용한 빈 칸 채우기
BERT의 확장
강화 학습
강화 학습의 개념
강화 학습 기본 용어
강화학습의 방식
자연어 생성에서 강화 학습의 필요성
자연어 생성에서 강화 학습의 활용 사례
강화 학습의 문제점
강화학습 REINFORCE 알고리즘
파라미터화된 정책
경사 상승법과 정책 경사 정리
REINFORCE 알고리즘
OpenAI Gym
Gym 실습 (1) 환경
Gym 실습 (2) 에피소드
Gym 실습 (3) REINFORCE 구현
Open-domain 챗봇의 최근 동향
자연어 생성에 강화학습 적용
Open-domain 챗봇의 최근 동향
Meena 챗봇
Blender 챗봇
Blender에서 나타난 문제점
기말고사
[nlg] 마스크 언어 모형의 디코딩
5주차 슬라이드
Previous
transformers 확률적 디코딩
Next
transformers 깁스 추출
