목록데이터 분석 직무/ML&DL&NLP (10)

Data Analyst KIM

[DL/NLP] 문서 분류 모델 만들기(영화 리뷰 감성 분석)

자연어 처리를 이용한 영화 리뷰 감성분석 모델 만들기 Step1. 코랩 노트북 초기화하기 오른쪽 상단의 링크 접속, [내 드라이브에 복사] 진행 [런타임 → 런타임 유형 변경]을 클릭하고 [GPU]나 [TPU] 둘 중 하나 선택 (GPU 사용 권장) Step2. 각종 설정하기 패키지 설치 구글 드라이브 연동 모델 환경 설정 랜덤 시드 고정 로거 설정 # 의존성 패키지 설치 !pip install ratsnlp # 구글드라이브와 연결 from google.colab import drive drive.mount('/gdrive', force_remount=True) # 모델 환경 설정 import torch from ratsnlp.nlpbook.classification import Classificatio..
데이터 분석 직무/ML&DL&NLP 2023. 11. 6. 20:37
[ML] Kaggle_뇌졸중 데이터를 활용한 분류모델 만들기(불균형데이터,SMOTE)

Cerebral Stroke Prediction-Imbalanced Dataset Identify Stroke on Imbalanced Dataset www.kaggle.com 1. 라이브러리 불러오기 import numpy as np import pandas as pd import matplotlib.pyplot as plt import matplotlib.patches as mpatches from sklearn.impute import KNNImputer #Imputation %matplotlib inline import warnings warnings.filterwarnings("ignore") 2. 데이터 확인 df = pd.read_csv('dataset.csv') df.info() impor..
데이터 분석 직무/ML&DL&NLP 2023. 11. 3. 16:38
[Deep Learning] 전이 학습(transfer learning) : 치매 환자 분류하기

전이 학습(transfer learning)이란? 여러 방법 중에서 수 만장에 달하는 기존의 이미지에서학습한 정보를 가져와 내 프로젝트에 활용하는것 전이 학습 방법 먼저 대규모 데이터 셋에서 학습된 기존의신경망을 불러옴 CNN 모델의 앞쪽을 이 신경망으로채움 뒤쪽 층에서 나의 프로젝트와연결함 이 두 신경망이잘 맞물리게끔미세 조정(Fine tuning)을하면 됨 전이 학습 사용하는 이유 데이터 셋 부족의 해결 비용 절감 학습에 필요한 인력 감소 전이 학습 : 치매 환자 분류하기 from tensorflow.keras.preprocessing.image import ImageDataGenerator from tensorflow.keras import Input, models, layers, optimizer..
데이터 분석 직무/ML&DL&NLP 2023. 10. 27. 10:33
[Deep Learning] 이미지 증강 : MRI 뇌 사진을 통한 치매 환자 예측

현실에서 데이터 셋이 부족하여 학습의 정확도가 높지 않은 경우가 많다. 이럴 경우 이미지를 증강하여 데이터 셋을 늘리는 방법을 사용할 수 있다. 이미지 증강은 지도 학습인데 지도 학습의 성능을 향상시키기 위해서는 수 많은 정답지가 필요하다. 따라서 이미지 증강을 통해 현실에서 적은 데이터의 양을 늘려서 학습을 시켜보자. 이미지 증강 기법은 원본 이미지를 회전시키거나, 뒤집거나, 자르는 등의 방법을 통해 새로운 이미지를 생성한다. 이미지를 자르거나 섞는 방법으로 만들어진 이미지는 모델의 과적ㅇ합을 막아주는 중요한 역할을 한다. 단, 너무 많은 증강 기법을 사용하면 학습 시간이 늘어날 수 있기 때문에 불필요하게 많이 생성하면 안된다. 주어진 데이터의 특성을 잘 파악해서 사용하는 것이 효과적이며 학습 데이터 ..
데이터 분석 직무/ML&DL&NLP 2023. 10. 27. 09:48
[Deep Learning] 오토인코더(Auto-Encoder)란 무엇인가?

오토인코더(Auto-Encoder, AE)란? 가상의 이미지를 만드는, 또 하나의 알고리즘 GAN과 비슷하지만 다른 성질을 지니고 있음 GAN : 세상에 존재하지 않는 완전한 가상의 것을 만듬 오토인코더 : 입력 데이터의 특징을 효율적으로 담아낸 이미지를 생성 오토인코더 활용 : 영상 의학 분야 등 데이터 수가 충분하지 못한 분야 오토인코더의 학습 과정 소실된 데이터를 복원하기 위해 학습을 시작하고, 입력 데이터의 특징을 효율적으로 응축한 새로운 출력이 나오는 원리 인코더 : 차원 축소 디코더 : 이미지 생성 모델 비지도 학습 : 손실 함수 - rmse 사용 지도 학습 : 손실 함수 - 크로스 엔트로피 오토인코더 모델 구현 from tensorflow.keras.datasets import mnist f..
데이터 분석 직무/ML&DL&NLP 2023. 10. 26. 17:30
[Deep Learning] GAN이란 무엇인가?

생성적 적대 신경망(Generative Adversarial Network,GAN) 비지도학습 알고리즘 딥러닝의원리를 활용해 가상의 이미지를 생성하는 알고리즘 적대 (Adversarial, 서로 대립 관계에 있는)이란 단어는 GAN 알고리즘의성격을 잘 표현함 진짜 같은 가짜 이미지를 생성하기 위해 GAN 알고리즘 내부에서는‘적대적’인경합을 진행하기 때문임 생성자(Generator) 가짜 이미지를만들어 내는 공장 초기에는 무작위한 픽셀 값으로 채워진 가짜 이미지로 시작해서 판별 결과에 따라 지속적으로 학습 점차 진짜 같은 가짜 이미지를 생성 페이스북의 AI 연구팀이 만들어 발표한 DCGAN은 생성자 신경망으로 CNN을 사용 CNN 구조의 생성자 패딩 : 이미지 크기를 조절하는 이유는 판별자가 비교할 '진짜..
데이터 분석 직무/ML&DL&NLP 2023. 10. 26. 17:06
이전 Prev 1 2 Next 다음