목록데이터 분석 (145)

Data Analyst KIM

[Deep Learning] 오토인코더(Auto-Encoder)란 무엇인가?

오토인코더(Auto-Encoder, AE)란? 가상의 이미지를 만드는, 또 하나의 알고리즘 GAN과 비슷하지만 다른 성질을 지니고 있음 GAN : 세상에 존재하지 않는 완전한 가상의 것을 만듬 오토인코더 : 입력 데이터의 특징을 효율적으로 담아낸 이미지를 생성 오토인코더 활용 : 영상 의학 분야 등 데이터 수가 충분하지 못한 분야 오토인코더의 학습 과정 소실된 데이터를 복원하기 위해 학습을 시작하고, 입력 데이터의 특징을 효율적으로 응축한 새로운 출력이 나오는 원리 인코더 : 차원 축소 디코더 : 이미지 생성 모델 비지도 학습 : 손실 함수 - rmse 사용 지도 학습 : 손실 함수 - 크로스 엔트로피 오토인코더 모델 구현 from tensorflow.keras.datasets import mnist f..
데이터 분석/ML&DL&NLP 2023. 10. 26. 17:30
[Deep Learning] GAN이란 무엇인가?

생성적 적대 신경망(Generative Adversarial Network,GAN) 비지도학습 알고리즘 딥러닝의원리를 활용해 가상의 이미지를 생성하는 알고리즘 적대 (Adversarial, 서로 대립 관계에 있는)이란 단어는 GAN 알고리즘의성격을 잘 표현함 진짜 같은 가짜 이미지를 생성하기 위해 GAN 알고리즘 내부에서는‘적대적’인경합을 진행하기 때문임 생성자(Generator) 가짜 이미지를만들어 내는 공장 초기에는 무작위한 픽셀 값으로 채워진 가짜 이미지로 시작해서 판별 결과에 따라 지속적으로 학습 점차 진짜 같은 가짜 이미지를 생성 페이스북의 AI 연구팀이 만들어 발표한 DCGAN은 생성자 신경망으로 CNN을 사용 CNN 구조의 생성자 패딩 : 이미지 크기를 조절하는 이유는 판별자가 비교할 '진짜..
데이터 분석/ML&DL&NLP 2023. 10. 26. 17:06
[Deep Learning] Attention을 사용한 신경망

Attention은 모델이 각 단계에서 서로 다른 입력 요소의 중요성에 가중치를 다르게 부여하는 방법이다. Attention의 구현 원리는 다음의 그림과 같다. 먼저 인코더와 디코더 사이에 층이 하나 생긴다. 새로 삽입된 층에는 각 셀로부터 계산된 스코어들이 모인다. 이 스코어를 이용해 softmax 함수를 사용해서 Attention 가중치를 만든다. 예를 들어 '당신께'라는 자리에 가장 적절한 단어는 'you'라는 것을 학습한다. 이러한 방식으로 매 출력마다 모든 입력 값을 활용하게 하는 것이 어텐션이다. 마지막 셀에 모든 입력이 집중되는 RNN의 단점을 극복해낸 알고리즘이다. Attention을 활용하여 구현을 해보자. !pip install attention from tensorflow.keras...
데이터 분석/ML&DL&NLP 2023. 10. 26. 15:29
[Deep Learning] RNN,LSTM의 개념 및 로이터 뉴스 카테고리 분류하기

순환 신경망(RNN, Recurrent Neural Network) 연속된 데이터가순서대로 입력되었을때 앞서 입력받은데이터를 잠시 기억해 놓는 방법 기억된 데이터 당 중요도 가중치를 주면서다음 데이터로 넘어감 모든 입력 값에 이 작업을 순서대로실행. 다음 층으로넘어가기 전 같은 층을 맴도는 것처럼보임 LSTM(Long Short Term Memory) → RNN의 기울기 소실 문제 보완을위해 나온 방법 한 층에서반복되기 직전에 다음 층으로 기억된 값을 넘길지 관리하는단계를 하나 더 추가하는것 1. LSTM을 이용한 로이터 뉴스 카테고리 분류하기 입력된 문장의 의미를 파악하는 것은 모든 단어를 종합하여 하나의 카테고리로 분류하는 작업 로이터 뉴스를 읽고 어떤 의미를 지니는지 카테고리 분류 로이터 뉴스 데이..
데이터 분석/ML&DL&NLP 2023. 10. 26. 15:03
[MySQL] 년, 월, 성별 별 상품 구매 회원 수 구하기(프로그래머스_Lv.4)

USER_INFO 와 ONLINE_SALE을 INNER JOIN으로 묶어주고 성별 값이 누락인 값은 제외시켜준다. 년도,월,성별 별로 상품을 구매한 회원수를 구해야하기 때문에 년도와 월의 컬럼을 만들어준다. 이 후 WITH를 활용하여 UserSales 테이블을 만들어준다. UserSales 에서 GROUP BY를 이용하여 년도,월,성별에 따라 집계해주고 SELECT절에서 user_id를 세어주는데 회원수이기 때문에 한명의 회원이 10번 구매한 것은 1번으로 봐야한다. 따라서 DISTINCT로 중복을 제거해준다. WITH UserSales AS ( SELECT u.USER_ID AS user_id, u.GENDER, o.SALES_DATE, YEAR(o.SALES_DATE) AS year, MONTH(o...
데이터 분석/Coding Test 2023. 10. 26. 10:44
[SQL] 취소되지 않은 진료 예약 조회하기(프로그래머스)

SELECT a.APNT_NO , p.PT_NAME , a.PT_NO , a.MCDP_CD , d.DR_NAME , a.APNT_YMD FROM APPOINTMENT AS a INNER JOIN PATIENT AS p ON a.PT_NO = p.PT_NO INNER JOIN DOCTOR AS d ON a.MDDR_ID = d.DR_ID WHERE a.APNT_YMD LIKE '2022-04-13%' AND a.APNT_CNCL_YN = 'N' AND a.MCDP_CD ='CS' ORDER BY APNT_YMD
데이터 분석/Coding Test 2023. 10. 22. 11:58
이전 Prev 1 ··· 3 4 5 6 7 8 9 ··· 25 Next 다음