빅데이터 분석가 양성과정

여러 개의 데이터가 순서대로 입력되었을 때 앞서 입력 받은 데이터를 잠시 기억함기억된 데이터가 얼마나 중요한지 판단하고 별도의 가중치를 주어 다음 데이터로 넘어감모든 입력에 이 작업을 순서대로 실행하므로 다음 층으로 넘어가기 전에 같은 층을 맴도는 것처럼 보임LSTM(Long Short Term Memory)한 층 내에서 반복을 많이 해야 하는 RNN의 특성상 일반 신경망보도 ‘기울기 소실 문제’가 더 많이 발생하고 이를 해결하기 어려움. 이러한 단점을 보완하기 위해 등장한 기법  LSTM을 이용한 로이터 뉴스 카테고리 분류데이터 불러오기from tensorflow.keras.datasets import reuters(X_train, y_train),(X_test, y_test) = \          ..

자연어(Natural Language)우리가 평소에 말하는 음성이나 텍스트를 의미자연어 처리(Natural Language Processing)음성이나 텍스트를 컴퓨터가 인식하고 처리텍스트의 토큰화토큰(token) 분석할 텍스트를 단어별, 문장별, 형태소 별로 나눈 것# 전처리 과정 연습# 케라스의 텍스트 전처리와 관련한 함수 중 text_to_word_sequence 함수를 불러옵니다.from tensorflow.keras.preprocessing.text import text_to_word_sequencetext = '해보지 않으면 해낼 수 없다'result = text_to_word_sequence(text)print('원문 :', text)print('토큰화된 결과 :', result) text ..

이미지 인식하는 원리from tensorflow.keras.datasets import mnist(X_train, y_train), (X_test, y_test) = mnist.load_data() print("shape of 'X_train':", X_train.shape)print("type of 'X_train' :", type(X_train) ) print("shape of 'X_train[0]':", X_train[0].shape)print("type of 'X_train[0]' :", type(X_train[0]) ) import matplotlib.pyplot as pltplt.imshow(X_train[0], cmap='Greys')plt.show() #라벨 출력y_train[0] # 5i..

아이오와주 에임스 지역 집값 예측데이터 불러오기 및 확인import pandas as pd# 깃허브에 데이터를 가져옴!git clone https://github.com/taehojo/data.git# 집 값 데이터를 불러옴df = pd.read_csv("./data/house_train.csv")# 데이터 파악하기 df 카테고리 변수 처리df['SaleCondition'].value_counts() # 카테고리형 변수를 0과 1로 이루어진 변수로 변경df = pd.get_dummies(df)SaleCondition_cols = [col for col in df.columns if 'SaleCondition' in col]SaleCondition_colsdf[SaleCondition_cols] 결측치 처..

from tensorflow.keras.models import Sequentialfrom tensorflow.keras.layers import Densefrom sklearn.model_selection import train_test_splitimport pandas as pd# 와인 데이터를 불러옵니다.df = pd.read_csv('./wine_data/wine.csv', header=None)# 와인의 속성을 X로 와인의 분류를 y로 저장X = df.iloc[:,0:12]y = df.iloc[:,12]# 학습셋과 테스트셋으로 나눕니다.X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, shuffle=True)# 모델..

음파 탐지기의 수진 결과만 보고 광석인지 일반 암석인지를 구분하는 모델모델 구성# 1. 환경 구축from tensorflow.keras.models import Sequentialfrom tensorflow.keras.layers import Denseimport pandas as pdimport seaborn as snsimport matplotlib.pyplot as plt# 2. 데이터 준비# !git clone df = pd.read_csv('./iris_data/iris3.csv')# 속성을 X, 클래스를 y로 저장X = df.iloc[:,:4]y = df.iloc[:,4]# 원-핫 인코딩y = pd.get_dummies(y)# 3. 모델 구조 설정 및 컴파일model = Sequential()..