HappyTomatoLife

2. 데이터 다루기¶ 2-1. 훈련 세트와 테스트 세트¶ 지도 학습 Supervised Learning : target(정답)을 맞히도록 학습 비지도 학습 Unsupervised Learning : target 없이 입력 데이터만으로 학습 훈련 세트 : 훈련에 사용하는 데이터 테스트 세트 : 평가에 사용하는 데이터 전체 데이터 -> 각 객체는 sample In [9]: fish_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 35.0, 35.0, 35.0, 36.0, 36.0, 3..

마켓과 머신러닝¶ 이미지 분류 문제¶ Kaggle 데이터셋 도미 데이터 준비하기 In [23]: # 도미 길이/무게 데이터 - feature bream_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0] bream_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, ..

python - VScode fails to export Jupyter notebook to HTML - 'jupyter-nbconvert` not found - Stack Overflow jupyter notebook을 html로 전환하기 — 작은 발자국들의 위대한 여정 (tistory.com) 요즘 로컬에서 주피터 노트북으로 공부한 내용을 기록하고 있다. 주피터 노트북을 html로 변환하여 티스토리에 업로드하려던 중 에러가 발생했다. 에러 로그는 다음과 같다. $ jupyter nbconvert Chapter5.ipynb --to html Traceback (most recent call last): File "/usr/bin/jupyter", line 11, in load_entry_point('j..

# tweet을 수집 import tweepy import csv import pandas as pd ####input your credentials here consumer_key = '' consumer_secret = '' access_token = '' access_token_secret = '' auth = tweepy.OAuthHandler(consumer_key, consumer_secret) auth.set_access_token(access_token, access_token_secret) api = tweepy.API(auth,wait_on_rate_limit=True) #####United Airlines # Open/Create a file to append data csvFile ..

참고 - https://wikidocs.net/22886 https://pythonkim.tistory.com/57 index RNN RNN이란? RNN task 종류 RNN의 작동 원리 RNN의 사용 예시 RNN의 단점 LSTM RNN의 한계 LSTM의 해결 매커니즘 LSTM의 구조 LSTM의 변형 모델들 RNN RNN이란? Recurrent Neural Network RNN은 sequence data를 처리하는 모델이다. 음성 인식, 자연어 처리 등은 딱 현재 단어만을 안다고 처리할 수 없으며, 앞뒤 문맥을 함께 고려해야 한다. 해당 세션에서 같이 다루었던 LSTM 또한 기본적으로 RNN에 속한다. 이전까지 배운 신경망은 Feed Forward Neural Network라고 한다. Hidden lay..

참고 https://www.youtube.com/watch?v=YRhxdVk_sIs https://deeplizard.com/resource/pavq7noze2 정직하게 코딩하며 배우는 딥러닝 Do it! https://towardsdatascience.com/the-most-intuitive-and-easiest-guide-for-convolutional-neural-network-3607be47480 index computer vision & deep learning convolution operation convolution operation with edge detection filter learning to detect edges padding stride summary of convolutio..

Index 딥러닝 ANN DNN 딥러닝 - 인공지능 인간의 지능을 기계 등에 인공적으로 구현한 것 - 머신러닝 컴퓨터가 명시적으로 프로그램 되지 않고도 학습할 수 있도록 하는 연구 분야 - 딥러닝 머신러닝의 한 분야로, 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 머신러닝 알고리즘 ANN Artificial Neural Network 사람의 신경망 원리와 구조를 모방하여 만든 기계학습 알고리즘 Input data Weight Output data nonlinear modeling ANN의 공통 요소 뉴런(노드) 시냅스 weight Bias Activation Function 뉴런 Neuron node, edge로 표현한다. node : 단일 뉴런 연산 edge : 뉴런의 연결성 AN..

review 딥러닝 기초 index https://dbrang.tistory.com/1537 퍼셉트론 신경망 신경망 학습 오차역전파법 학습 관련 기술들 1. 퍼셉트론 https://wikidocs.net/24958 퍼셉트론이란? 퍼셉트론 perceptron은 프랑크 로젠블라크가 1957년에 제안한 초기 형태의 인공신경망이다. 이 알고리즘은 신경 세포 뉴런의 동작을 모방하였다. 즉, 신경세포 뉴런이 가지돌기에서 '신호'를 받아, 이 신호의 크기가 '임계값'을 넘으면 축삭돌기를 통해 신호를 내보내는 것처럼, 다수의 신호를 받아 가중치를 부여한 뒤에 신호의 합이 임계치보다 크면 하나의 신호를 출력한다. 위 사진에서 x1, x2는 입력값, w1, w2는 가중치, y는 출력값에 해당한다. 가중치가 축삭돌기의 역할..

- Prerequisites : SMT statistical machine translation vs NMT Neural Machine Translation SMT Probabilistic Model, Bayes Rule, Parallel data & Alignment find best English sentence y, given French sentence x : P(y|x) use bayes rule to break this down into two components to be learned separately : P(x|y)P(y) translation model, language model spurious word : 소스 언어와 번역 단어들이 짝을 이루어야 한다. 어떤 관계인지 - align..

스트리밍 도래 지금까지의 데이터 중 90퍼 이상이 최근 2년(2018) → 현재는 더 많음 자는 시간 빼면 하루종일 인터넷 사용 빠른 의사 결정 위한 실시간 처리 람다 vs 카파 단위별 배치분석, 스트리밍 솔루션으로 실시간 처리 후 반영 하나의 플로우, 클라이언트가 요청했을 때 배치처럼도 접근, 관리 효율 https://luminousmen.com/post/modern-big-data-architectures-lambda-kappa https://en.paradigmadigital.com/dev/from-lambda-to-kappa-evolution-of-big-data-architectures/ 네이티브 스트리밍 vs 마이크로배치 - 차이 언급 필요 네이티브 : 스톰-트리덴트, 스톰, 플링크, 카프카,..