본문 바로가기

CS/DataAnalysis4

데이터 분석 데이터분석 raw data 정제되지 않은 데이터 샘플링 이란 ? 어떤 자료로 부터 일부의 값을 추출하는 행위. 피처 데이터를 구성하는 요소 ex> 학급의 신체검사 결과 기록한 데이터 --> 키,몸무게,시력 등등이 피처이다. 피처의 속성, 상관관계 탐색, 시각화 속성탐색 : 학급 데이터에서 학급 평균키 등등 , "표준편차, 중앙값, 데이터등등 통계값"을 구할 수 있다. 상관관계 탐색 : ex> 몸무게, 키 와의 상관관계 / 이를 통계적으로 알아 볼 수 있다. 데이터 시각화 : 수치적 자료만 가지고는 파악하기 힘든 패턴이나 인사이트를 발견하는데 유용하다. practice 멕시코풍 프렌차이즈 주문 데이터 분석하기 데이터 기초정보 # -*- coding: utf-8 -*- import pandas as pd #.. 2021. 4. 11.
데이터 분석_설치환경구축, 라이브러리 개발환경_구축아나콘다 설치https://www.anaconda.com/products/individual/download-success 에서 다운설치 완료 후 아나콘다 프롬포트 실행가상환경 생성"conda --version" 버전확인 후"conda create -n pybook python=3.7" pybook이라는 파이썬3.7 버전의 새로운 가상환경 생성주피터 노트북 설치 "pip install jupyter"주피터 노트북 실행 "jupyter notebook"주피터 노트북 접속 : 출력된 url복사해서 웹브라우저에서 실행New - python 3 버튼눌러서 새 파일 생성라이브러리 설치pip isntall pandas numpy matplotlib판다스 , 넘파이 , matplotlib설치라이브러리판다.. 2021. 3. 28.
정형 데이터의 전처리 / 탐색 /시각화 정형 데이터의 전처리 / 탐색 /시각화정형 데이터 ? 엑셀형태의 수치형 데이터 , 행방향이던 열이던 연산을 할 수 있다. 반정형 데이터텍스트 데이터 , 구조는 있으나 이걸가지고 수학적인 계산을 할 수는 없다. 결국 비정형데이터에 있는 문서이다. 비정형 데이터어디에나 있는 데이터 글, 사진,음성 등등 ==> 비정형데이터를 정형데이터로 바꿀 수 있다.ex> 가로세로가 10px 짜리가 있다. 흑백 image 를 픽셀단위로 작게 자르면 1*1의 0~1사이의 숫자로 표현할 수 있다(w/b) / image한장은 백개의 픽셀이 늘어져 있는 형태로 바꿀 수 있다. 0~1 의 1행 * 100열 다양한 툴들이 있다.Google Analytics(facebook Naver..)Elastic stack (kibana, Ela.. 2019. 2. 19.
Bigdata analytics Bigdata analyticsWhy Python ? 간결하고 쉽다.데이터 분석과 머신러닝을 위한 수많은 라이브러리들이 있습니다.다양한 확장이 용이하다 (R, SPSS etc...)Anaconda 내 계정 컴퓨터에 파일을 만들면 크롬에서 주피터로 연결되는 http://localhost:8888/tree/test_python 곳에서 내 파일이 생긴다. C:\Users\owner\test_python주피터 단축키a = 3 #shift +e Enter 누르면 메모리가 올라감 print(a)esc 커멘드 모드 esc 한 후에 ctrl c v 하면 복붙 가능 위에 셀 추가 아래 셀 추가 esc+ a 위에 줄 추가esc+ b 아래 줄 추가esc+ d 삭제esc m 파이썬 명령어 넣더라도 실행안됨 / 마크다운처럼 쓸.. 2019. 2. 19.
반응형