CLUE
Future Data Scientist
Preprocessing
[R] 외국인 채권 일별 거래량 거래대금 크롤링 한국거래소(KRX) 투자자별 거래실적 / httr, rvest, readr
[Spark/pyspark] pyspark dataframe 명령어 3 (long format, short format) / melt(unpivot), pivot
[Spark/pyspark] pyspark dataframe 명령어 2 (그룹, 윈도우, 파티션) / groupBy, agg, Window, partitionBy, over, collect_list
[Spark/pyspark] pyspark dataframe 명령어 1 / count, printSchema, select, alias, filter, orderBy, withColumnRenamed, drop
[Python/Paper] 불균형 데이터 샘플링 기법 (Sampling for Imbalanced Data) / SMOTE, ADASYN, SMOTE-Tomek
[Python] 전처리 파이프라인 만들기 3 (범주형 변수 및 최종 합치기) with sklearn pipeline processing StandardScaler OneHotEncoder
[Python] 전처리 파이프라인 만들기 2 (연속형 변수) with sklearn pipeline processing StandardScaler OneHotEncoder
[Python] 전처리 파이프라인 만들기 1 (훈련&테스트셋, 데이터셋 탐색) with sklearn pipeline processing StandardScaler OneHotEncoder
Engineering
[Spark/pyspark] pyspark dataframe 읽기 및 저장 / spark.read.option.csv, wrtie.option.csv
[Linux] 스크린(Screen) 명령어 익히기 / 서버에 jupyter notebook 계속 띄워두기
[Linux] 쉘 스크립트(Shell Script) 작성을 위한 기본 명령어 3 / 인자(args), 반복문(for), 조건문(if), 함수(function)
[Linux] 쉘 스크립트(Shell Script) 작성을 위한 기본 명령어 2 / sh, cp, mv, rm, tar, echo
[Linux] 쉘 스크립트(Shell Script) 작성을 위한 기본 명령어 1 / ls, chmod, vi, cat, df du, env shebang
[Hadoop] 하둡 파일 시스템 (HDFS) 쉘 명령어 정리 / ls, mkdir, put, get, cat, mv, cp, rm, chmod, chown
[Hadoop] MAC OS M1(Big Sur)에서 하둡(Hadoop) 설치하기 / namenode 에러 java.net.ConnectException 및 .zshrc HADOOP PATH 설정