[R] 외국인 채권 일별 거래량 거래대금 크롤링 한국거래소(KRX) 투자자별 거래실적 / httr, rvest, readr

library(httr)
library(rvest)
library(readr)

get_data <- function(date){
  gen_otp_url = 'http://data.krx.co.kr/comm/fileDn/GenerateOTP/generate.cmd'
  gen_otp_data = list(
    bndMktTpCd = 'TOT',
    strtDd = date,
    endDd = date,
    money = '3',
    csvxls_isNo = 'false',
    name = 'fileDown',
    url = 'dbms/MDC/STAT/standard/MDCSTAT10301'
  )
  otp = POST(gen_otp_url, query = gen_otp_data) %>%
    read_html() %>%
    html_text()
  
  down_url = 'http://data.krx.co.kr/comm/fileDn/download_csv/download.cmd'
  down_csv = POST(down_url, query = list(code = otp),
                  add_headers(referer = gen_otp_url)) %>%
                  read_html(encoding = 'EUC-KR') %>%
                  html_text() %>%
                  read_csv()

  return(down_csv)
}

# 데이터 확인
get_data("20210503")

start_date <- as.Date("2021-05-01") # 시작일
end_date <- as.Date("2021-06-30") # 종료일
date_set <- format(seq(as.Date(start_date), as.Date(end_date), by = "day"), format="%Y%m%d") # 데이터 가져올 일련의 날짜 생성

# 외국인 채권 거래실적 축적할 데이터 프레임
BondByForeigner <- data.frame(날짜=c(), 투자자구분=c(), 거래량_매도=c(), 거래량_매수=c(), 거래량_순매수=c(), 
                                거래대금_매도=c(), 거래대금_매수=c(), 거래대금_순매수=c())

for(i in c(1:length(date_set))){
  tryCatch({
    # 30일 단위로 20초 멈추기 (임의 설정)
    if(i%%30 == 0){
      Sys.sleep(20)
    }
      
    down_sector_KS <- get_data(date_set[i])
    down_sector_KS_df <- data.frame(down_sector_KS)
    
    # 날짜 열 추가
    date_df <- data.frame(날짜 = rep(date_set[i], 13))
    down_sector_KS_df <- cbind(date_df, down_sector_KS_df)
    
    # 외국인 + 기타외국인 => '외국인합계' 행 추가
    down_sector_KS_df <- rbind(down_sector_KS_df, cbind(down_sector_KS_df[11,1:2], (down_sector_KS_df[11,3:8] + down_sector_KS_df[12,3:8])))
    down_sector_KS_df[14,2] <- '외국인합계'
    
    # 외국인, 기타외국인, 외국인합계 행만 최종 테이블에 붙이기
    BondByForeigner <- rbind(BondByForeigner,down_sector_KS_df[c(11,12,14),])
  }, error = function(e){cat("ERROR: ", i, "th ", conditionMessage(e), "\n")})
}

print(BondByForeigner)

# 데이터 index 재설정
rownames(BondByForeigner) <- NULL

# 거래량/거래대금 순매도 계산
BondByForeigner$거래량_순매도 <- BondByForeigner$거래량_매도 - BondByForeigner$거래량_매수
BondByForeigner$거래대금_순매도 <- BondByForeigner$거래대금_매도 - BondByForeigner$거래대금_매수

# 컬럼 순서 변경
BondByForeigner <- BondByForeigner[,c(1,2,3,4,5,9,6,7,8,10)]

# 외국인 채권 거래실적 축적할 최종 데이터 프레임 (30일씩만 가져오기 가능)
BondByForeignerTotal <- data.frame(날짜=c(), 투자자구분=c(), 거래량_매도=c(), 거래량_매수=c(), 거래량_순매수=c(),
                                     거래대금_매도=c(), 거래대금_매수=c(), 거래대금_순매수=c())
BondByForeignerTotal <- rbind(BondByForeignerTotal, BondByForeigner)