R for Data Science::tibbles and data import

1. tibble ?

tibble은 dataframe이라고 할 수 있다. 데이터프레임을 여러 과정에서 유리하도록 수정한 것이다. 기존에 df에서 as_tibble()로 변환이 가능하다.

 

library(tidyverse)
as_tibble(iris)

그렇다면 tibble과 dataframe은 어떠한 것이 다른가? 살펴보도록 하겠다.

 

우선 tibble은 직전에 정의했던 변수로 새로운 변수를 정의하는 것이 가능하다. 이게 뭔 소린지 모르겠다면 예제 코드로 이해해 보자! 

tibble(
  x = 1:5, 
  y = 1, 
  z = x ^ 2 + y
)

 

이렇게 직전에 정의한 x, y를 이용하여 z변수를 정의할 수 있다는 말이다. 이게 data frame에서는 안되냐고? 

data.frame(
  x = 1:5, 
  y = 1, 
  z = x ^ 2 + y
)

응 안돼

 

tibble은 또한 tibble을 생성했을 때 생성된 tibble의 10행과 사용자의 스크린이 허용하는(스크린사이즈에 맞게) 열의 개수를 설정하여 보여준다. 

요런식으로 님의 console창의 크기에 맞게 적당한 열의 개수를 자동으로 파악해 뽑아서 보여준다. dataframe은 만들어보면 알겠지만 전체 데이터를 다 보여줘서 보기에 불편한 경우가 있었던 경험이 있다. 

의미 없이 다 보여줌. 이런 식의 return은 솔직히 의미가 읍다.( 자료를 파악하기 힘듦 ) 

 

또 tibble은 위에서 보이듯 str() 함수에서 따온 feature의 정보 dttm, date, int... 같은 것도 알려준다. 개꿀! 

 

tilbble에서 출력됐는지 행의 개수와 열의 개수는 커스텀이 가능하다.

nycflights13::flights %>% 
  print(n = 10,width = Inf)

nycflights13 패키지의 flights data는 tibbledle 이다. Inf는 infinity의 약어로 열의 개수를 끝까지 다 보이도록 한다.

요렇게 생략 없이 column을 다 보여준다.

 

- tibble subsetting

tibble은 다양한 방법으로 subset이 가능하다. 예제로 공부해 보자.

df <- tibble(
  x = runif(5),
  y = rnorm(5),
  )

df$x
df[["x"]]
df[[1]]

모두 같은 값을 반환한다. 

근데 이 기능은 data.frame에서도 똑같이 작동한다. 안 되는 줄  ㅎㅎ

Extract by position은 안 될 줄 알았음.

 

파이프 연산을 통해서도 가능하다. 파이프 연산을 이런 경우에는 처음 써봤다.

df %>% .$x
df %>% .[['x']]

 

- Data import ( readr:: read_csv)

우리는 앞서 R에 데이터를 불러오기 위해 readr 패키지를 사용한 경험이 있다. tidyverse 패키지만 열어도 readr은 불러진다.

데이터를 열어보장.

   - read_csv(data, comment = ) 

library(tidyverse)

heights <- read_csv('/Users/username/Desktop/heights.csv',comment = '#')

heights.csv

0.05MB

   - read_csv(data, skip = n ) 

heights <- read_csv('/Users/choehyeogjae/Desktop/heights.csv',skip=1)

comment = 옵션에 대해서 설명하자면 heights.csv를 text편집기로 열어보면 최상단에 'this is heights.csv' 라는 타이틀이 있는데, 이걸 데이터로 취급 안 하겠다는 말이다. '#'이 붙은 내용은 데이터가 아니다!~! 요런 기능이다. 

 

물론 첫 줄은 skip하겠다~는 의미로 skip argument를 사용하는 것도 가능하다.

 

 

   - read_csv(data, col_names = FALSE ) 

read_delim("a|b|c\n1|2|3",delim ="|",col_names = FALSE )

 

read_delim은 구분자  설정도 가능하다.!

 

 

heights 데이터의 경우 2번째에 column names이 제공되지만 colmn name이 제공되지 않은 위와 같은 dataset의 경우 col_names = FALSE를 지정해 주거나, col_names = c('칼럼 1', '칼럼 2', '칼럼 3',...)와 같이 컬럼이름 벡터를 사용해 컬럼명을 설정해 줄 수 있다.

 

코드로 익혀보자.!

 

read_csv("The first line of metadata
  The second line of metadata
  x,y,z
  1,2,3", skip = 2)

위 코드에서 inline에 넣은 csv형식의 데이터가 잇다. csv는 뭐 대단한 게 아니라 , <- 쉼표로 data unit이 나뉘어 있는 데이터를 의미한다. (..혹시 모르실 분들을 위해. )

 

우리 눈엔 보이지 않겠지만 컴퓨터는 이 csv data를 The first line of metadata \n, The second line of metadata \n, .. 이런 식으로 문장 바뀜을 인식하고 있다. 때문에 skip =2 옵션을 추가해 주면 2번째 줄까지인 타이틀 The second line of metadata' 까지는 skip하도록 한다. 그리고 default값으로 첫 번째 줄을 column names으로 인식하기 때문에 반환되는 값은?

1행 3열 칼럼으로 인식하고 delimiter는 read_csv이기 때문에 자동으로 ', '으로 설정되어 있음을 확인할 수 있다. 

read_csv("# A comment I want to skip
  x,y,z
  1,2,3", comment = "#")

이번엔 comment argument도 사용해 보자.

 

이 csv 파일의 첫단은 # A comment I want to skip\n 이다. comment ='#'을 사용하여 생략이 가능하다.

 

 

read_csv("1,2,3\n4,5,6", col_names = FALSE)

앞에서 언급했다시피 col name이 없는 데이터는 read_csv로 열어줄 때 col_names = FALSE를 입력해줘야 한다.

col_names =FALSE를 해주면 자동으로 컬럼명에 X1, X2, X3를 순차적으로 라벨링해준다. 이게 싫다면 col_names에 피쳐개수에 맞는 vector를 넣어주면 된다.

read_csv("1,2,3\n4,5,6", col_names = c("x", "y", "z"))

 

요런식으로

 

   - read_csv(data, na = ) 

read_csv("a,b,c\n1,2,.", na = ".")
read_csv("a,b,c\n1,2,.")

na argument는 특정 값에 대해서 NA취급을 하는 것을 명령한다.

첫 번째 코드에 대한 결과는 '.' 에대해서 '.'에 대해서 NA값으로 반환했지만 두 번째 코드는 na argument를 사용하지 않아.

'.'을 value로 취급한 것을 확인할 수 있다.

 

Exercise 11.2.2

What function would you use to read a file where fields were separated with '|' ?

 

구분자가 '|' 인 파일을 읽을 때 어떤 함수를 사용할거냐?! 

매우 쉽다. readr 패키지의 read_csv가 아님 뤼드 대림을 사용하면 된다. delim, delim, delim 기억해 두자..

 

read_delim("a|b|c\n|1|2|3", delim = '|', col_names = FALSE)

Parsing a vector

vector를 parsing 하는 게 뭔말인진 모르겠으나 코드로 보면서 받아들이도록 하자.

str(parse_logical(c('TRUE','FALSE','NA')))

음..  문자열인 vector를 의미에 맞게 logi type으로 바꿔준다는 말인가?... 좀 더 보도록 하자. 아직은 확신이 없다.

str(parse_integer(c("1","2","3")))

아. character vector를 특정 type으로 변환해 주는 개념인 것 같다. ! 

str(parse_date(c('2020-01-01', '1979-10-14')))

parse_integer(c("1", "231", ".", "456"), na = ".")

이렇게 다양한 parse_*() 함수가 있다.

 

이제 예제 코드를 통해 parse_*()함수에 대해서 더 공부해 보자.

 

parse_double('1.23')

어떤 국가에서는 소수 1.23을 다음과 같이 쓴다.

하지만 또 다른 특정 국가에서는 소수를 1,23으로 쓴다. 이런 경우 1.23을 어떻게 표준으로 변환할 것인가.

 

parse_double('1,23', locale = locale(decimal_mark = ","))

기적이 일어났다.

 

세상에는 다양한 기호가 있다. 달러($), 퍼센트(%), 원(won) 이런 단위가 당장 불필요할 때 또한 parse_*()함수가 사용될 수 있다.

parse_number('$100')
parse_number('20%')
parse_number("30원")

많이 쓰게 될 것 같은 느낌이 든다.

 

parse_number("$123,456,789")
parse_number("$123,456,789", locale = locale(grouping_mark = ','))
parse_number("123.456.789", locale = locale(grouping_mark = '.'))
parse_number("123'456'789", locale = locale(grouping_mark = "'"))

-parse_factor()  -> 여기에 있으면 안 되는 데이터 찾기.

fruit <- c("apple", "banana")
parse_factor(c("apple", "banana", "bananana"), levels = fruit)

level로 지정된 apple, banana 외에 값들에 대해서는 모두 NA값을 반환한다. 

이를 통해 parse_factor() 함수는 입력값이 주어진 팩터 수준에 부합하지 않을 경우 이를 잡아내는 유용한 방법을 제공한다.  이러한 기능은 데이터 클리닝 과정에서 특히 유용하게 사용될 수 있을 것이라고 할 수 있겠다.

 

-parse_datetime()

우리가 앞으로 데이터를 받을 때 다양한 표시로 날짜 데이터를 받게 될 것이다. 그게 뭔 말이냐고? 사람들마다 날짜를 적는 방식이 매우 다양하기 때문에 우리는 이에 대비하여 그러한 날짜 데이터를 표준화된 데이터로 바꾸는 방법을 알고 있을 필요가 있다. 

parse_datetime("2010-10-01T2010")

"2010-10-01 20:10:00 UTC"

 

parse_datetime('20101010')

"2010-10-10 UTC"

parse_date('2010-10-01')

"2010-10-01"

parse_date('01/02/15', '%m/%d/%y')

"2015-02-01"

월/일/연 순으로 기입된 날짜 데이터를 표준으로 바꿀 때는 위치에 맞게 %로 각각 position을 지정할 수 있다.

parse_date('01/02/15', '%y/%m/%d')

"2001-02-15"

- guess_parser()

guess_parser()는 데이터가 어떤 데이터일지 나름의 룰에서 결과를 추출해 우리에게 반환해 준다.

guess_parser('2020-10-10')

"date"

guess_parser(c(T,F))
guess_parser(c('T','F'))
guess_parser(c('T','S'))

솔직히 언제 사용되는지 감은 잘 안 온다. ㅎㅎ

 

 

- write_csv(), write_rds()

write_csv(iris, 'iris.csv')
write_rds(list(iris,cars), 'iris_car.rds')

iris데이터를 csv파일로 내보내는 함수.

iris데이터의 cars column vector를 rds파일로 내보내는 함수. 

이 정도는 쉬우니까 간단히 넘어가겠다.