• 純文字的資料處理
  • 分割與擷取
  • 搜尋與取代
  • 正則表示式
• 中文資料的編碼
• 練習

args(strsplit)

## function (x, split, fixed = FALSE, perl = FALSE, useBytes = FALSE) 
## NULL

strsplit("abc", "a")

## [[1]]
## [1] ""   "bc"

strsplit(c("abc", "baca"), "a")

## [[1]]
## [1] ""   "bc"
## 
## [[2]]
## [1] "b" "c"

• 能不能利用 strsplit 找出 <author>...</author> 之間的文字？

<fortune>
  <quote>Okay, let's stand up and be counted: who has been writing diamond graph code? Mine's 60 lines.</quote>
  <author>Barry Rowlingson</author>
  <context>in a discussion about the patent for diamond graphs</context>
  <source>R-help</source>
  <date>August 2003</date>
</fortune>
<fortune>
  <quote>Bug, undocumented behaviour, feature? I don't know. It all seems to work in 1.6.0, so everyone should downgrade now... :)</quote>
  <author>Barry Rowlingson</author>
  <context>NA</context>
  <source>R-help</source>
  <date>July 2003</date>
</fortune>
<fortune>
  <quote>I'm always thrilled when people discover what lexical scoping really means.</quote>
  <author>Robert Gentleman</author>
  <context>NA</context>
  <source>Statistical Computing 2003, Reisensburg</source>
  <date>June 2003</date>
</fortune>
<fortune>
  <quote>My institution has a particularly diabolical policy on intellectual property, especially on software.</quote>
  <author>Ross Ihaka</author>
  <context>NA</context>
  <source>R-help</source>
  <date>August 2003</date>
</fortune>
<fortune>
  <quote>If you imagine that this pen is Trellis, then Lattice is not this pen.</quote>
  <author>Paul Murrell</author>
  <context>on the difference of Lattice (which eventually was called grid) and Trellis</context>
  <source>DSC 2001, Wien</source>
  <date>March 2001</date>
</fortune>

x <- readLines("http://homepage.ntu.edu.tw/~wush978/rdataengineer/fortunes.xml")
. <- strsplit(x, "<author>")

• 在.中(.是list)
  • 原文有<author>的字串，會被分割為長度是 2 的字串
  • 原文沒有<author>的字串，長度是1

length(.[[1]])

## [1] 1

length(.[[3]])

## [1] 2

• 寫迴圈處理

.tokens <- c()
for(.token in .) {
  if (length(.token) == 2) stop("")
}

• 與R互動，看看.token

.tokens <- c()
for(.token in .) {
  if (length(.token) == 2) .tokens <- c(.tokens, .token[2])
}
.tokens

## [1] "Barry Rowlingson</author>" "Barry Rowlingson</author>"
## [3] "Robert Gentleman</author>" "Ross Ihaka</author>"      
## [5] "Paul Murrell</author>"

• 再用</author>切一次

. <- strsplit(.tokens, "</author>")
unlist(.)

## [1] "Barry Rowlingson" "Barry Rowlingson" "Robert Gentleman"
## [4] "Ross Ihaka"       "Paul Murrell"

• 請用相同的作法，找出x中的<date>與</date>之間的文字

download.file(
  "http://homepage.ntu.edu.tw/~wush978/rdataengineer/fortunes250.xml.gz",
  destfile = .tmp.path <- tempfile(fileext = ".gz"),
  mode = "wb"
  )
x250 <- readLines(.tmp.path)

• 請用相同的作法，找出x250中的<date>與</date>之間的文字

strsplit("a.b.c", ".")

## [[1]]
## [1] "" "" "" "" ""

strsplit("a.b.c", ".", fixed = TRUE)

## [[1]]
## [1] "a" "b" "c"

• . 是正則表示式的特殊字元，有特殊的含意
  • fixed = TRUE之後，R會忽略正則表示式

grep(pattern = "author", x)

## [1]  3 10 17 24 31

grep(pattern = "author", x, value = TRUE)

## [1] "  <author>Barry Rowlingson</author>"
## [2] "  <author>Barry Rowlingson</author>"
## [3] "  <author>Robert Gentleman</author>"
## [4] "  <author>Ross Ihaka</author>"      
## [5] "  <author>Paul Murrell</author>"

grepl(pattern = "author", x)

##  [1] FALSE FALSE  TRUE FALSE FALSE FALSE FALSE FALSE FALSE  TRUE FALSE
## [12] FALSE FALSE FALSE FALSE FALSE  TRUE FALSE FALSE FALSE FALSE FALSE
## [23] FALSE  TRUE FALSE FALSE FALSE FALSE FALSE FALSE  TRUE FALSE FALSE
## [34] FALSE FALSE

(. <- grep(pattern = "author", x[1:10], value = TRUE))

## [1] "  <author>Barry Rowlingson</author>"
## [2] "  <author>Barry Rowlingson</author>"

(. <- gsub(pattern = "  <author>", replacement = "", ., fixed = TRUE))

## [1] "Barry Rowlingson</author>" "Barry Rowlingson</author>"

(. <- gsub(pattern = "</author>", replacement = "", ., fixed = TRUE))

## [1] "Barry Rowlingson" "Barry Rowlingson"

• 怎麼用上面的方式，找出名字中包含Paul的人？
• 尋找x250中<author>與</author>中包含Paul的人

正則表示式是一種描述文字模式的語言。 它不是單純依照應用歸納出來的工具，背後具有相當的數學基礎。 正則表示式的誕生，來自於美國數學家Stephen Cole Kleene在超過半個世紀之前的研究成果：Kleene (1956)。 目前各種程式語言中，幾乎都內建正則表示式，但是他們的語法主要分成兩個派系：

一種語法出自於電機電子工程師學會(IEEE)制定的標準
一種語法，則來自於另一個程式語言：Perl

正則表示是可以讓我們撰寫程式來自文字中比對、取代甚至是抽取各種資訊。以下我們將從簡單的應用開始介紹。

m <- regexec("<author>(.*)</author>", x)
. <- regmatches(x, m)
.[1:5]

## [[1]]
## character(0)
## 
## [[2]]
## character(0)
## 
## [[3]]
## [1] "<author>Barry Rowlingson</author>" "Barry Rowlingson"                 
## 
## [[4]]
## character(0)
## 
## [[5]]
## character(0)

• 在字串處理時，常常需要對每一個list的element作挑選或計算長度
• sapply(., length)可以得到每一個element的長度
• sapply(., "[", 2)可以得到每一個element vector的第二個element

(. <- .[sapply(., length) == 2])

## [[1]]
## [1] "<author>Barry Rowlingson</author>" "Barry Rowlingson"                 
## 
## [[2]]
## [1] "<author>Barry Rowlingson</author>" "Barry Rowlingson"                 
## 
## [[3]]
## [1] "<author>Robert Gentleman</author>" "Robert Gentleman"                 
## 
## [[4]]
## [1] "<author>Ross Ihaka</author>" "Ross Ihaka"                 
## 
## [[5]]
## [1] "<author>Paul Murrell</author>" "Paul Murrell"

sapply(., "[", 2)

## [1] "Barry Rowlingson" "Barry Rowlingson" "Robert Gentleman"
## [4] "Ross Ihaka"       "Paul Murrell"

• 不熟悉的同學，仍然可以寫迴圈慢慢作

• 正則表示式：文字處理的大絕招

• 用正則表示式，找出x250中包含Ripley的那行文字
• 尋找x250中<author>與</author>中包含Ripley的人
• 找出所有出現過的作者，與他們的出現次數（還要用 and 做切割）

• 電腦的資料，最終都是0和1
• 怎麼把一連串的0和1解讀成數字或文字？型態

(. <- as.raw(17))

## [1] 11

• 這是 0 / 1 的十六進位表示法
• 11 代表 1 * 16 + 1

showBits <- function(r) stats::symnum(as.logical(rawToBits(r)), symbols = c("0", "1"))
showBits(as.raw(17))

## [1] 1 0 0 0 1 0 0 0

• R的rawVector會用hex code來表示一連串電腦真正看到的值
• charToRaw會把文字轉成代表該文字的真正的rawVector

charToRaw("a")

## [1] 61

showBits(charToRaw("a"))

## [1] 1 0 0 0 0 1 1 0

• R的rawVector會用hex code來表示一連串電腦真正看到的值
• charToRaw會把文字轉成代表該文字的真正的rawVector

charToRaw("中") # 不同作業系統看到的結果不同

## [1] e4 b8 ad

showBits(charToRaw("中"))

##  [1] 0 0 1 0 0 1 1 1 0 0 0 1 1 1 0 1 1 0 1 1 0 1 0 1

• 這種「把0/1轉換為文字的規則」又稱為「編碼」

• 30 –> "0"

• 41 –> "A"

• 61 –> "a"

BIG5

• 0 0 1 0 0 1 0 1 0 0 1 0 0 1 0 1 –> a4 a4 –> "中"
• 0 0 1 0 0 1 0 1 1 0 1 0 0 1 1 1 –> a4 e5 –> "文"

UTF-8

• 0 0 1 0 0 1 1 1 0 0 0 1 1 1 0 1 1 0 1 1 0 1 0 1 –> e4 b8 ad –> "中"
• 0 1 1 0 0 1 1 1 0 1 1 0 1 0 0 1 1 1 1 0 0 0 0 1 –> e6 96 87 –> "文"

• 把BIG5當成UTF-8

[1] "\xa4\xa4\xa4\xe5"

• 把UTF-8當成BIG5 (on windows)

https://www.google.com/search?q=成奶j學

. <- iconv(to="BIG5", x = "成功大學") 
charToRaw(.)

## [1] a6 a8 a5 5c a4 6a be c7

. <- iconv(to="BIG5", x = "成奶j學") 
charToRaw(.)

## [1] a6 a8 a5 a4 6a be c7

rawToChar(as.raw(0x5c))

## [1] "\\"

• 原生的R，處理的不太好…

Encoding(x) <- "UTF-8"
x

• 套件stringi補上滿多相關功能
• 細節在作業RBasic-07-...之中
  • stringi::stri_encode

• 請完成R語言翻轉教室 DataScienceAndR 課程的 02-RDataEngineer-01-Parsing 單元