2019年11月22日 星期五

R入門資料分析與視覺化應用, R商業預測與應用-線上課程

<<< 預購日起跑 >>>
面對大數據時代的來臨,如何善用免費R語進行資料分析與資料視覺化技術,建置企業智慧服務應用,從大數據之中找出潛在樣式或偵測出異常特性,以做為企業組織策略發展、尋求突破與企業創新服務,將是企業衝量經營績效與提升競爭力的重要基礎。本線上課程讓您學會分析商業資料企業營運預測模型,建置R商業運算思維能力。

1. R入門資料分析與視覺化應用

https://mastertalks.thinkific.com/courses/R-teacher



2. R商業預測與應用

https://mastertalks.thinkific.com/courses/R-2-teacher


#MasterTalks-R線上課程
#資料分析關鍵八步
#資料視覺化應用
#商業預測應用

2019年11月4日 星期一

2019人工智慧與商業應用研討會

2019人工智慧與商業應用研討會


# AI
# big data
# conference
# tutorial


人工智慧(Artificial Intelligence,AI)不但是現今國際的趨勢,更隨著演算法的精進以及電腦設備的完備,成為現今人人不可不認識的議題。在各國積極投入於發展人工智慧技術與應用時,臺灣也不例外,行政院在2018年提出了「臺灣AI行動計畫」,希望透過臺灣既有優勢朝尖端智慧國家邁進。而AI從巨量資料、機器學習甚至深度學習等層面被廣泛的認識,不同領域關注的角度亦有所不同。
在商業環境中,企業更將著手透過人工智慧改善流程,且透過新穎思維提供更高品質的服務與產品,進而改變既有的經營文化。因此本屆「2019年人工智慧與商業應用研討會」,將邀請各方學者專家,將創新思維融入人工智慧技術,並結合於商業管理、學習與教育、智慧製造、實務案例分享等專業議題,探討更多未來發展,期待對與會者有所啟發。

研討會日期:
2019年11月15日(五) 上午9點

研討會地點:
國立臺北商業大學 承曦樓十樓國際會議廳
台北市中正區濟南路一段321號

主辦單位:國立臺北商業大學管理學院
合辦單位:東吳大學巨量資料管理學院

網站: http://ms.ntub.edu.tw/~AI_conference/index.html
# end


2019年11月2日 星期六

R如何轉換為有效的欄位名稱 - make.names {base}

使用 Excel 等軟體進行資料分析時, 欄位名稱可以儲存為空白符號, 但是使用R軟體時, 不方便使用包括空白符號之欄位名稱, 此時可以先使用 make.names 函數將資料轉換為有效的合法名稱, 此函數是屬於基本30個套件之一, 即是 base 套件, 轉換後會將空白等字元以點符號「. 」表示.



# readr套件
# read_csv
# names
# make.names

練習範例:

步驟1: 下載936萬筆每小時臭氧資料 hourly_44201_2018.csv

1.連結: https://github.com/rwepa/DataDemo/blob/master/README.md
2.選取 hourly_44201_2018.csv 說明
3.下載 hourly_44201_2018.zip, 再解壓縮檔案為 hourly_44201_2018.csv (2.05GB)

步驟2: 匯入資料, 分別使用read.table 與 read_csv{readr}, 結果顯示使用readr套件較快速

# 方法1: 使用傳統read.table匯入資料
system.time(mydf <- read.table("hourly_44201_2018.csv", header=TRUE, sep=",")) # 113.45秒

# 方法2: 使用readr套件匯入資料
library(readr)
system.time(ozone <- read_csv("hourly_44201_2018.csv")) # 9366419*24, 47.67秒

# 步驟3: 選取部分欄位
names(ozone)
ozone$Sample Measurement # 因為欄位名稱中間有空白, 因此會有ERROR
ozone$`Sample Measurement` # 顯示正確, 使用「`」符號

#  步驟4: 使用 make.names  函數, 欄位名稱已經改為合法名稱
names(ozone) <- make.names(names(ozone))
names(ozone)

# end

2019年10月16日 星期三

課程調查問卷1-R 語言在企業數據分的應用

歡迎對學習R及R應用的R友來填寫問券, 保證不花您超過五分鐘, 就可以幫助我們將課程設計得更完美 ^_^ 

填問券還可以參加課程抽獎喔! 謝謝大家

問卷網址: https://www.surveycake.com/s/Go0Gr

資料來源: MasterTalks線上課程
# end

2019年10月13日 星期日

R語言大數據營運煉金術課程-開課日期12/6,12/13

R語言大數據營運煉金術課程公告

課程名稱: R語言大數據營運煉金術

上課地址:工研院產業學院 台北學習中心 (實際地點以上課通知為準!)

上課時數:2天合計12小時

起迄日期:2019-12-06, 2019-12-13

聯絡資訊:工研院產業學院 顏嘉瑩 02-2370-1111分機319, 提供結訓證書

課程特色/目標:
  1. 熟悉R語言/RStudio軟體操作
  2. 理解資料處理技能
  3. 視覺化技術與預測技術運用
說明:本課程無需程式設計基礎

課程網址:
https://college.itri.org.tw/course/all-events/D3AF2CE8-8098-4BF1-B32D-2E9174A4375E.html

# end


資料視覺化於相關性分析-弦圖 (Chord Diagram)


更新日期: 2022.6.7


配合新版 R-4.2.0 使用以下任何一種方法重新安裝chorddiag套件:

# 方法1 

install_github 函數, 重新安裝套件.

devtools::install_github("mattflor/chorddiag")

# 方法2 

下載以下更新 zip 檔案, 使用 install.packages 函數安裝.


install.packages("chorddiag.zip", repos = NULL, type = "win.binary")

更新日期: 2020.6.11

配合新版 R-4.0.0 可使用以下指令, 重新安裝套件

devtools::install_github("mattflor/chorddiag", force = TRUE)

更新日期: 2019.10.17

在 Windows 環境中, 使用 devtools::install_github("mattflor/chorddiag") 函數會有顯示錯誤, 此時可考慮下載以下  chorddiag.zip 檔案, 在 RStudio 軟體中, 直接安裝此套件.

https://github.com/rwepa/DataDemo/blob/master/chorddiag.zip

RStudio \ 選取右下角 Packages \ Install \ Install from: 改為 [Package Archive File (.zip, .tar.gz)] \ 選取 chorddiag.zip \ 按 Open \ 按 Install 即可.
# end

資料視覺化於相關性分析-弦圖 (Chord Diagram)

本篇文章介紹 R 軟體在大量資料的相關性資料視覺化應用, 大量數值資料結果有時不易看出資料的樣式 (Patterns), 此時可使用弦圖以建立視覺化結果.
弦圖 (Chord Diagram, Chordal Graph) 參考: https://en.wikipedia.org/wiki/Chordal_graph



說明:

1. Windows 系統中, 先安裝 Rtools 編譯工具, 此工具可以下載並安裝相關套件.

  • 連結至 Rtools 網站, 例如: http://cran.csie.ntu.edu.tw/bin/windows/Rtools/
  • 下載最新版本 Rtools35.exe (約104MB)
  • 安裝 Rtools 軟體, 全部採用預設值安裝,
    例: 安裝目錄為 C:\Rtools
    例: Add rtools to system PATH 選項記得打勾

2. 安裝 devtools 套件, 使用 install.packages("devtools")

3. 安裝 chorddiag 套件進行弦圖資料視覺化, 此套件非 CRAN 標準套件, 可使用 devtools 套件中的 install_github 函數進行套件之安裝.

安裝指令 devtools::install_github("mattflor/chorddiag")

參考網站: https://github.com/mattflor/chorddiag

套件使用時, 輸入資料必須採用矩陣資料 (matrix), 且行與列的個數須相同.

繪製弦圖函數為 chorddiag.

R程式碼:

# title: chord diagram
# date: 2019.10.13

# 安裝 Windows 版本 Rtools
# http://cran.csie.ntu.edu.tw/bin/windows/Rtools/
# 安裝時, Add rtools to system PATH 記得打勾

# 安裝 devtools 套件
install.packages("devtools")

# 安裝 chorddiag 套件
devtools::install_github("mattflor/chorddiag")

# 載入套件
library(chorddiag)

# 建立資料
students <- as.matrix(data.frame(
  文學 = c(68, 75, 65, 97),
  通識 = c(96, 75, 85, 60),
  數學 = c(65, 61, 70, 80),
  體育 = c(66, 79, 85, 61)))

row.names(students) <- c("班級A", "班級B", "班級C", "班級D")

# 繪製弦圖
chorddiag(students)

# 視覺化進階優化1
chorddiag(students, type = "bipartite")

# 視覺化進階優化2
chorddiag(students, type = "bipartite", showTicks = FALSE)

# 視覺化進階優化3
chorddiag(students, type = "bipartite", showTicks = FALSE, groupnameFontsize = 14, groupnamePadding = 10, margin = 90)
# end

2019年10月6日 星期日

VirtualBox 安裝 Windows 10 虛擬機器

2022.5.1 更新:
Windows 11 企業版 (評估)版
使用 Windows Hyper-V 執行較 VirtualBox 快速.

使用R的資料分析程序中, 可能會搭配不同軟體的測試需求, 例如: Windows 10 作業系統中使用不同版本的 R, Python, Julia, Microsoft SQL Server, Microsoft Visual Studio, Power BI, Tableau等軟體. 如果在實體 Windows 作業系統中, 不想安裝過多的軟體而影響 Windows 效能, 此時可考慮使用虛擬機器技術, 虛擬機器軟體包括 Oracle VirtualBox,  VMware Player, Hyper-V, 本篇以免費 VirtualBox 軟體為主說明其安裝與使用方式.





# Windows 10
# VirtualBox
# R
# Python
# SQL

使用 VirtualBox 軟體, 安裝 Windows 10 虛擬機器之三大步驟:

步驟1. 下載 VirtualBox


  • 選取 Windows hosts, 另存新檔 VirtualBox-6.0.12-133076-Win.exe
  • 安裝上述執行檔
  • 安裝完成後, 可點選剛才下載網頁的 VirtualBox 6.0.12 Oracle VM VirtualBox Extension Pack, 此為擴充軟體, 請一併下載安裝.


步驟2. 下載 Windows 虛擬機器檔案

  • 將 MSEdge.Win10.VirtualBox.zip 解壓縮至某資料夾, 本例為 MSEdge.Win10.VirtualBox 資料夾, 資料夾只有一個檔案 MSEdge - Win10.ova

步驟3. 安裝並啟動 Windows 10 VM

  • 檔案總管 --> 選取MSEdge - Win10.ova --> 右鍵 --> 開啟檔案 VirtualBox Managers
  • 修改適當的名稱, 本例: Win 10
  • 按匯入

  • 等待匯入VM


  • 匯入完成後, 左側清單會顯示 Win 10 虛擬機器, 點選 Win 10, 按下啟動
  • 啟動 Windows 的資料如下, 密碼第6個字元是數字零:
    帳號: IEUser
    密碼: Passw0rd!
  • 啟動 Windows 10 畫面如下, 可以安裝測試軟體 ^_^

  • 如果想要刪除此虛擬機器或不想再使用此VM,  點選左側清單 Win 10 --> 右鍵 \ 移除, 結果會有三個選項:
  1. 刪除所有檔案: 虛擬機器檔案(C:\Users\使用者名稱\VirtualBox VMs\Win 10 資料夾)與左側選項會同時刪除.
  2. 只移除: 只有刪除左側選項
  3. 取消: 關閉移除視窗
# 開機自動啟動帳號: Win+R \ netplwiz \ 按 OK
# end

2019年9月13日 星期五

資料集與使用範例

提供資料集與範例分享, 資料集來自於Open data或模擬資料.
內容包括 使用R進行 gfc.csv 視覺化範例

資料下載https://github.com/rwepa/DataDemo

Open Data 下載:

# 政府資料開放平台 https://data.gov.tw/


# UCI Machine Learning Repository https://archive.ics.uci.edu/datasets


# Google Dataset Search https://datasetsearch.research.google.com/


# Kaggle Dataset https://www.kaggle.com/datasets


# World Bank Open Data https://data.worldbank.org/


# 鄉鎮市區界線(TWD97經緯度)
主題:各鄉(鎮、市、區)行政區域界線圖資, 資料顆粒度較細.
https://data.gov.tw/dataset/7441

# 直轄市、縣市界線(TWD97經緯度)
主題:各直轄市以及縣(市)行政區域界線圖資, 資料顆粒度較大.
https://data.gov.tw/dataset/7442


# dataset
# open data
# gfc.csv
# nwind.csv
# end

2019年6月26日 星期三

如何運用大數據協助農業生產

本演講分享如何運用大數據協助農業生產

# 大數據分析
# 智慧農業
# 大數據分析架構 - APC
# 精準農業-預測應用五大步驟



演講地點: 後龍鎮農會

演講日期: 2019年6月27日(四)

演講大綱:
1.個人簡介
2.大數據簡介
3.大數據分析工具與架構
4.智慧農業應用

演講投影片:
https://github.com/rwepa/intelligentfarm

# end

2019年6月18日 星期二

Python與物聯網應用

本篇文章介紹 Python 與物聯網應用

演講投影片:
https://github.com/rwepa/python.arduino

演講地點: 育達科技大學物聯網工程與應用

演講日期: 2019年6月19日

演講大綱:
  1. 大數據分析架構 (APC)
  2. Python簡介
  3. Python與 Arduino 物聯網應用


2019年5月6日 星期一

R軟體開放資料應用-高速公路篇

本篇文章介紹R軟體在開放式資料的應用, 資料來源為交通部統計查詢網. 使用高速公路-交通事故資料進行相關分析.
  • 使用 ggplot2 套件進行資料視覺化.
  • 使用 forecast 套件進行 ARIMA 模型自動預測.



# R
# RStudio
# ggplot2 套件
# forecast 套件

演講地點: 育達科技大學資訊管理系所

演講日期: 2019年5月8日(三)

演講大綱:
  1. 資料分析/視覺化/互動式案例
  2. 大數據分析工具與架構
  3. R/RStudio簡介
  4. 資料物件,套件,輔助說明
  5. 開放資料分析-高速公路

演講投影片, R程式, 交通事故.csv 下載:

# end


2019年3月27日 星期三

Tableau 與 R 整合

本篇文章說明如何在 Tableau 軟體中使用 R 語言建立模型,以提供決策支援.

更新日期:2022.11.22

更新說明:使用 Tableau-22.04 實作使用 R 語言建立模型.

圖1. 說明 \設定和性能 \ 管理 Analytics 擴充連接



圖2. 選取 RServe



圖3. 主機名稱輸入 localhost



圖4. 按測試連線,顯示已成功連線表示可以使用R語言.



圖5. 完成畫面.








# Tableau
# R
# Rserve 套件
# Clustering
# kmeans

參考資料:
https://github.com/rwepa/tableaur


1. 下載並安裝 Tableau 14天版本
https://www.tableau.com/products/trial


https://www.rstudio.com/products/rstudio/download/#download

3. 安裝 Rserve 套件, 安裝套件僅需安裝一次即可.
install.packages("Rserve")

4. 載入 Rserve 套件
library(Rserve)

5. 啟動 Rserve 套件
Rserve()

參考下圖安裝與執行結果. 每次使用皆須完成此設定.





















6. 設定 Tableau 與 R 連結
Tableau \ Help \ Settings and Performance \ Manage External Service Connection


7. External Service Connection 視窗 \ Server 選項點選 localhost \ 按 Test Connection.


8. Tableau 視窗會顯示 Successfully connected to the external service. 表示Tableau 與 R 連接成功. 注意: 每次啟動Tableau 連結 R 皆須進行設定.

9. 將 iris 資料集匯出成 iris.csv 以提供 Tableau 匯入資料.
RStudio輸入 write.table(iris, file="iris.csv", sep=",", row.names=FALSE)

下載 iris.csv

10. Tableau 匯入 iris.csv.
Tableau \ Connect \ Text file \ iris.csv \ 開啟


11. 選取 Sheet1 \ Measures 空白處 \ 右鍵 \ Create Calculated Field


12. Create Calculated Field 視窗 \ 名稱改為 集群 新增以下內容:

SCRIPT_INT('set.seed(168);
result <- kmeans(data.frame(.arg1,.arg2,.arg3,.arg4), 3);
result$cluster;'
SUM([Sepal.Length]),SUM([Sepal.Width]),SUM([Petal.Length]),SUM([Petal.Width]))

  1. 本例使用集群 kmeans 演算法. result為kmeans 演算法的計算結果. result$cluster 回傳是集群整數編號, 因此使用 SCRIPT_INT 整數 Tableau 函數.
  2. 黃色 R 程式以 ' ' 標註, 三行R程式以 ; 區隔.
  3. 四個欄位名稱以SUM函數表示, 中間以 , 區隔.



13. 選取 集群 \ 右鍵 \ Convert to Discrete 將資料轉換為離散型變數.

14. 建立視覺化集群結果.
  1. 將 Petal.Length 拖曳至 Columns
  2. 將 Petal.Width 拖曳至 Rows
  3. 將 集群 拖曳至 Color

# end