助理救星-穿梭於SPSS和R之間





助理救星-穿梭於SPSS和R之間


許哲維

前言

資料整理是分析前的必經之路,包括資料的讀取、檢核、修改、重新編碼和合併等。過去大多是透過SPSS、SAS、Stata、甚至Excel等商業軟體來完成。近來資料科學蓬勃發展,愈來愈多人受到R等開源軟體豐富的套件庫、社群互動活躍等特色所吸引,轉向使用開源軟體來進行資料分析,然而,在此同時他們卻常面臨到不同資料儲存格式造成的隔閡,不得其門而入。過去筆者擔任研究助理期間,大多時間處理sav或是dta檔,但分析資料或製圖又得仰賴R的套件,陷入常常需要花費時間上網搜尋相關套件來讀取資料,資料讀進來之後卻變成亂碼,再上網尋找解答的無限循環中。總幻想著可以博采眾軟體之長,實際卻都在做資料轉換,這或許正是許多跨越軟體使用者的寫照吧。所幸筆者在不斷爬文的過程中發現R的套件庫,有佛心開發者提供一系列的套件,幫助人們減輕檔案格式所造成的困擾,這也就是本文所要介紹的strengejacke系列的套件,希望透過本文的介紹,可以幫助大家減少走冤枉路的時間,將更多精力放在分析上。
本文將一步步帶著大家,從資料讀取開始認識此套件的使用方法,介紹一些資料處理常用到的功能,並示範簡單的資料探索、視覺化呈現,最後以線性迴歸模型的製圖和製表做結,而本文示範的語法也可以點此連結參考。本文主要目的希望可以與讀者分享這個實用的資料處理套件,將著重於使用本套件內的功能和一些筆者使用後的經驗分享,若是想要從基礎認識R,則可以參考本部落格之前的介紹

套件版本說明

因為R的套件發展迅速,有時候不同版本的功能會落差,因此,若遇到錯誤訊息時,請先確認一下是否為版本差異所造成。本文所使用的套件版本為如下:

示範資料說明

本文示範的資料取自SRDA資料庫的「107年來臺旅客消費及動向調查(公共版) 」,1此為交通部觀光局於107 年1月1日至12月31日調查入境之外籍與華僑旅客(含大陸旅客,不含過境之外籍與華僑旅客),採用「配額抽樣法」抽樣,有效樣本數為7,225人。
為了呈現方便本文僅選取來台旅客的人口變項、來台目的、消費金額以及搭乘大眾工具等變項作為示範。雖然本文主要目的為套件功能的介紹,但為了符合平常的使用狀況,本文仍設定了一個簡單的研究問題來模擬分析的流程,筆者希望透過這筆資料,瞭解來台目的與消費金額間的相關性,在分析的過程中,我也加入了性別、教育程度、年齡等人口變項一併觀察。

strengejacke 介紹

strengejacke系列的套件由sjlabelledsjmiscsjstatssjPlot等套件組合而成,這些套件最大的特色是如同傳統的統計軟體一樣,可以保存變項及選項的文字標籤,不僅可以提高製圖和製表的效率,也更貼近於使用傳統統計軟體的工作模式,讓人可以快速上手。本文著重分享資料處理和呈現的功能,因此只介紹前3個套件,最後的sjstats主要應用於統計分析,若有需要的讀者可以再深入探索此套件。
sj套件簡介表2
套件名稱主要功能主要使用指令
sjlabelled讀取和處理具有標籤的資料read_data, set_label, set_labels, set_na
sjmisc變項描述和重新編碼descr, rec, to_factor
sjPlot快速製圖和製表view_df, frq

套件安裝

使用前請先安裝sjlabelledsjmiscsjPlot等套件,安裝方法如下,可以選擇逐一安裝,或是如方法2,直接從strengejacke的網頁安裝所有套件。安裝完畢別忘了使用library匯入後才可以使用。

資料分析示範

讀取資料

資料分析的第一步就是讀檔了,可是面對不同格式的檔案,很可能讓人一開始就打起退堂鼓。本文以讀取SPSS的檔案作為示範,一般而言,若有SPSS的軟體,可以先輸出成csv後匯入,然而,此方法只能讀入數值,這也放棄了之前辛苦建立的標籤說明。所幸接下來介紹的sjlabelled套件,可以幫助我們讀取具有標籤的資料,並且設計了一連串的功能供資料處理和結果呈現。
首先,請先設定好工作路徑和匯入sj家族的相關套件以利後面使用,在讀取資料的階段主要使用sjlabelled套件。之後,我使用read_data的功能來讀取資料檔,此功能的便利之處,在於它可以自動根據副檔名判斷讀入的檔案類型,使用者只要記得這個指令就可以吃遍sav、dta等檔案類型。
補充說明
網路上也介紹了其他的讀檔套件,筆者接觸過包括foreignhavenrio等套件,根據自己的使用經驗較不推薦前兩者,foreign套件的read.spss功能若為預設狀態,讀取資料時會自動將類別變項轉換為factor,若此時強制使用as.numeric數值化,則可能會因為level的起始值為1,而將原先為0的資料變成1,在使用上不可不慎!另一方面,haven套件讀入後則會將資料存為labelled型態,此型態可能會與其他開源套件間有不相容的問題。最後rio套件則是筆者最推薦的讀取方法,它直接將各種類型的讀檔功能打包在一起了,透過import功能可以自動讀取各種檔案,可謂為讀檔功能的瑞士刀。

資料處理

標籤介紹

一份SPSS的資料檔可以分為3個部分:數據資料(數值和文字資料)、變項說明(問卷題目)、選項說明,一般套裝統計軟體已預先將3者連結,然而,在R的基本資料格式中並沒有這種儲存型態,因此需要透過sjlabelled套件讀取標籤資料。我們在R軟體中直接檢視類別變項,呈現方式如下:
以b1_2a這個類別變項為例,變項數據資料將以數值的方式儲存,而變項說明和選項說明則分別儲存於attr的label和labels兩個物件中,若我們要檢視此變項的次數分配,可以使用sjmisc套件中的frq功能來呈現,由以下結果可見,此變項仍屬於數值變項(numeric),若後續有需要進行運算處理會較為方便,也避免格式轉換可能造成的錯誤,而在描述呈現時則會帶入標籤資料,讓人一目了然,不需要反覆去對照過錄編碼簿,如此一來可以既保有運算的彈性,又能維持呈現的可讀性。

標籤處理

認識完標籤的儲存格式後,可以進入實際的操作過程了,我們將先從修改標籤開始,過程包括:變項改名、變項說明、選項說明的調整。首先是更改變項名稱,如以下示範,原始資料為流水號命名,讓人難以直觀了解,透過rename_variables的功能,我將其改為可以一目了然的名稱,並儲存回原本的dataframe中。之後,再使用set_label功能將spend變項的說明替換為「總花費」,並使用set_labels的功能定義edu變項中各個選項。

缺失值定義

標籤處理完畢後,我們進一步處理資料內容,這裡就需要使用到第二個套件-sjmisc,首先將介紹如何定義缺失值。調查資料中常會將缺失值紀錄為99,或是有「未回答」、「其他」等較難分析的答案,通常在分析時會將其排除,在R當中需要將其統一歸為NA。為此,可以使用set_na的功能將特定數值定義為缺失值,此功能可以支援單一變項和多重變項批次處理,甚至還可以一次處理整個dataframe的資料。如下所示,第一段語法是將age變項中的99設定為缺失值;第二段語法則是同時定義inc、edu、religion等3個變項缺失值,並且各變項的數值定義也可以不同;最後則是強制定義整個dataframe中所有變項的99為缺失值,此方法雖然方便,但要注意是否所有變項都適用此定義,以免造成分析錯誤。
補充說明
筆者在實測過程中發現,方法2(批次處理)可能會影響到其他變項的標籤,,具體而言,如範例中將edu的4定義為無效值,在此同時卻會使得資料集中其他選項4的標籤消失。筆者目前也仍未找到原因,因此為了保險起見,暫不推薦使用方法2。

變項編碼(recode)

變項類別的調整也是資料處理中重要的一步,在此使用rec的功能,透過參數調整可以輕鬆解決各種重新編碼的問題,詳細示範可以參考官方文件的介紹,本文只會介紹幾種較常見的應用。最基本的用法是單變項的重新編碼,以下以sex變項做示範,我想將男性設為1女性則設為0,這裡有兩種寫法,首先在rec參數中填入數值定義;之後在val.labels參數填入新的選項說明,另一種方法則更為簡便,直接在rec同時定義數值和選項說明。
windows注意
然而,若在Windows系統的電腦中使用方法2,遇到中文標籤很可能會遇到以上顯示的錯誤,應該是因為系統編碼所導致的錯誤,然而,若在Mac上則較少遇到此問題。若不幸遇上了,建議使用英文命名或是使用方法1替代。

此外在rec參數中還有許多不同的使用技巧,以下使用age變項做示範,其原先以每10歲為一個年齡組共有7組,我想將其縮減為3個組別。
最後要介紹的是反向編碼的功能,這時候只要將rec參數的位置輸入"rev"即可自動反向編碼。但需要注意的是,這個方法也很常會遇到前述的系統編碼問題,若有此狀況,只能使用前述的基本方法操作。

連續變項分組

除了類別變項的調整外,連續變項的分組也是很常需要處理的問題,例如,年齡分組、收入級距、成績分組等等,在這筆資料中,我將來台旅客停留天數(days)以每10天分組,首先,使用group_var功能在size的位置輸入每組的大小,即可自動分組;之後再用group_labels功能自動產生各組的標籤,再設定其level即可得到分組過後的類別變項了。

資料探索

資料處理完畢後,我們就可以來探索這筆資料了,這裡則需要sjPlot的製圖和製表功能來幫助我們快速產生報表,畢竟在探索階段也不希望花太多時間去調整輸出結果的美觀。一開始,先使用view_df功能產生整筆資料的次數分配表,可以綜觀資料內包含的所有變項,以及初步了解資料的分佈狀況。但此功能僅會顯示類別變項,若為連續變項則會被省略表示,因此,需要再透過descr的功能檢視連續變項的描述統計。


單變項次數分配

類別變項次數分配的製表,可以使用先前提過的frq功能來檢視;至於連續變項則可透過descr功能顯示描述統計。另外,sjPlot套件也提供簡便的語法進行視覺化探索,雖然R軟體中早已有ggplot2這個強大的繪圖工具,但也因為它豐富的功能使得設定上較為繁瑣,而sjPlot則將其中幾個較常使用的圖表工具打包起來,讓使用者可以快速的使用它的套裝功能。以下以spend變項做示範,希望繪製來台旅客總花費金額的分配狀況,但因為本資料中總花費的幣值並不一致,繪圖前得先行處理,因此,本文僅保留使用新台幣消費的旅客資料,並且因為消費金額的偏態較大,我以數值加1後取自然對數的方式處理,最終使用的樣本數為2,974人。繪圖過程則使用plot_frq的功能繪製直方圖,大家也可再透過參數設定自行選擇想要呈現的內容,這裡僅示範以normal.curve參數呈現常態分佈曲線,若想呈現更多資訊可參考說明文件

補充說明
筆者在處理資料篩選的過程中,也就是filter那段語法時發現,篩選出的新dataframe將會遺失標籤資訊,上網搜尋相關討論後,這可能是相關套件的問題。目前的權宜之計是使用copy_labels的功能將原本資料集的標籤複製到新資料上面。

雙變項交叉表

雙變項的關係則可以透過交叉表和分組長條圖的方式呈現,我以旅客教育程度(edu)和主要來台目的(b2a)兩個變項來示範。首先,可以使用分組長條圖進行探索,下圖可見各種來台目的中不同教育程度的人數分佈狀況。繪製分組長條圖則是透過plot_grpfrq的功能,若中文標籤為亂碼,可能是因為預設字體不支援中文所致,可由theme_sjplot功能設定顯示字體,挑選電腦中可支援中文的字型即可呈現。

初步的探索後,我希望可以更深入了解這兩個變項間的關係,因此我使用tab_xtab的功能來呈現兩變項的交叉表, 並且透過調整show.row.prcshow.col.prc兩個參數,可以呈現出交叉表中的列和欄的百分比(紫色和綠色的數字),若想要呈現期望值請另外進行參數的調整。

題組探索

最後則是介紹題組題的探索分析,題組可說是調查資料獨特的問題型態,但要如何清楚的呈現並不容易,所幸本套件也有提供快速的圖表製作功能,本文選用「請問您這次在臺灣期間搭乘的交通工具滿意程度」的題組進行示範,首先使用find_var功能將D3題組統一匯出為新的dataframe,並將選項0沒有搭乘設為無效值。之後使用tab_stackfrq的功能,再依參數要求填入選項和變項說明,即可呈現各題項的回答狀況了,但要注意的是若資料有na,則須設定參數show.na = True,否則會出現錯誤訊息。


plot_likert的功能則可以視覺化呈現整個題組的回答狀況,讓研究者可以更快速的了解各題目和選項的分配差異,由以下結果可以明顯地觀察到大多數受訪者的回覆都是偏向滿意一側。但使用此功能需要注意有沒有設定catcount-選項數的參數,若沒有設定由套件自動偵測會有很高的出錯機會。此外,若題目中包含中立選項例如,不知道、沒意見等,可在cat.neutral設定,套件則會將其呈現在最後方,避免影響次序的比較。

模型檢視

資料探索完畢後,本文以線性迴歸模型的呈現收尾。筆者建立一個簡單的模型來觀察人口變項、來台目的和消費金額間的關係。如同前述,為了幣值的統一,這裡只保留使用新台幣消費的旅客樣本(n = 2,954)。首先,使用as_factor的功能將類別變項定義為factor的型態,在R的迴歸模型中會自動將factor以虛擬變項處理,不需要另外設定 (若想要更改參考組請使用ref_lvl)。但這裡也得提醒大家,as_factor會受到電腦系統的字元編碼的問題影響產生錯誤,尤其在Windows系統中較為常見,筆者目前也仍未找的有效的解決辦法。回到示範,模型1放入人口變項,模型2則加入來台主要目的(b2a)。之後使用tab_model的功能,並透過show.reflvl選擇是否顯示參考組,當然,這個功能也提供了許多的輸出版型,使用者可以從官方介紹裡面尋找符合自己需求的輸出樣式。另外,也順便補充一個實用的輸出模板-stargazer可以交替使用。

最後則是以視覺化圖形來呈現迴歸分析的結果,這裡使用plot_model的功能,將模型放入後會依照迴歸係數繪製出以下圖形,可以更直觀地看出個變項的顯著性和信賴區間。

結語

總體而言,透過strengejacke系列套件,可以降低不少跨軟體轉換的阻礙,讓人可以一方面享受開源軟體多樣且新穎的功能,並且語法操作也更具彈性,有助於面對不同樣貌的資料;另一方面也可以接軌傳統統計軟體累積的豐富資料。然而,實際上的操作絕不是像前面介紹般的輕描淡寫,並非照著範例把語法寫完就可以拿到輸出成果了。就筆者的經驗來說,遇到最多就是字元編碼的問題,這個問題在Windows平台上尤為嚴重,筆者將本文的語法在Mac上執行都沒問題,但卻在Windows上遭遇到一些錯誤,遇上這種狀況也只能見招拆招,若有更好的解決方法也歡迎提供分享。
最後還是得強調,本文僅簡略介紹了sj套件家族中的常用功能,其他還有許多實用的功能和技巧,可以協助使用者應對各種資料處理問題,若想有更深入的認識,推薦大家可以閱讀劉正山老師的《民意調查資料分析的R實戰手冊》,可以更完整的學習如何使用這些套件處理和分析調查資料。此外,筆者也推薦大家可以造訪下列幾個套件的官方網站,裡面都有各個功能的範例與參數說明,也可以參考作者的教學文件,這些都可以幫助大家更快了解這些套件的運作。


1 交通部觀光局(2019)。107年來臺旅客消費及動向調查(公共版)(AG010018)【原始數據】取自中央研究院人文社會科學研究中心調查研究專題中心學術調查研究資料庫。doi:10.6141/TW-SRDA-AG010018-1
2 本表參考自《民意調查資料分析的R實戰手冊》p89. "note"

留言

這個網誌中的熱門文章

使用Python進行資料整理 – 初探Pandas

SAS、SPSS、STATA 統計軟體檔案格式轉換介紹

資料整理與檢誤經驗談—以SPSS程式進行邏輯檢查