在做文字資料的清理時，最頭痛就是內含有特殊的字元，諸如一些標點符號 (如”^*/$#)、特殊符號 (如空白、TAB) 甚至，系統控制符號 (如 \n 換行字元、\b 退位字元) 或尚未被定義的編碼。如果是在全英文的環境，要清理字元還算簡單，只需利用 ASCII Code 判斷字元是不是英文或數字即可。最直覺的辦法就是利用 replace() 這個函數以窮舉法去將目標字元移除，例如欲移除字串中的空白、TAB和換行字元可以用下列方式移除：

string.replace(' ', '').replace('	', '').replace('\n', '') #TAB也可以用\t表示

(由於接下來稍為對編碼及語法做簡單的說明，若已熟悉編碼或Python語法可以跳到最後直接參考範例程式)

利用字元編碼清除特殊字元

Python 內建就可以利用 ord() 函數取得字元的實際編碼，反過來也可以利用 chr() 函數將編碼重新轉換成字元。

▍ 利用 ord() 函數取得字元編碼

同樣得，如果是在英文環境那還算單純，由於 ASCII Code 其實就是對應 0 ~ 255 的數字，例如換行字元 (\n) 等同於 10、TAB 字元等同於 9。所以若只希望保留大小寫英文字元及數字，可以利用 ord() 函數取得字元的編碼，再判斷該字元應該被保留或移除。大寫英文字母 (A-Z) 的編碼分別對應 65~90、小寫英文字母 (a-z) 則為 97~122，而數字 (0-9) 的編碼則是 48~57。清除字元的範例如下，最終 string 的結果會是 'teststring'：

source = 'test string*&#' #原始字串，包含空白及特殊字元
string = '' #空字串，儲存清除後的結果
for char in source:
	if 65 <= ord(char) <= 90 or 97 <= ord(char) <= 122 or 48 <= ord(char) <= 57:
		string += char

當然，也可以把上面的程式改成函數的方式重複使用：

def string_cleaner(source):
	string = '' #空字串，儲存清除後的結果
	
	for char in source:
		if 65 <= ord(char) <= 90 or 97 <= ord(char) <= 122 or 48 <= ord(char) <= 57:
			string += char

	return string

如果還希望保留其他字元，例如小數點 (.) 編碼為 46，也可以自行將 ASCII Code 加入判斷式當中。

▍補充：利用 chr() 函數將編碼轉換為字元

這邊補充一個相反的函數：chr()
剛剛我們利用 ord() 函數可以將字元轉換成實際的編碼數字，相反的若我們希望把編碼轉換成真正的字元，則可以利用 chr() 這個函數實現。例如編碼 48 實際上就是數字 0、編碼 72 實際上是大寫 H，當然也可以利用編碼加入特殊字元或系統控制符號。以下就是一個實例，原本是同一行的字串因為插入了換行字元後會變成兩行：

string = 'This is the first line.This is the second line.' #原始是同一行的字串
paragraph = string[:23] + chr(10) + string[23:] #插入換行字元，當然也可以用 '\n' 的方式插入

CJK Characters 中日韓字元

說了這麼多這裡終於要進入正題，前面我們只提到在英文的環境下要如何清理字串，但到了亞洲文字事情就變得不單純。如果對二進位數字比較敏感的人可能會發現 ASCII Code 是一個 8 bits 的編碼，也就是在電腦中可以用八個位數的二進位去儲存字元 (一個字元佔 1 byte)，可以儲存的數量就是 2 的 8 次方種組合，分別就是對應 0 ~ 255 的數字。但實際上全世界的文字絕對遠多於 256 種，甚至拉丁字母本身就已經不只是大小寫的 A-Z 這麼簡單，以至於後面出現了更多的 Latin Extended-A、Latin Extended-B 等字元集，這邊要提到的便是 Unicode。

Unicode 的中文翻譯有很多種，可以說是統一碼、萬國碼、單一碼等，總之他就是一個編碼儲存了世界上大部分的文字系統，也就是包含了現行世界上的電腦使用的所有文字。想當然爾，使用 Unicode 邊碼的文字不再是 8 bits 就足以儲存，例如中文字可能就需要 2 個甚至 3 個 bytes 來儲存字元邊碼，目前最常見就是使用 UTF-8 的編碼格式。

▍由 Unicode 區段列表中挑選出保留的字元區段

這篇文章的重點不是要講解邊碼的歷史或是組成格式，詳細可以在上網去查。這邊要提到的是當我們在處理包含中文字的字串時 (甚至是日韓文字) 該如何移除特殊字元，方法其實和前面利用邊碼的數字範圍判斷很類似。如果打開 Unicode 的區段列表，首先可以看到最前面兩組便是 ASCII Code (0-127) 和 The extended ASCII codes (128-255)，後面還有各種語言的文字系統。若往下翻就可以看到如標題描述的 CJK Unified Ideographs (中日韓文統一表意文字)，這邊的 CJK 當然分別就是表示中文、日文及韓文。同樣的，這裡不詳述邊碼的編撰歷史和各種邊碼區段的詳細組成，有興趣可以自己上網查詢。

換句話說，想要針對含有中日韓文的字串當中移除特殊字元，只需利用 Unicode 的編碼區段去做一個粗略的快速判斷，將不在這些範圍內的字元直接移除即可。所以這邊已經整理好現行所有的 Unicode 區段列表 (詳見附錄)，並從中挑選出我們會使用到的 CJK 中日韓文字元集：

Unicode區段與包含的文字
區段範圍	區段名稱	英文名稱	碼位數[a]	已定義 字元數	文字[b][c][d][e][f]
U+0000..U+007F	基本拉丁字母	Basic Latin[g]	128	128	拉丁字母（52個）, 共同字元（76個）
U+0080..U+00FF	拉丁字母補充-1	Latin-1 Supplement[h]	128	128	拉丁字母（64個）, 共同字元（64個）
U+0100..U+017F	拉丁字母擴展-A	Latin Extended-A	128	128	拉丁
U+0180..U+024F	拉丁字母擴展-B	Latin Extended-B	208	208	拉丁
U+2E80..U+2EFF	中日韓漢字部首補充	CJK Radicals Supplement	128	115	漢字
U+2F00..U+2FDF	康熙部首	Kangxi Radicals	224	214	漢字
U+2FF0..U+2FFF	表意文字描述字符	Ideographic Description Characters	16	12	共用
U+3000..U+303F	中日韓符號和標點	CJK Symbols and Punctuation	64	64	漢字（15個）, 諺文（2個）, 共用（43個）, 繼承(4個）
U+3040..U+309F	平假名	Hiragana	96	93	平假名（89個）, 共用（2個）, 繼承(2個）
U+30A0..U+30FF	片假名	Katakana	96	96	片假名（93個）, 共用（3個）
U+3100..U+312F	注音符號	Bopomofo	48	43	注音字母
U+3130..U+318F	諺文相容字母	Hangul Compatibility Jamo	96	94	諺文
U+3190..U+319F	漢文訓讀	Kanbun	16	16	共用
U+31A0..U+31BF	注音符號擴展	Bopomofo Extended	32	32	注音字母
U+31C0..U+31EF	中日韓筆畫	CJK Strokes	48	36	共用
U+31F0..U+31FF	片假名拼音擴展	Katakana Phonetic Extensions	16	16	片假名
U+3200..U+32FF	中日韓圍繞字元及月份	Enclosed CJK Letters and Months	256	255	諺文（62個）, 片假名（47個）, 共用（146個）
U+3300..U+33FF	中日韓相容字元	CJK Compatibility	256	256	片假名（88個）, 共用（168個）
U+3400..U+4DBF	中日韓統一表意文字擴展區A	CJK Unified Ideographs Extension A	6592	6582	漢字
U+4DC0..U+4DFF	易經六十四卦符號	Yijing Hexagram Symbols	64	64	共用
U+4E00..U+9FFF	中日韓統一表意文字	CJK Unified Ideographs	20992	20989	漢字
U+F900..U+FAFF	中日韓相容表意文字	CJK Compatibility Ideographs	512	472	漢字
U+FE30..U+FE4F	中日韓相容形式	CJK Compatibility Forms	32	32	共用
U+FF00..U+FFEF	半形及全形字符	Halfwidth and Fullwidth Forms	240	225	諺文（52個）, 片假名（55個）, 拉丁（52個）, 共用（66個）
U+16FE0..U+16FFF	表意符號和標點符號	Ideographic Symbols and Punctuation	32	7	漢字（2個）、契丹小字（1個）、女書（1個）、西夏文（1個）, 通用（2個）
U+20000..U+2A6DF	中日韓統一表意文字擴展區B	CJK Unified Ideographs Extension B	42720	42718	漢字
U+2A700..U+2B73F	中日韓統一表意文字擴展區C	CJK Unified Ideographs Extension C	4160	4149	漢字
U+2B740..U+2B81F	中日韓統一表意文字擴展區D	CJK Unified Ideographs Extension D	224	222	漢字
U+2B820..U+2CEAF	中日韓統一表意文字擴展區E	CJK Unified Ideographs Extension E	5776	5762	漢字
U+2CEB0..U+2EBEF	中日韓統一表意文字擴展區F	CJK Unified Ideographs Extension F	7488	7473	漢字
U+2F800..U+2FA1F	中日韓相容表意文字補充區	CJK Compatibility Ideographs Supplement	544	542	漢字
U+30000..U+3134F	中日韓統一表意文字擴展區G	CJK Unified Ideographs Extension G	4944	4939	漢字

首先要先說明的是，上表挑選出的字集分為三個等級：

1. 第一部分，上表所列就是所有與漢文字、日文、韓文，或台灣使用的注音符號、相關標點符號、全形英數字等所有相關字元集 (即黃色底、橘色底及紅色底的部分)。

2. 而為了避免包含太多邊碼，第二部分則移除如易經、訓讀文字、描述字符等字元集，留下的則是我們日常生活中比較會使用到的字元，也就是橘色及紅色底的部分。

3. 第三部分則是下面範例程式所定義的中日韓文字集，符合這區段內的字元會被保留下來，不符合則被視為特殊字元將之移除。另外也移除注音符號、標點符號以及太特別的少用文字，最終挑選出上表紅色底的部分。

▍使用正規表示法移除特殊字元

簡單來說，只要字元屬於我們所定義的區段內，就會將字元保留下來，反之我們會移除它。特別注意的是，關於 ASCII Code 的部份我們只保留英數字及其他歐語系拉丁文字，因為 ASCII Code 當中還包含許多特殊符號及系統控制符號。

以下範例是以函數的方式定義一個字串清理程式，將字串丟進去就可以把特殊字元過濾掉，保留下來的字元列表則如註解中說明：

 # CJK and Latin Letters Cleaner

 # Characters and Codes List:
 #   0-9              Digits (ASCII printable characters)
 #   a-z              Basic Latin Letters   (ASCII printable characters)
 #   A-Z              Basic Latin Letters   (ASCII printable characters)
 #   ƒ (\u83)         Latin Letters Extened (ASCII extended characters)
 #   Š (\u8a)         Latin Letters Extened (ASCII extended characters)
 #   Π(\u8c)         Latin Letters Extened (ASCII extended characters)
 #   Ž (\u8e)         Latin Letters Extened (ASCII extended characters)
 #   š (\u9a)         Latin Letters Extened (ASCII extended characters)
 #   œ (\u9c)         Latin Letters Extened (ASCII extended characters)
 #   ž (\u9e)         Latin Letters Extened (ASCII extended characters)
 #   Ÿ (\u9f)         Latin Letters Extened (ASCII extended characters)
 #   \uc0-\ud6        Latin Letters Extened (ASCII extended characters)
 #   \ud8-\uf6        Latin Letters Extened (ASCII extended characters)
 #   \uf8-\uff        Latin Letters Extened (ASCII extended characters)
 #   \u100-\u17f      European Latin (Latin Extended-A)
 #   \u4e00-\u9fff    CJK Unified Ideographs (中日韓統一表意文字)
 #   \u3040-\u309f    Hiragana (平假名)
 #   \u30a0-\u30ff    Katakana (片假名)
 #   \u3130-\u318f    Korean language and computers (Hangul Compatibility Jamo 韓文)
 #   \uff00-\uffef    Halfwidth and Fullwidth Forms (半形及全形字符)
 #
 #   !!!! 5 bits unicode, re.UNICODE不支援，暫時不加入 !!!!
 #   \u20000-\u2s6df  CJK Unified Ideographs Extension B (中日韓統一表意文字擴展區B)
 #   \u2a700-\u2b73f  CJK Unified Ideographs Extension B (中日韓統一表意文字擴展區C)
 #   \u2b740-\u2b81f  CJK Unified Ideographs Extension B (中日韓統一表意文字擴展區D)
 #   \u2b820-\u2ceaf  CJK Unified Ideographs Extension B (中日韓統一表意文字擴展區E)
 #   \u2ceb0-\u2ebef  CJK Unified Ideographs Extension B (中日韓統一表意文字擴展區F)
 #   \u2f800-\u2fa1f  CJK Unified Ideographs Extension B (中日韓相容表意文字補充區)
 #   \u30000-\u3134f  CJK Unified Ideographs Extension B (中日韓統一表意文字擴展區G)
 

## regex package ##
import re

## Main Function ##
def CJK_cleaner(string):
    #Keep CJS Characters, Latin Letters and Digits (listed above)
	filters = re.compile(u'[^0-9a-zA-Z\u0083\u008a\u008c\u008e\u009a\u009c\u009e\u009f\u00c0-\u00d6\u00d8-\u00f6\u00f8-\u00ff\u0100-\u017f\u4e00-\u9fff\u3040-\u309f\u30a0-\u30ff\u3130-\u318f\uff00-\uffef]+', re.UNICODE)
	return filters.sub('', string) #remove special characters
#------

這邊不詳細說明正規表示法的函數和格式，re.compile() 函數定義了正規表示法，其中很長一連串的 Unicode 邊碼 \uxxxx 列出的是我們所接受的字元區段，^ 符號則為否定的意思，+ 符號則代表一次或多次出現，簡言之就是挑出不符合上列編碼的所有字元。而 sub() 函數則是將表示法中描述的字元替換為 '' 空字元，也就是移除。

注意尚未被定義的字元編碼

由於我們是以比較快速的方法，利用編碼區段直接辨識字元究竟屬於哪類文字，但是需注意的是並非整個區段中的所有編碼都已經被定義，且即使被定義亦有可能包含一些特殊字元。以「中日韓符號和標點」為例，雖該區段 64 個字元編碼均已被定義，但我仍曾經見過有資料倉儲使用 \u3000 作為分隔符號 (參考 Unicode 官方文件)，而實際上這個字元於大多數的文件、軟體當中亦不會被顯示，或是以空格顯示。所以若是沒有將這個字元排除，會導致字串在進行處裡或辨識的時候可能造成誤判。

當然我們可以不要將一些比較特別的字元集放入，以本篇的範例來說也沒有將「中日韓符號和標點」列入保留的字元當中。若為求保險些，可以只選擇保留最常見的中文字集，即「中日韓統一表意文字 (CJK Unified Ideographs)」，Unicode 編碼區段為 \u4e00-\u9fff，程式碼則可以簡化如下。不過特別注意一下即使這個字集也非所有字元碼均已被定義，為了避免可能出現的誤判，在程式撰寫的時候還是最後注意一下資料當中是否存在特別的字元。

def CJK_cleaner(string): #移除特殊字元，僅保留英數字及中日韓統一表意文字(CJK Unified Ideographs)
	filters = re.compile(u'[^0-9a-zA-Z\u4e00-\u9fff]+', re.UNICODE)
	return filters.sub('', string) #remove special characters

附件：Unicode 區段列表

Reference

• 比較詳細 Python 正則表達式操作指南 (re使用) | 煎炸熊の記事本
• re — Regular expression operations
• CJK Symbols and Punctuation: U3000
• ASCII Code – The extended ASCII table
• Unicode block | WIKIPEDIA
• Unicode區段 | WIKIPEDIA
• CJK Unified Ideographs | WIKIPEDIA
• 中日韓統一表意文字 | WIKIPEDIA

Copyright announcement:
Photo by Amador Loureiro on Unsplash