python字符編碼和文件處理,關於python字符編碼

本文目錄一覽：

• 1、Python 字符集編碼 – UTF-8 編碼
• 2、Python-lesson 2 數據類型、字符編碼、文件處理
• 3、學習Python應該從什麼方面下手？
• 4、python解決csv文件用excel打開亂碼問題

Python 字符集編碼 – UTF-8 編碼

Unicode 的編碼範圍為 0~0x10FFFF ，如此大的範圍，顯然沒辦法像 ASCII 編碼一樣使用一個位元組存儲。為此，Unicode 制定了各種儲存編碼的方式，如： UTF-8 、 UTF-16 和 UTF-32 ，這些存儲格式被稱為 Unicode 轉換格式 UTF 。

每種 Unicode 轉換格式都會把一個編碼存儲為一到多個編碼單元，如 UTF-8 的編碼單元為 8 位的位元組； UTF-16 的編碼單元為 16 位，即 2 個位元組； UTF-32 的編碼單元為 32 位，即 4 個位元組。

其中， UTF-8 是在互聯網上使用最廣泛的一種 Unicode 轉換格式，具有以下顯著的優勢。下面，我們就先來看看 UTF-8 具有哪些有點吧~

1. UTF-8 中每個 ASCII 字符只需要一個位元組去存儲，因此一個 ASCII 文本本身也是一個 UTF-8 文本，即做到了向後兼容。

比如 A 的 ASCII 碼對應為 0x41 ， a 的 ASCII 碼對應為 0x61 ，那麼 UTF-8 兼容 ASCII 也就意味着：

這裡，需要再次提醒一下：Unicode 是表現形式，UTF-8 是存儲形式；即 UTF-8 解碼之後為 Unicode ，Unicode 可以編碼成 UTF-8 。

2. UTF-8 採用位元組為存儲單元，因此不存在位元組的大端和小段的問題。

UTF-16 和 UTF-32 的存儲單元分別是 2 位元組和 4 位元組，因此在存儲時會涉及到大小端的問題。那什麼是大小端模式呢？下面我們來暫停補充一下~

關於如何獲知你的環境使用的是大端模式還是小端模式，這裡有個簡單的方式：定義一個 short 類型的數組即可：

數字 1 在 short 類型中表示為 0x0001 ，高位為 0x00 ，低位為 0x01 。我們可以很直觀地看到，數組在保存數據時，將高位 0x00 放在了高地址處，將低位 0x01 放在了低地址處。因此使用的就是小端模式。

那 UTF-8 為什麼可以使用位元組來作為存儲單元，而不用擔心位元組序的問題呢？這就涉及到了 UTF-8 巧妙的編碼規則~

UTF-8 最大的一個特點，就是它是一種變長的編碼方式。它可以使用 1~4 個位元組表示一個符號，根據不同的符號而變化位元組長度。UTF-8的編碼規則很簡單，只有二條：

1）對於單位元組符號，位元組的第一位設為 0 ，後 7 位為這個符號的 Unicode 碼。也就是我們上文提到的向後兼容：對於英文字母，UTF-8 編碼和 ASCII 碼是相同的。

2）對於使用 X 個位元組存儲的符號，第一個位元組的前 X 位設置為 1 ，第 X+1 位設置為 0 ，後面位元組的前 2 位一律設置為 10 ，剩下的位置一次填充這個符號的 Unicode 碼。

下表總結了編碼規則，字母 x 表示可用於編碼的位：

跟據上表，解讀 UTF-8 編碼也非常簡單：如果一個位元組的第一位是 0 ，則這個位元組單獨就是一個字符；如果第一位是 1 ，則連續有多少個 1 ，就表示當前字符佔用多少個位元組。

下面，我們就來演示一下 UTF-8 編碼的過程。

首先，獲取漢字 魚 的 Unicode 碼：

我們不妨先對 魚 這個漢字使用 utf-8 編碼看看使用幾個位元組存儲：

魚 在 UTF-8 編碼中使用 3 個位元組存儲，因此其存儲的二進制的形式為 1110xxxx 10xxxxxx 10xxxxxx ，將 Unicode 1001 110001 111100 依次填充到佔位符 x 的位置就得到： 11101001 10110001 10111100 。

下面，我們將上述推導得出的 11101001 10110001 10111100 轉換為十六進制，驗證一下是否為 b’\xe9\xb1\xbc’ ：

驗證無誤！

Python-lesson 2 數據類型、字符編碼、文件處理

什麼是垃圾：當一個值身上沒有人綁定任何變量名（該值的引用計數=0）時，該值就是一個垃圾，會將該值內存空間釋放掉。

引用計數增加

age=18 //18的引用計數等於1

x=age //18的引用計數等於2

引用計數減少

age=19 //18的引用計數等於1

del x //解除值與變量名的綁定關係；18的引用計數變為0

1、 為何數據要分不同的類型？

數據是用來表示狀態的，不同的狀態就應該用不同的類型的數據去表示

2、數據類型

數字（整形，長整形，浮點型，複數）

字符串

位元組串：在介紹字符編碼時介紹位元組bytes類型

列表

元組

字典

集合

3、按照以下幾個點展開數據類型的學習

==========================基本使用============================

1、用途

2、定義方式

3、常用操作+內置的方法

==========================該類型總結==========================

存一個值or存多個值

有序or無序

可變or不可變（1、可變：值變，id不變。可變==不可hash 2、不可變：值變，id就變。不可變==可hash）

1、整型int

作用：年紀，等級，身份證號，qq號等整型數字相關

定義：age=10 #本質age=int(10)

2、浮點型float

作用：薪資，身高，體重，體質參數等浮點數相關

salary=3000.3 #本質salary=float(3000.3)

類型轉換

a=(‘123’) //字符串類型

a=int(‘123’) //字符串轉成整型類型

a=float(‘12.3’) //字符串轉成浮點型

作用：記錄多個值

定義方式：在[ ]內用逗號分隔開多個任意類型的值；原材料可以是字符串，列表，字典;可變類型

1、按索引存取值(正向存取+反向存取)；可存也可以修改；對於賦值操作必須是已存在的索引

l=[‘a’,’b’,’c’,’d’,’e’]

print(l[0]) =a

print(l[-1]) =e

l[0]=’A’ //修改列表

print(l) =[‘A’,’b’,’c’,’d’,’e’]

2、切片(顧頭不顧尾，步長)，步長與字符串一樣；原列表不會修改

print(l[1:4]) =[‘b’,’c’,’d’]

3、長度

print(len(l)) =5

4、成員運算in和not in

print(‘a’ in l) =True

print(‘sss’ not in l) =True

5、追加插入

l.append(333) //append最後追加

print(l) =[‘a’,’b’,’c’,’d’,’e’,’333′]

l.insert(0,111) //第一個位置添加值

print(l) =[‘111′,’a’,’b’,’c’,’d’,’e’]

6、刪除remove ，有返回值；del也可刪，但是沒有返回值；pop 剪切一個值，返回剪切的值

l.remove(‘a’) //()內為值，不能為索引

print(l) =[‘b’,’c’,’d’,’e’]

del l[0] //[ ] 內為索引

l.pop(0) // () 內為索引，不指定索引默認時-1

res=l.pop(0)

print(res) =a

7、循環

for item in l

print(item)

1、count 統計次數

print(l.count(‘a’)) =1

2、extend 一次性往列表末尾追加多個值，一個參數：可以被 for 循環的列表

item=[1,2,3,4,5]

l.extend(item)

print(l) =[‘a’,’b’,’c’,’d’,’e’,1,2,3,4,5]

3、index 找索引，以找到的第一個值為準，不存在的值會報錯,可以用成員運算判斷查找的值是否存在，以避免報錯；列表沒有find

print(l.index(‘a’)) =0

print(l.index(‘c’,2,5)) =2 //指定查找範圍，第二個開始，第五個結束

4、sort 排序，默認從小到大排序

l=[4,6,2,9,10,3,1]

l.sort()

print(l) =[1, 2, 3, 4, 6, 9, 10]

l.sort(reverse=True) //從大到小排序

print(l) =[10, 9, 6, 4, 3, 2, 1]

作用：就是一個不可變的列表（是可以當做字典的key的），主要是用來讀

定義：在()內用逗號分隔開多個任意類型的元素

t=(1,2,3,(‘a’,’b’),[‘q’,’w’,’e’])

本質age=tuple(t=(1,2,3,(‘a’,’b’),[‘q’,’w’,’e’]))

如果元組只有一個值，必須加一個逗號

t=(‘a’,)

元組總結

1、存多個值

2、有序

3、不可變

1、按索引取值(正向取+反向取)：只能取，不能添加、減少、修改

t=(1,2,3,(‘a’,’b’),[‘q’,’w’,’e’])

print(t[0]) =1

print(t[-1]) =[‘q’,’w’,’e’]

2、切片(顧頭不顧尾，步長),步長與字符串一致

print(t[1:4]) =(2, 3, (‘a’, ‘b’))

3、長度

print(len(t)) =5

4、成員運算in和not in

print(1 in t) =True

5、循環

for item in t:

print(item)

t=(1,2,3,(‘a’,’b’),3,[‘q’,’w’,’e’])

作用：記錄多個值，key對應值，key對value有描述性功能；取值速度快

定義：在{ } 內用逗號隔開多個元素，每個元素都是key:value的形式；key必須是不可變類型，value可以是任意類型

info={‘name’:’egon’,’age’:18,’sex’:’male’}

本質

info=dict(name=’egon’,age=18,sex=’male’)

或

info=dict([[‘name’,’egon’],(‘age’,18)])

或

{}.fromkeys((‘name’,’age’,’sex’),None)

總結

1、存多個值

2、無序

3、可變

1、將值導入字典

2、按key存取值：可存可取

dic={‘name’: ‘egon’, ‘age’: ’18’, ‘gender’: ‘male’}

print(dic[‘name’]) =egon //當key不存在時會報錯

print(dic.get(‘name’)) =egon

print(dic.get(‘xxx’)) =None //當key不存在時會返回一個None

dic[‘name’]=’Egon’ //修改value

dic[‘hight’]=18 //如果key不存在，就是一個加值的操作

print(dic) ={‘name’: ‘egon’, ‘age’: ’18’, ‘gender’: ‘male’, ‘hight’: 18}

3、長度len，統計key:value的個數; 不能有重複的key，後面的key會覆蓋前面的key

print(len(dic)) =3

4、成員運算in和not in，以字典的key為準

print(‘name’ in dic) =True

print(‘dasda’ not in dic) =True

5、刪除

第一種：del dic[‘name’]

第二種：res=dic.pop(‘name’) //根據key刪除，有返回值，返回值為key對應的value值

第三種：res=dic.popitem() //隨機刪，返回值是(key：value)，返回值格式是元組

6、鍵keys()，值values()，鍵值對items()

print(dic.keys()) =dict_keys([‘name’, ‘age’, ‘gender’]) //取索引

print(dic.values()) =dict_values([‘egon’, ’18’, ‘male’]) //取值

print(dic.items()) =dict_items([(‘name’, ‘egon’), (‘age’, ’18’), (‘gender’, ‘male’)]) //取鍵值對

7、循環

for item in dic:

print(item) //輸出的是key

for item in dic.values():

print(item) //輸出的是值

for item in dic.items():

print(ietm) //輸出的是 (key:value) 的元組

1、update 新字典中已經存在的以新的為準，不存在的增加

dic={‘name’: ‘egon’, ‘age’: ’18’, ‘gender’: ‘male’}

dic.update({‘age’:19,’hight’:180})

print(dic) ={‘name’: ‘egon’, ‘age’: 19, ‘gender’: ‘male’, ‘hight’: 180}

2、setdefault 加入一個鍵值對，如果key已存在，則保留字典里的原值，如果key不存在，則加入鍵值對；返回字典里key對應的value值

作用：關係運算，去重

定義方式：在{ }內用逗號分隔開多個元素，但是元素的特點是

1、每個元素必須是不可變類型(可hash，可作為字典的key)

2、沒有重複的元素

3、無序

注意：集合的目的是將不同的值存放到一起，不同的集合間用來做關係運算，無需糾結於集合中單個值

類型轉換

res=set(‘hello’) //字符串轉集合

rds=set([1,’a’,’b’]) //列錶轉集合

print(res) ={‘h’, ‘l’, ‘e’, ‘o’} //去重

print(rds) ={1, ‘a’, ‘b’}

總結：

1、有多個值

2、無序

3、可變

pythons={‘alex’,’egon’,’yuanhao’,’wupeiqi’,’gangdan’,’biubiu’}

linuxs={‘wupeiqi’,’oldboy’,’gangdan’}

1、長度len

2、成員運算in和not in

3、合集

print(pythons | linuxs)

4、交集

print(pythons linuxs)

5、兩個集合差集，以第一個集合為準

print(pythons – linuxs) //求只報名python的學生

print(linuxs – pythons) //求只報名linux的學生

6、對稱差集；求沒有報名兩門課程的學生

第一種：res=(pythons – linuxs) | (linuxs – pythons)

第二種：res=pythons ^ linuxs

print(res)

7、== ，集合值相等即可，無需順序一致

s1={1,2,3}

s2={3,2,1}

print(s1 == s2) =True

8、父集：,= ；子集：,=

s1={1,2,3}

s2={3,2,1,4,6}

print(s2 = s1) =True

print(s1 = s2) =True

介紹：計算機系統分為：計算機硬件，操作系統，應用程序三部分。

1、什麼是文件？

文件是操作系統為應用程序或者用戶提供一種操作硬盤的虛擬單位。

window系統默認為GBK編碼

2、為什麼要用文件？

文件對應的硬盤空間，如果需要考慮永久保存數據那必須使用文件

3、如何用文件？

（1）打開文件

f=open(r’D:\untitled1\a.txt’,mode=’r’,encoding=’utf-8′)

第一個小r，表示原生的字符串，\沒有轉義的意思，防止\a、\n轉義

第二個小r，以讀的模式打開，rb以二進制格式讀，rt會把文本文件二進制解碼成unicode格式存到內存，針對文本文件用rt模式；w為寫操作；

賦值給一個變量，變量指定該文件對象，文件對象占的是應用程序的資源

（2）讀/寫文件

（3）關閉文件

f.close() //向操作系統發送指令，讓操作系統關閉打開的文件，回收操作系統資源

1、控制文件讀寫操作模式

r 只讀模式，以該模式打開文件，當文件不存在時報錯；

w 只寫模式，如果該文件存在則覆蓋，如果該文件不存在，創建新文件寫入；文件打開不關閉的情況下，連續寫入自動追加；

a 追加，如果該文件存在則文件結尾追加內容，如果該文件不存在，創建新文件寫入；

w+ 讀寫，如果該文件存在則覆蓋，如果該文件不存在，創建新文件寫入

2、控制文件讀寫內容的模式（不能單獨使用，必須與r、w、a連用）

t （默認） 讀寫只能是文本文件，都是字符串類型,會自動解碼文本文件；必須指定encoding參數

b 對於非文本文件，我們只能使用b模式，linux可忽略；”b”表示以位元組的方式操作；以b方式打開時，讀取到的內容是byte位元組類型，寫入時也需要提供位元組類型，不能指定編碼

為了避免打開文件後忘記關閉，可以通過管理上下文，即：

with open(‘log’,’r’) as f:

3、文件的修改

f.seek(3,0) //3指移動的位元組數，0是模式

1、三種模式，以位元組為單位；只有0模式既可以在t模式下用也可以在b模式下用，而1、2兩種模式只能在b模式下用

0 （默認模式）：永遠參照文件開頭往後數

1：參照指針當前所在位置

2：參照文件末尾，倒着數

注意：t 模式下的read(n) 是以字符為單位；意思為從哪個字符開始讀

學習Python應該從什麼方面下手？

學習python不難，但想學好python進入比較好的崗位是有難度的，需要進行系統性階段學習。

想要學習Python，需要掌握的內容還是比較多的，對於自學的同學來說會有一些難度，不推薦自學能力差的人。我們將學習的過程劃分為4個階段，每個階段學習對應的內容，具體的學習順序如下：

Python學習順序：

①Python軟件開發基礎

掌握計算機的構成和工作原理

會使用Linux常用工具

熟練使用Docker的基本命令

建立Python開發環境，並使用print輸出

使用Python完成字符串的各種操作

使用Python re模塊進行程序設計

使用Python創建文件、訪問、刪除文件

掌握import 語句、From…import 語句、From…import* 語句、方法的引用、Python中的包

②Python軟件開發進階

能夠使用Python面向對象方法開發軟件

能夠自己建立數據庫，表，並進行基本數據庫操作

掌握非關係數據庫MongoDB的使用，掌握Redis開發

能夠獨立完成TCP/UDP服務端客戶端軟件開發，能夠實現ftp、http服務器，開發郵件軟件

能開發多進程、多線程軟件

③Python全棧式WEB工程師

能夠獨立完成後端軟件開發，深入理解Python開發後端的精髓

能夠獨立完成前端軟件開發，並和後端結合，熟練掌握使用Python進行全站Web開發的技巧

④Python多領域開發

能夠使用Python熟練編寫爬蟲軟件

能夠熟練使用Python庫進行數據分析

招聘網站Python招聘職位數據爬取分析

掌握使用Python開源人工智能框架進行人工智能軟件開發、語音識別、人臉識別

掌握基本設計模式、常用算法

掌握軟件工程、項目管理、項目文檔、軟件測試調優的基本方法

想要系統學習，你可以考察對比一下開設有IT專業的熱門學校，好的學校擁有根據當下企業需求自主研發課程的能，南京北大青鳥、中博軟件學院、南京課工場等都是不錯的選擇，建議實地考察對比一下。

祝你學有所成，望採納。

請點擊輸入圖片描述

python解決csv文件用excel打開亂碼問題

【問題】

python輸出的csv文件用excel打開，裏面的中文會變成亂碼，但用window下的記事本或mac下的numbers打開就正常顯示。

原因是python輸出的文件是utf-8編碼寫入的，excel默認以gbk方式讀取，導致亂碼發生。

【解決方法1】文件產出時encoding設置為utf-8-sig    

用excel打開csv時，excel會先檢查文件的第一個字符，來了解這個文件是什麼編碼方式，如果這個字符是BOM，excel就知道用utf-8的方式打開這個文件。python自帶了處理BOM的編碼方式uft-8-sig，因此只需要在文件產出時將encoding設置為utf-8-sig。

如果文件不是由python產出的，只需要以utf-8方式讀入再以utf-8-sig方式存儲即可

【解決方法2】懶人法，適用只含簡體中文的文件

用記事本打開，點擊另存為，右下角編碼方式選擇「ANSI」，這個過程是把這個文件改成gbk編碼格式，excel就是默認用gbk方式打開的。

參考： Python寫的csv文件，如何讓 Excel 雙擊打開不亂碼？ – 雲+社區 – 騰訊雲

對編碼格式一竅不通的可以閱讀以下網頁

python筆記——二進制和文件編碼_砍柴姑娘Jourosy的博客-CSDN博客

編碼方式之ASCII、ANSI、Unicode概述 – 藍海人 – 博客園

【簡單總結】：

1. 首先需要了解 字符集 和 字符編碼 兩個概念，字符集定義了字符和二進制的一一對應關係，字符編碼規定了如何將字符的編號存儲到計算機中。

2. Unicode是字符集，包含了全球文字的唯一編碼，utf-8是編碼方式，將unicode以某種方式存儲到計算機中。

3. 有些字符集和編碼是結合在一起的，稱作字符集還是編碼都無所謂，比如ASCII，GBK

4. ANSI是各個國家地區不同擴展編碼方式的總稱，互不兼容（可以看出來通用性沒有utf好）

5. 不同編碼方式在轉換時，通常需要以unicode作為中間編碼，即先將其他編碼的字符串解碼（decode）成unicode，再從unicode編碼（encode）成另一種編碼。