本書是由中國大數(shù)據(jù)應(yīng)用聯(lián)盟人工智能專家委員會(huì)主任劉鵬教授主編的一本系統(tǒng)學(xué)習(xí)數(shù)據(jù)標(biāo)注技術(shù)的教材。本書使用淺顯易懂的語言，系統(tǒng)地介紹了數(shù)據(jù)標(biāo)注的基本概念、分類、流程、質(zhì)量檢驗(yàn)、管理和應(yīng)用等。通過理論與實(shí)戰(zhàn)相結(jié)合的方式，幫助讀者由淺入深進(jìn)行學(xué)習(xí)，從而真正掌握數(shù)據(jù)標(biāo)注的核心技術(shù)、實(shí)施和管理方法。本書既可以作為培養(yǎng)應(yīng)用型人才的課程教材，也適用于初學(xué)者，以及廣大的數(shù)據(jù)標(biāo)注行業(yè)從業(yè)者。數(shù)據(jù)標(biāo)注行業(yè)迅速成長，目前正缺乏一本q威教材，希望本書能夠填補(bǔ)這個(gè)空白。

劉鵬，清華大學(xué)博士畢業(yè)。現(xiàn)任中國大數(shù)據(jù)技術(shù)與應(yīng)用聯(lián)盟副理事長、中國大數(shù)據(jù)應(yīng)用聯(lián)盟人工智能委員會(huì)主任、中國云計(jì)算專家咨詢委員會(huì)專家委員、工業(yè)和信息化部云計(jì)算研究中心專家。

第1章 數(shù)據(jù)標(biāo)注概述…………………………………………1

1.1 數(shù)據(jù)標(biāo)注的起源與發(fā)展…………………………………………1

1.1.1 什么是數(shù)據(jù)標(biāo)注 …………………………………………3

1.1.2 數(shù)據(jù)標(biāo)注分類概述 ………………………………………4

1.1.3 數(shù)據(jù)標(biāo)注流程概述 ………………………………………6

1.2 數(shù)據(jù)標(biāo)注的應(yīng)用場(chǎng)景……………………………………… 7

1.2.1 出行行業(yè) …………………………………………………7

1.2.2 金融行業(yè) …………………………………………………8

1.2.3 醫(yī)療行業(yè) …………………………………………………8

1.2.4 家居行業(yè) …………………………………………………8

1.2.5 安防行業(yè) …………………………………………………9

1.2.6 公共服務(wù) …………………………………………………9

1.2.7 電子商務(wù) …………………………………………………10

1.3 有多少智能，就有多少人工……………………………………10

1.3.1 有監(jiān)督的機(jī)器學(xué)習(xí) ………………………………………10

1.3.2 最后一批人工智能的“老師” ……………………………11

1.4 數(shù)據(jù)越多，智能越好……………………………………………12

1.5 作業(yè)與練習(xí)………………………………………………………14

參考文獻(xiàn)… ……………………………………………………………14

第2章 數(shù)據(jù)采集與清洗………………………………………16

2.1 標(biāo)注對(duì)象…………………………………………………………16

2.1.1 主要的數(shù)據(jù)來源 …………………………………………16

2.1.2 常見的標(biāo)注數(shù)據(jù) …………………………………………17

X 數(shù)據(jù)標(biāo)注工程

2.2 數(shù)據(jù)采集………………………………………………………… 18

2.2.1 數(shù)據(jù)采集方法 …………………………………………… 18

2.2.2 數(shù)據(jù)采集流程 …………………………………………… 19

2.2.3 標(biāo)注數(shù)據(jù)采集 …………………………………………… 20

2.3 數(shù)據(jù)清洗…………………………………………………………23

2.3.1 數(shù)據(jù)清洗方法 …………………………………………… 24

2.3.2 數(shù)據(jù)清洗流程 …………………………………………… 26

2.3.3 MapReduce 數(shù)據(jù)去重 …………………………………… 26

2.4 作業(yè)與練習(xí)………………………………………………………28

參考文獻(xiàn)… ……………………………………………………………28

第3 章 數(shù)據(jù)標(biāo)注分類…………………………………………29

3.1 圖像標(biāo)注…………………………………………………………29

3.1.1 什么是圖像標(biāo)注 ………………………………………… 29

3.1.2 圖像標(biāo)注應(yīng)用領(lǐng)域 ……………………………………… 30

3.2 語音標(biāo)注…………………………………………………………35

3.2.1 什么是語音標(biāo)注 ………………………………………… 35

3.2.2 客服錄音數(shù)據(jù)標(biāo)注規(guī)范 ………………………………… 35

3.3 文本標(biāo)注…………………………………………………………38

3.3.1 什么是文本標(biāo)注 ………………………………………… 38

3.3.2 文本標(biāo)注應(yīng)用領(lǐng)域 ……………………………………… 38

3.4 作業(yè)與練習(xí)……………………………………………………… 41

參考文獻(xiàn)… …………………………………………………………… 41

第4 章 數(shù)據(jù)標(biāo)注質(zhì)量檢驗(yàn)……………………………………42

4.1 數(shù)據(jù)質(zhì)量影響算法效果…………………………………………42

4.2 數(shù)據(jù)標(biāo)注質(zhì)量標(biāo)準(zhǔn)………………………………………………44

4.2.1 圖像標(biāo)注質(zhì)量標(biāo)準(zhǔn) ……………………………………… 44

4.2.2 語音標(biāo)注質(zhì)量標(biāo)準(zhǔn) ……………………………………… 47

4.2.3 文本標(biāo)注質(zhì)量標(biāo)準(zhǔn) ……………………………………… 48

4.3 數(shù)據(jù)標(biāo)注質(zhì)量檢驗(yàn)方法…………………………………………48

4.3.1 實(shí)時(shí)檢驗(yàn) ………………………………………………… 48

目 錄XI

4.3.2 全樣檢驗(yàn) ………………………………………………… 50

4.3.3 抽樣檢驗(yàn) ………………………………………………… 50

4.4 作業(yè)與練習(xí)………………………………………………………53

參考文獻(xiàn)… ……………………………………………………………53

第5 章 數(shù)據(jù)標(biāo)注管理………………………………………… 55

5.1 數(shù)據(jù)標(biāo)注工廠設(shè)計(jì)………………………………………………55

5.2 數(shù)據(jù)標(biāo)注管理架構(gòu)………………………………………………59

5.3 數(shù)據(jù)安全管理與質(zhì)量管理體系…………………………………60

5.3.1 數(shù)據(jù)存儲(chǔ)安全管理要求 ………………………………… 60

5.3.2 工廠人員行為管理 ……………………………………… 61

5.3.3 溯源體系建設(shè) …………………………………………… 61

5.3.4 質(zhì)量管理體系建設(shè) ……………………………………… 62

5.4 數(shù)據(jù)標(biāo)注項(xiàng)目評(píng)估………………………………………………63

5.5 數(shù)據(jù)標(biāo)注訂單管理………………………………………………64

5.6 數(shù)據(jù)標(biāo)注客戶關(guān)系管理…………………………………………65

5.7 作業(yè)與練習(xí)………………………………………………………66

參考文獻(xiàn)… ……………………………………………………………66

第6 章 數(shù)據(jù)標(biāo)注應(yīng)用…………………………………………68

6.1 自動(dòng)駕駛…………………………………………………………68

6.1.1 自動(dòng)駕駛的發(fā)展 ………………………………………… 68

6.1.2 自動(dòng)駕駛的9 種數(shù)據(jù)標(biāo)注 ……………………………… 70

6.2 智能安防…………………………………………………………75

6.2.1 智能安防的發(fā)展分析 …………………………………… 75

6.2.2 智能安防的5 種數(shù)據(jù)標(biāo)注 ……………………………… 77

6.3 智能醫(yī)療…………………………………………………………80

6.3.1 智能醫(yī)療的發(fā)展 ………………………………………… 80

6.3.2 智能醫(yī)療應(yīng)用的4 種數(shù)據(jù)標(biāo)注 ………………………… 80

6.4 作業(yè)與練習(xí)………………………………………………………82

參考文獻(xiàn)… ……………………………………………………………83

XII 數(shù)據(jù)標(biāo)注工程

第7 章 數(shù)據(jù)標(biāo)注實(shí)戰(zhàn)…………………………………………84

7.1 實(shí)戰(zhàn)環(huán)境搭建……………………………………………………84

7.1.1 標(biāo)注工具安裝環(huán)境搭建 ………………………………… 84

7.1.2 LabelImg 標(biāo)框標(biāo)注工具的使用方法 …………………… 92

7.1.3 Labelme 工具的安裝與使用方法 ……………………… 100

7.2 醫(yī)療影像標(biāo)注………………………………………………… 104

7.3 遙感影像標(biāo)注………………………………………………… 106

7.4 車牌圖像標(biāo)注………………………………………………… 109

7.4.1 車牌圖像標(biāo)框標(biāo)注 …………………………………… 109

7.4.2 車牌圖像分類標(biāo)注 …………………………………… 110

7.5 人像數(shù)據(jù)標(biāo)注………………………………………………… 113

7.5.1 行人圖像標(biāo)注 ………………………………………… 113

7.5.2 人臉數(shù)據(jù)標(biāo)注 ………………………………………… 116

7.6 作業(yè)與練習(xí)…………………………………………………… 121

參考文獻(xiàn)… ………………………………………………………… 121

附錄 大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)（數(shù)據(jù)標(biāo)注版）… ………………… 122