編輯推薦:傳統(tǒng)的入侵檢測(cè)和日志文件分析已經(jīng)不再足以保護(hù)當(dāng)今的復(fù)雜網(wǎng)絡(luò)。在本書(shū)中，安全研究人員Michael Collins展示了多種收集和分析網(wǎng)絡(luò)流量數(shù)據(jù)集的技術(shù)和工具。你將從中理解網(wǎng)絡(luò)的使用方式，以及保護(hù)和改進(jìn)它所必需的行動(dòng)。
《數(shù)據(jù)驅(qū)動(dòng)的網(wǎng)絡(luò)分析》分為3個(gè)部分，講解了收集和組織數(shù)據(jù)的過(guò)程、各種分析工具和多種不同的分析場(chǎng)景和技術(shù)。對(duì)于熟悉腳本的網(wǎng)絡(luò)管理員和運(yùn)營(yíng)安全分析人員來(lái)說(shuō)，本書(shū)是他們的理想讀物。
《數(shù)據(jù)驅(qū)動(dòng)的網(wǎng)絡(luò)分析》內(nèi)容如下：
探索捕捉安全數(shù)據(jù)的網(wǎng)絡(luò)、主機(jī)和服務(wù)傳感器；
使用關(guān)系數(shù)據(jù)庫(kù)、圖解數(shù)據(jù)庫(kù)、Redis和Hadoop存儲(chǔ)數(shù)據(jù)流量；
使用SiLK、R語(yǔ)言和其他工具進(jìn)行分析和可視化；
通過(guò)探索性數(shù)據(jù)分析檢測(cè)不尋常的現(xiàn)象；
用圖解分析識(shí)別網(wǎng)絡(luò)中的重要結(jié)構(gòu)；
確定網(wǎng)絡(luò)中穿越服務(wù)端口的流量；
檢查通信量和行為，以發(fā)現(xiàn)DDoS和數(shù)據(jù)庫(kù)攫??；
獲得網(wǎng)絡(luò)映射和庫(kù)存盤(pán)點(diǎn)的詳細(xì)過(guò)程。

內(nèi)容簡(jiǎn)介:　　傳統(tǒng)的入侵檢測(cè)和日志文件分析已經(jīng)不再足以保護(hù)當(dāng)今的復(fù)雜網(wǎng)絡(luò)，本書(shū)講解了多種網(wǎng)絡(luò)流量數(shù)據(jù)集的采集和分析技術(shù)及工具，借助這些工具，可以迅速定位網(wǎng)絡(luò)中的問(wèn)題，并采取相應(yīng)的行動(dòng)，保障網(wǎng)絡(luò)的運(yùn)行安全?！　　稊?shù)據(jù)驅(qū)動(dòng)的網(wǎng)絡(luò)分析》分為3部分，共15章，內(nèi)容包括數(shù)據(jù)采集的常規(guī)過(guò)程，用于采集網(wǎng)絡(luò)流量的傳感器，基于特定系統(tǒng)的傳感器，數(shù)據(jù)存儲(chǔ)和分析，使用互聯(lián)網(wǎng)層次知識(shí)系統(tǒng)（SiLK）分析NetFlow數(shù)據(jù)，用于安全分析的R語(yǔ)言簡(jiǎn)介、入侵檢測(cè)系統(tǒng)的工作機(jī)制以及實(shí)施，確定實(shí)施攻擊的幕后真兇，探索性數(shù)據(jù)分析以及數(shù)據(jù)可視化，檢查通信流量和行為，獲取網(wǎng)絡(luò)映射和庫(kù)存盤(pán)點(diǎn)的詳細(xì)過(guò)程等?！　　稊?shù)據(jù)驅(qū)動(dòng)的網(wǎng)絡(luò)分析》適合網(wǎng)絡(luò)安全工程師和網(wǎng)絡(luò)管理人員閱讀。

作者簡(jiǎn)介:　　Michael Collins，是RedJack有限責(zé)任公司的首席科學(xué)家，該公司是華盛頓首都特區(qū)的一家網(wǎng)絡(luò)安全和數(shù)據(jù)分析公司。在任職于RedJacak之前，Collins博士是卡內(nèi)基·梅隆大學(xué)CERT/網(wǎng)絡(luò)態(tài)勢(shì)感知小組的成員。他的主要研究方向是網(wǎng)絡(luò)測(cè)量和流量分析，特別是大流量數(shù)據(jù)集的分析。Collins博士于2008年畢業(yè)于卡內(nèi)基·梅隆大學(xué)，獲得電子工程博士學(xué)位。他的碩士和學(xué)士學(xué)位也來(lái)自于同一學(xué)校。

目錄:第1部分 數(shù) 據(jù)
第1章 傳感器和探測(cè)器簡(jiǎn)介 3
1．1 觀察點(diǎn)：傳感器的位置對(duì)數(shù)據(jù)采集的影響 4
1．2 領(lǐng)域：確定可以采集的數(shù)據(jù) 7
1．3 操作：傳感器對(duì)數(shù)據(jù)所做的處理 10
1．4 小結(jié) 12
第2章 網(wǎng)絡(luò)傳感器 13
2．1 網(wǎng)絡(luò)分層及其對(duì)測(cè)量的影響 14
2．1．1 網(wǎng)絡(luò)層次和觀察點(diǎn) 16
2．1．2 網(wǎng)絡(luò)層次和編址 19
2．2 封包數(shù)據(jù) 20
2．2．1 封包和幀格式 21
2．2．2 滾動(dòng)緩存 21
2．2．3 限制每個(gè)封包中捕捉的數(shù)據(jù) 21
2．2．4 過(guò)濾特定類(lèi)型封包 21
2．2．5 如果不是以太網(wǎng)怎么辦 25
2．3 NetFlow 26
2．3．1 NetFlow v5格式和字段 26
2．3．2 NetFlow生成和采集 28
第3章 主機(jī)和服務(wù)傳感器：在源上的流量日志 29
3．1 訪問(wèn)和操縱日志文件 30
3．2 日志文件的內(nèi)容 32
3．2．1 優(yōu)秀日志消息的特性 32
3．2．2 現(xiàn)有日志文件以及處理方法 34
3．3 有代表性的日志文件格式 36
3．3．1 HTTP：CLF和ELF 36
3．3．2 SMTP 39
3．3．3 Microsoft Exchange：郵件跟蹤日志 41
3．4 日志文件傳輸：轉(zhuǎn)移、Syslog和消息隊(duì)列 43
3．4．1 轉(zhuǎn)移和日志文件留存 43
3．4．2 syslog 43
第4章 用于分析的數(shù)據(jù)存儲(chǔ)：關(guān)系數(shù)據(jù)庫(kù)、大數(shù)據(jù)和其他選項(xiàng) 46
4．1 日志數(shù)據(jù)和CRUD范式 47
4．2 NoSQL系統(tǒng)簡(jiǎn)介 49
4．3 使用何種存儲(chǔ)方法 52

第2部分 工 具
第5章 SiLK套件 56
5．1 SiLK的概念和工作原理 56
5．2 獲取和安裝SiLK 57
5．3 選擇和格式化輸出字段操作：rwcut 58
5．4 基本字段操縱：rwfilter 63
5．4．1 端口和協(xié)議 63
5．4．2 大小 65
5．4．3 IP地址 65
5．4．4 時(shí)間 66
5．4．5 TCP選項(xiàng) 67
5．4．6 助手選項(xiàng) 68
5．4．7 雜項(xiàng)過(guò)濾選項(xiàng)和一些技巧 69
5．5 rwfileinfo及出處 69
5．6 合并信息流：rwcount 72
5．7 rwset和IP集 74
5．8 rwuniq 77
5．9 rwbag 79
5．10 SiLK高級(jí)機(jī)制 79
5．11 采集SiLK數(shù)據(jù) 81
5．11．1 YAF 81
5．11．2 rwptoflow 83
5．11．3 rwtuc 84
第6章 R安全分析簡(jiǎn)介 86
6．1　安裝與設(shè)置 86
6．2　R語(yǔ)言基礎(chǔ)知識(shí) 87
6．2．1　R提示符 87
6．2．2　R變量 88
6．2．3　編寫(xiě)函數(shù) 93
6．2．4　條件與循環(huán) 95
6．3　使用R工作區(qū) 97
6．4　數(shù)據(jù)幀 98
6．5　可視化 101
6．5．1　可視化命令 101
6．5．2　可視化參數(shù) 101
6．5．3　可視化注解 103
6．5．4　導(dǎo)出可視化 104
6．6　分析：統(tǒng)計(jì)假設(shè)檢驗(yàn) 104
6．6．1　假設(shè)檢驗(yàn) 105
6．6．2　檢驗(yàn)數(shù)據(jù) 107
第7章 分類(lèi)和事件工具：IDS、AV和SEM 110
7．1　IDS的工作原理 110
7．1．1　基本詞匯 111
7．1．2　分類(lèi)器失效率：理解“基率謬誤” 114
7．1．3　應(yīng)用分類(lèi) 116
7．2　提高IDS性能 117
7．2．1　改進(jìn)IDS檢測(cè) 118
7．2．2　改進(jìn)IDS響應(yīng) 122
7．2．3　預(yù)取數(shù)據(jù) 122
第8章 參考和查找：了解“某人是誰(shuí)”的工具 124
8．1 MAC和硬件地址 124
8．2 IP編址 126
8．2．1 IPv4地址、結(jié)構(gòu)和重要地址 126
8．2．2 IPv6地址、結(jié)構(gòu)和重要地址 128
8．2．3 檢查連接性：使用ping連接到某個(gè)地址 129
8．2．4 路由跟蹤 131
8．2．5 IP信息：地理位置和人口統(tǒng)計(jì)學(xué)特征 132
8．3 DNS 133
8．3．1 DNS名稱(chēng)結(jié)構(gòu) 133
8．3．2 用dig轉(zhuǎn)發(fā)DNS查詢(xún) 134
8．3．3 DNS反向查找 142
8．3．4 使用whois查找所有者 143
8．4 其他參考工具 146
第9章 其他工具 148
9．1　可視化 148
9．2　通信和探查 151
9．2．1　netcat 151
9．2．2　nmap 153
9．2．3　Scapy 154
9．3　封包檢查和參考 157
9．3．1　Wireshark 157
9．3．2　GeoIP 157
9．3．3　NVD、惡意軟件網(wǎng)站和C*E 158
9．3．4　搜索引擎、郵件列表和人 160

第3部分 分 析
第10章 探索性數(shù)據(jù)分析和可視化 162
10．1 EDA的目標(biāo)：應(yīng)用分析 163
10．2 EDA工作流程 165
10．3 變量和可視化 166
10．4 單變量可視化：直方圖、QQ圖、箱線圖和等級(jí)圖 167
10．3．1 直方圖 167
10．3．2 柱狀圖（不是餅圖） 169
10．3．3 分位數(shù)-分位數(shù)（Quantile-Quantile ，QQ）圖 170
10．3．4 五數(shù)概括法和箱線圖 172
10．3．5 生成箱線圖 173
10．5 雙變量描述 175
10．5．1 散點(diǎn)圖 175
10．5．2 列聯(lián)表 177
10．6 多變量可視化 177
第11章 摸索 185
11．1 攻擊模式 185
11．2 摸索：錯(cuò)誤的配置、自動(dòng)化和掃描 187
11．2．1 查找失敗 187
11．2．2 自動(dòng)化 188
11．2．3 掃描 188
11．3 識(shí)別摸索行為 189
11．3．1 TCP摸索：狀態(tài)機(jī) 189
11．3．2 ICMP消息和摸索 192
11．3．3 識(shí)別UDP摸索 193
11．4 服務(wù)級(jí)摸索 193
11．4．1 HTTP摸索 193
11．4．2 SMTP摸索 195
11．5 摸索分析 195
11．5．1 構(gòu)建摸索警報(bào) 196
11．5．2 摸索行為的取證分析 196
11．5．3 設(shè)計(jì)一個(gè)網(wǎng)絡(luò)來(lái)利用摸索 197
第12章 通信量和時(shí)間分析 199
12．1 工作日對(duì)網(wǎng)絡(luò)通信量的影響 199
12．2 信標(biāo) 201
12．3 文件傳輸/攫取 204
12．4 局部性 206
12．4．1 DDoS、突發(fā)擁塞和資源耗盡 209
12．4．2 DDoS和路由基礎(chǔ)架構(gòu) 210
12．5 應(yīng)用通信量和局部性分析 214
12．5．1 數(shù)據(jù)選擇 214
12．5．2 將通信量作為警報(bào) 216
12．5．3 將信標(biāo)作為警報(bào) 216
12．5．4 將局部性作為警報(bào) 217
12．5．5 工程解決方案 217
第13章 圖解分析 219
13．1 圖的屬性：什么是圖 219
13．2 標(biāo)簽、權(quán)重和路徑 222
13．3 分量和連通性 227
13．4 聚類(lèi)系數(shù) 228
13．5 圖的分析 229
13．5．1 將分量分析作為警報(bào) 229
13．5．2 將集中度分析用于取證 230
13．5．3 廣度優(yōu)先搜索的取證使用 231
13．5．4 將集中度分析用于工程 232
第14章 應(yīng)用程序識(shí)別 234
14．1 應(yīng)用程序識(shí)別機(jī)制 234
14．1．1 端口號(hào) 234
14．1．2 通過(guò)標(biāo)志抓取識(shí)別應(yīng)用程序 238
14．1．3 通過(guò)行為識(shí)別應(yīng)用程序 241
14．1．4 通過(guò)附屬網(wǎng)站識(shí)別應(yīng)用程序 244
14．2 應(yīng)用程序標(biāo)志：識(shí)別和分類(lèi) 245
14．2．1 非Web標(biāo)志 245
14．2．2 Web客戶(hù)端標(biāo)志：User-Agent字符串 246
第15章 網(wǎng)絡(luò)映射 249
15．1 創(chuàng)建一個(gè)初始網(wǎng)絡(luò)庫(kù)存清單和映射 249
15．1．1 創(chuàng)建庫(kù)存清單：數(shù)據(jù)、覆蓋范圍和文件 250
15．1．2 第1階段：前3個(gè)問(wèn)題 251
15．1．3 第2階段：檢查IP空間 254
15．1．4 第3階段：識(shí)別盲目和難以理解的流量 258
15．1．5 第4階段：識(shí)別客戶(hù)端和服務(wù)器 261
15．2 更新庫(kù)存清單：走向連續(xù)審計(jì) 263