隨著科技的進(jìn)步，互聯(lián)網(wǎng)逐漸從電腦、手機(jī)屏幕走向VR、AR、智能座艙、智能家居等三維空間，為了讓用戶更自然地獲取信息，多模態(tài)交互將起到關(guān)鍵作用。本書從人工智能、用戶體驗(yàn)和技術(shù)的角度出發(fā)，介紹不同模態(tài)之間的差異，本書重點(diǎn)講解語音交互設(shè)計(jì)、手勢設(shè)計(jì)、圖形和語音界面融合設(shè)計(jì)三個(gè)方面的知識。 本書適合從事人工智能、語音交互、VR、AR、智能座艙和智能家居的產(chǎn)品經(jīng)理和設(shè)計(jì)師閱讀，希望本書能幫助讀者更清晰地知道未來的科技走向。
薛志榮，一名擁有技術(shù)背景的設(shè)計(jì)師，先后在百度、小鵬汽車和華為從事交互設(shè)計(jì)和人機(jī)交互設(shè)計(jì)相關(guān)工作，《AI改變設(shè)計(jì)——人工智能時(shí)代的設(shè)計(jì)師生存手冊》作者。平時(shí)喜歡研究新領(lǐng)域，包括人工智能、智能設(shè)計(jì)、智能座艙和虛擬現(xiàn)實(shí)等，擁有多項(xiàng)發(fā)明和外觀專利。個(gè)人微信公眾號為“薛志榮”，定期更新前沿領(lǐng)域的設(shè)計(jì)文章，歡迎閱讀和交流。
第1章 多模交互的演進(jìn)1
1.1 什么是多模交互 1
1.1.1 人機(jī)交互的發(fā)展歷史 1
1.1.2 多模交互的定義 4
1.1.3 多模交互技術(shù)逐漸成熟 6
1.1.4 多模融合的三個(gè)階段 9
1.2 初步融合階段 10
1.2.1 多模態(tài)之間的關(guān)系 10
1.2.2 多模融合的關(guān)鍵12
1.2.3 多模交互框架 13
1.3 語義理解階段 14
1.3.1 什么是語義 14
1.3.2 語義對于多模交互的重要性 15
1.4 任務(wù)自適應(yīng)階段 17
1.4.1 認(rèn)知負(fù)荷 17
1.4.2 隱私性19
1.4.3 安全性20
1.4.4 模態(tài)容量 20
1.4.5 信息重要程度和交互歷史 21
1.4.6 交互距離22
1.5 當(dāng)前我們能做什么 23
第2章 多模交互包含什么 25
2.1 視覺系統(tǒng)的特點(diǎn) 25
2.1.1 視覺范圍25
2.1.2 3.5 毫米的中央凹和每秒3~4次的跳動(dòng)頻率 26
2.1.3 中央視覺和周圍視覺 28
2.1.4 我們是如何閱讀的 29
2.1.5 光亮與黑暗31
2.2 聽覺32
2.2.1 聽覺系統(tǒng)的特點(diǎn)32
2.2.2 視覺和聽覺的區(qū)別 34
2.3 觸覺 35
2.3.1 觸覺系統(tǒng)的特點(diǎn) 35
2.3.2 觸覺感知的相關(guān)應(yīng)用 35
2.4 嗅覺、味覺和五感理論 40
2.4.1 嗅覺系統(tǒng)和味覺系統(tǒng)的特點(diǎn) 40
2.4.2 嗅覺營銷相關(guān)案例 42
2.4.3 嗅覺交互上的探索 43
2.4.4 嗅覺和味覺設(shè)計(jì)存在的問題 45
2.4.5 五感理論 45
2.5 主動(dòng)交互47
2.5.1 包含情緒的語音 47
2.5.2 肢體動(dòng)作 48
2.5.3 手勢 49
2.5.4 面部表情 51
2.5.5 眼神 51
2.6 無須主動(dòng)交互的生物識別技術(shù) 52
2.6.1 指紋識別 53
2.6.2 人臉識別 53
2.6.3 虹膜識別 54
2.6.4 聲紋識別 55
2.6.5 心率檢測 56
2.6.6 肌肉電信號57
2.6.7 腦電波 58
第3章 語音交互設(shè)計(jì)61
3.1 聲音的構(gòu)成和作用 62
3.1.1 語言 63
3.1.2 音樂和音效 67
3.2 語音交互的特點(diǎn) 70
3.2.1 語音交互的優(yōu)勢 70
3.2.2 語音交互的不足 72
3.2.3 語音交互的五大特性 77
3.3 創(chuàng)造一位智能語音助手 78
3.3.1 尋找合適的音色 80
3.3.2 確定智能語音助手和用戶的關(guān)系 82
3.3.3 構(gòu)建智能語音助手的用戶畫像 84
3.3.4 設(shè)計(jì)合理的喚醒詞 86
3.4 語音交互框架、意圖設(shè)計(jì) 88
3.4.1 四種語音交互模式 88
3.4.2 四種“喚醒+識別”方式89
3.4.3 語音交互狀態(tài)設(shè)計(jì) 90
3.4.4 意圖設(shè)計(jì)術(shù)語介紹 94
3.4.5 智能語音平臺如何聽懂用戶說的話 98
3.4.6 設(shè)計(jì)能聽懂用戶說什么的智能語音產(chǎn)品 101
3.5 對話設(shè)計(jì)原則 107
3.5.1 設(shè)計(jì)對話前需要了解的事項(xiàng) 107
3.5.2 任務(wù)型對話設(shè)計(jì)原則 113
3.5.3 修復(fù)對話設(shè)計(jì)原則 118
3.6 語音交互的GUI 設(shè)計(jì) 121
第4章 仍在起步的隔空手勢交互130
4.1 手勢的介紹 130
4.1.1 手勢交互的發(fā)展 130
4.1.2 手勢的分類 132
4.2 隔空手勢設(shè)計(jì) 135
4.2.1 設(shè)計(jì)隔空手勢時(shí)需要考慮的問題 135
4.2.2 導(dǎo)航手勢 141
4.2.3 語義手勢 144
4.2.4 操縱手勢 146
4.3 結(jié)合隔空手勢的UI設(shè)計(jì) 147
4.3.1 數(shù)字手部 147
4.3.2 直接觸摸 149
4.3.3 指針設(shè)計(jì) 150
4.3.4 交互組件的改造 152
第5章 語音圖形界面157
5.1 GUI和VUI的區(qū)別 158
5.1.1 GUI的特點(diǎn) 158
5.1.2 VUI的特點(diǎn)160
5.1.3 GUI和VUI融合時(shí)會(huì)遇到的問題 162
5.2 GUI和VUI融合的三種實(shí)現(xiàn)方式 165
5.2.1 應(yīng)用級語音交互 166
5.2.2 可見即可說 170
5.2.3 系統(tǒng)級語音交互 171
5.3 VGUI設(shè)計(jì)原則 172
5.4 重構(gòu)GUI操作 179
5.4.1 GUI控件文案設(shè)計(jì) 179
5.4.2 GUI組件和容器文案設(shè)計(jì) 184
5.4.3 特殊的控件和組件 185
5.5 VGUI核心設(shè)計(jì)要點(diǎn)187
5.5.1 全局指令和局部指令的權(quán)衡 187
5.5.2 控件/組件屬性的重構(gòu) 192
5.5.3 手勢的融合 200
第6章 跨設(shè)備和多模交互 201
6.1 跨設(shè)備交互是什么201
6.1.1 跨設(shè)備和多模交互的關(guān)系 201
6.1.2 跨設(shè)備交互的六個(gè)維度 202
6.2 淺談跨設(shè)備和多模交互細(xì)節(jié) 206
6.2.1 結(jié)合用戶場景進(jìn)行考慮206
6.2.2 結(jié)合信息密度和顯示距離進(jìn)行考慮208
6.2.3 模態(tài)的過渡和打斷 211
6.3 未來可期 212
6.3.1 面向未來的分布式操作系統(tǒng) 212
6.3.2 普適計(jì)算及未來 213
新書資訊