智能座艙3種交互方式之隱式交互

智能駕駛座艙如我們之前文章講到，他讓汽車不簡單是一個讓你從A移動到B的工具，而是變成懂人類，能與人類互動的智能設備，車內(nèi)交互可以提高駕駛員的情境意識、信任、舒適性、更好的用戶體驗以及可用性和安全性。當前汽車從按鍵交互跨越到了車載顯示交互，未來傳統(tǒng)車載顯示器預計將擴展到具有多模式界面的圖形用戶界面 （GUI） 顯示器，如我們之前文章所訴配備了多種傳感技術包括聽覺、觸覺／觸覺、手勢、可穿戴傳感器、和 AR／VR ／混合現(xiàn)實 （MR） 技術，以確保準確預測車內(nèi)交互。此外，駕駛員或乘客監(jiān)控對于交互至關重要。車載交互系統(tǒng)需要估計和推斷駕駛員／用戶的動作、疲勞或困倦等狀態(tài)、駕駛員的認知狀態(tài)以及用戶的情緒。

通常，人類可以隱式和顯式地與智能車輛進行交互。在隱式交互中，用戶或駕駛員根據(jù)自己的權利進行他們的行為，觀察者（汽車）可以推斷出用戶執(zhí)行某些行為的狀態(tài)或意圖。例如駕駛員疲勞識別、情緒識別，甚至可以向智能車輛傳達某些線索的姿勢或姿勢估計。

相反，用戶打算主動的與車輛進行通信，這就是顯式交互例如包括語音命令（了解語言控制汽車AI智能語音101及其供應鏈）、手勢以及通過觸覺和顯示界面進行的通信。

這個汽車和手機行業(yè)是類似，手機1．0時代按鍵交互，手機2．0時代大屏交互但總體來講都是顯性交互，當代手機配合穿戴設備開啟了多傳感器隱性和顯性交互新時代。

我們先開始講隱式交互智，能汽車識別駕駛員和乘客的行為和活動對車載交互系統(tǒng)和安全功能具有深遠的影響。如果正確分類了駕駛員的意圖，則可以在每個時刻將人機交互引導到最合適的模態(tài)（視覺／聽覺／觸覺）。例如如果汽車知道乘客的全身姿勢（坐姿、躺姿等），安全功能（例如安全氣囊、轉(zhuǎn)向、制動和防撞模式）可以根據(jù)最佳及時部署進行定制。在檢測到駕駛員分心或疲勞時，智能車輛助手可以選擇提供視覺或振動警報。此外，智能車輛助手還可以與駕駛員進行對話以保持他們的警覺。

如果檢測到非最佳的身體姿勢，驅(qū)動的內(nèi)部可以將駕駛員推向正確的身體姿勢，以獲得最佳的駕駛注意力。同樣，如果發(fā)現(xiàn)駕駛員的情緒是憤怒或悲傷，智能車輛助手可以推薦舒緩的音樂，控制車內(nèi)溫度，營造輕松的環(huán)境。

此外，如果發(fā)現(xiàn)駕駛員無法控制車輛，自動駕駛汽車可以脫離駕駛員，將駕駛員帶到安全地帶，并與附近的其他車輛 （V2V） 和相關機構 （V2X） 進行通信。

等等畢竟人很奇怪的心理需求是需要別人懂，而隱式交互卻是讓機器懂你的方式。

本文講大抵介紹隱式交互的三部分：

與安全直接相關的疲勞和分心識別，通過現(xiàn)有駕駛員檢測和車輛動態(tài)狀態(tài)傳感器配合AI算法交互

情緒識別，通過生理傳感器配合AI算法

姿態(tài)識別，通過視覺傳感器配合AI 算法，觸覺傳感器希望能給大家一些信息和啟發(fā)

疲勞和分心識別

駕駛員分心是道路事故的主要原因之一，美國國家公路交通安全管理局 （NHTSA） 估計高達 25％ 的道路事故是由于某種形式的駕駛員分心而發(fā)生的。駕駛員分心或注意力不集中可以定義為“駕駛員注意力不集中表示在沒有競爭活動的情況下對安全駕駛至關重要的活動的注意力減少。”分心和疲勞是導致駕駛事故的駕駛員注意力不集中的兩種常見形式。

先前的工作已經(jīng)確定了分心類型的各種區(qū)別，例如在路上用手（手動）、眼睛（視覺）和／或頭腦（認知）執(zhí)行第二或第三任務。雖然這些是分心的主要來源，但也可能有其他輸入，例如導致分心的聽覺刺激。此外，一些活動可能是不同類型的干擾（如發(fā)短信）的組合，而駕駛則是手動、視覺和認知干擾的組合。為了檢測駕駛員分心，第3節(jié)討論了各種傳感技術 ． 我們討論了使用不同傳感技術所采用的相關方法和算法，并在本節(jié)中討論了融合一種或多種傳感信息的方法。

車輛 IMU、GPS 和外部攝像頭等外部傳感器可用于推斷駕駛行為和不穩(wěn)定駕駛模式，這可能意味著分心。車速是一項至關重要的測量，在推斷干擾時必須與其他傳感器測量一起使用。具有 YOLOv4 和 Faster R－CNN等架構的深度神經(jīng)網(wǎng)絡 （DNN）已與外部攝像頭一起用于檢測交通中的其他車輛和行人以及路標。識別車道和車道保持錯誤可以作為檢測駕駛員分心的指標。例如，邏輯回歸模型已被用于區(qū)分分心駕駛和使用車道保持錯誤的正常駕駛。方向盤傳感器還提供駕駛員分心的間接指示。

已經(jīng)演示了一種通過二階泰勒級數(shù)和觀察到的角度來預測轉(zhuǎn)向角以計算轉(zhuǎn)向誤差的方法。當駕駛員分心時，錯誤會增加。相比之下，諸如立體攝像頭、紅外攝像頭、ToF 傳感器和 RGB－D 傳感器等內(nèi)部視覺傳感器已被廣泛用于識別駕駛員和乘客的活動、意圖和行為。已經(jīng)比較了用于檢測駕駛員分心的最先進的神經(jīng)網(wǎng)絡架構，例如 VGG、AlexNet、GoogleNet 和 ResNet，并且 ResNet 架構似乎優(yōu)于其他競爭策略。即使是基于單一圖像的駕駛員活動識別來檢測諸如打電話、發(fā)短信、眼睛偏離道路、揉眼睛等活動，也已經(jīng)使用神經(jīng)網(wǎng)絡進行了演示。

已經(jīng)提出了一種基于預訓練的 CNN VGG－19 架構的端到端網(wǎng)絡，該網(wǎng)絡對亮度、陰影、相機姿勢和駕駛員種族具有魯棒性，以檢測駕駛員分心。此外，面部的聚焦區(qū)域也可用于檢測分心，例如打哈欠可能意味著疲勞、眼睛偏離道路、眼睛跟蹤、眨眼頻率等。與 DNN 相比，支持向量機 （SVM） 等機器學習技術也已用于檢測閉眼。為了解決稀疏標記數(shù)據(jù)問題，已經(jīng)探索了一種稱為少數(shù)鏡頭自適應凝視估計 （FAZE） 的新框架，該框架能夠?qū)W習凝視、頭部姿勢和外觀的緊湊的個人特定潛在表示。然后利用注視估計對分心駕駛和正常駕駛行為進行分類。

內(nèi)部攝像頭也可用于檢測手離開方向盤的活動。檢測疲勞和分心的其他指標包括閉眼百分比 （PERCLOS）、眼睛離開道路時間、以及使用來自 RGB 相機的視頻序列的打哈欠和點頭。此外，紅外攝像機可用于減輕照明條件的變化。除了視覺傳感技術，生理可穿戴傳感器，如肌電圖 （EMG）、腦電圖 （EEG）、心電圖 （ECG）、皮膚電活動 （EDA）、眼電圖 （EOG） 和心率傳感器也已用于檢測分心。通過訓練 SVM 分類器，EEG 信號可以分為四類，從警覺到嗜睡。

由于 EEG 測量需要將電極放置在駕駛員的頭部，因此它們的實際用例很少；但是，某些新穎的入耳式 EEG 可能會用于實際用例。心電圖測量心臟的電活動，駕駛員的情緒、心理活動和體力消耗會影響心率。EOG 傳感器用于記錄眼球運動，并可用于檢測疲勞和嗜睡。例如，當眼睛的上眼瞼和下眼瞼之間的接觸持續(xù)約 200－400 ms 時檢測到眨眼，如果眼睛保持閉合超過 500 ms 時檢測到微睡眠，并且可以通過 EOG 檢測到。研究表明，在疲勞開始時，EMG 信號的幅度逐漸減小，可以通過 EMG 設備檢測到。生理傳感器本質(zhì)上是侵入性的，這抑制了它們的實際使用。然而，諸如 Neuralink 腦機接口之類的新技術，其中將無線設備直接植入顱骨，可能會提供大腦活動和認知分心的細節(jié)，這可以幫助駕駛以及高度自動駕駛。