TouchDesigner Kinect 體感偵測入門：LiDAR、MIDI、Arduino 感測器總覽｜IVD487 W11

TouchDesigner Kinect 體感偵測入門：LiDAR、MIDI、Arduino 感測器總覽

• 五大類感測媒介的原理、代表硬體、適用情境與限制（一張對照表）
• MIDI 裝置為什麼接上去沒反應，MIDI Device Mapper 要做什麼
• Arduino／ESP 怎麼走 Serial (DAT) 進 TouchDesigner
• LiDAR 光達為什麼要設 IP、為什麼會有遮擋
• Kinect Azure 出的顏色／深度／IR／骨架／point cloud 各能拿來做什麼

一、感測器怎麼分類：一張對照表看懂五種媒介

💡 選型心法： 先問「我要偵測的是位置、深度、還是動作事件？」平面上的觸碰點 → LiDAR；人的身體與骨架 → Kinect；離散的觸發訊號 → MIDI／自製感測器。媒介選對，後面視覺才有發揮空間。

二、按鍵類：持軸鍵盤與 MIDI 控制器

• 接上去預設沒有任何反應。 要到 MIDI Device Mapper 手動 create new mapping，在 in device 選你自己的裝置（例如 ROLI Lumi Keys、Launchpad），按下去才會有訊號。
• 拿到訊號後，MIDI 傳的是 channel＋index。用 MIDI In Map (CHOP) 把它接出來，就能依按鍵去驅動視覺——例如不同音色對應不同圖形（圓形、三角形）或不同顏色，讓演出當下即時產生視覺反饋。
• 範例裡的堆疊延伸感是 Feedback (TOP) 做的，把畫面持續往上累積而已，是很單純的一組迴圈。

⚠️ MIDI 視覺化前，先把所有鍵按過一遍。 系統要先「記住」每個鍵對應的 channel，channel 建立出來後，之後彈奏對應音階訊號才會出現。少了這一步，會覺得有些鍵怎麼按都沒反應。

三、自製感測器：Arduino／ESP 走 Serial (DAT)

• Arduino Uno＋麥克風模組（吹氣）： 這顆麥克風對講話不敏感，對它吹氣才明顯。進來的訊號拿去觸發粒子飛散，模擬蒲公英被吹散的感覺。重點是門檻——被前一組同學吹到數值跑掉時，要回 Trigger (CHOP) 把觸發區間調回實際的變動範圍。
• ESP＋震動感測器（打擊）： 蠟筆小新互動展的做法，把多顆震動 sensor 貼在娃娃背後，打下去觸發影片播放。裝多顆是關鍵——單顆電子元件會有誤差。

⚠️ 多顆感測器＝保險機制。 範例裝了 5 顆震動 sensor，邏輯是「5 顆裡有 3 顆以上超過門檻才觸發」。在 TouchDesigner 裡數有幾個 1 超過門檻再放行，用投票避免單顆誤差毀掉整個互動體驗。

💡 Trigger 門檻要對著真實訊號調。 預設區間（例如 10 以內）常常跟實際吹氣／震動的數值差很多，先看進來的數值跳到哪，再把 Trigger (CHOP) 設在會變動的區間。

四、LiDAR 光達：把任何表面變觸控

• 它走網路，不是 USB。 要先到電腦的乙太網路設定，把 IP 設成 192.168.0.x（後面數字隨意），跟感測器同網域才連得上。接上後感測器下方會亮藍燈、機身會有旋轉的震動感。
• 資料是極座標，要轉 2D。 原始是「角度＋距離」的波形（極座標），轉成 2D 座標軸後，再用工具把感測到的碰觸位置 mapping、校準到你的畫面。校準做好，精準度可達兩三公分。

⚠️ LiDAR 有遮擋問題。 因為它沿中心掃描、只認「最近的物體」，被前面的人或物擋住，後方就完全感測不到。規劃安裝位置時要先想好掃描死角，地面踩踏這種還要注意人站的位置別互相遮擋。

五、遊戲搖桿：完整的搖桿訊號

⚠️ Xbox 手把限 Windows。 微軟不給 Apple 用 Xbox 手把，所以這顆只能在 Windows 上跑；一般搖桿其實 Mac 也能用，是這款硬體本身的限制。挑硬體前先確認你的展場電腦系統。

六、Kinect 體感偵測：深度、骨架、point cloud（核心）

• 骨架追臉： 用脖子／鼻子的點追蹤人臉，做出一顆會左右跟著你移動的巨大眼睛（注意是位移在跟、不是旋轉）。
• 骨架 → Metaball： 把每個骨架節點對應到一顆 Metaball (SOP)，球跟球靠近會黏在一起，整個人被轉成流動的人形，而且支援多人（現場約六人沒問題）。
• 深度 → instance／分層： 「金錢的奴隸」用深度訊號驅動 Geometry (COMP) instance 讓錢的符號有大有小；另一個範例則把人的顏色圖層依深度（例如 0.1、0.2、0.3 依序累加）分層位移，後面就能用選擇的方式把不同層拆開來用。

💡 邏輯其實很單純。 這些效果的互動機制大多是基本款——感測器選對、拿到滿意的資料（骨架點／深度值），剩下的就是視覺元素怎麼發揮。難的不是接線，是設計。

⚠️ Azure Kinect DK 已停產。 現在展場還看得到，但會越來越少，之後多半改用其他家的衍生機種。功能大同小異，選型時把停產、料件供應一併考慮進去。

七、立體 camera：像人眼的深度辨識

⚠️ 立體 camera 暗處不能用。 它沒有紅外線，全靠鏡頭看，所以暗處無法運作，深度也相對不準（是「估」出來的，不是紅外線直接打回來）。但它的好處是防水、能放戶外——這正是 Kinect 這類紅外線深度相機做不到的場景。戶外選它、暗處選 Kinect。

常見問題 FAQ

課後練習

1. MIDI 視覺化（Launchpad／鍵盤擇一）。 接上裝置，用 MIDI Device Mapper create new mapping，先按過所有鍵記住 channel，再取 channel＋index 對應不同圖形或顏色，最後加 Feedback (TOP) 讓畫面累積。
2. Arduino 吹氣粒子。 Arduino Uno＋麥克風模組走 Serial (DAT) 進 TD，用 Trigger (CHOP) 把門檻對齊實際吹氣的數值，觸發一組粒子飛散效果。
3. Kinect 骨架或深度（本週核心）。 用 Kinect Azure 取骨架點對應 Metaball (SOP) 做多人流動人形；或改取深度，驅動 Geometry (COMP) instance 的大小、做圖層分層位移。
4. 設計一個保險機制。 假想一個多人踩踏或打擊互動，先決定用哪種感測器，再寫出「多顆投票、過門檻才觸發」的判斷邏輯，練習「先選 sensor 再定軟體層」的思路。

影片章節