用 ESP32 做水果感測音樂裝置｜電容觸控 + TouchDesigner 互動裝置入門教學
不需要高價模組！本教學手把手教你如何用 ESP32 製作水果等導電物體的觸控互動裝置，結合 TouchDesigner 控制聲音與影像，即使不會寫程式也能輕鬆上手。適合藝術家、互動設計師與創作者的創新體感入門工具！
我們開課囉！
本月開設新課程 TD102 | TouchDesigner 102 - TOP 圖像處理與混合模式 以及 ISC-01 | 互動感知工作坊 - 光達、深度、體感與紅外線，歡迎報名參加~
⭑⭑⭑⭑⭑⭑⭑⭑⭑⭑⭑⭑⭑⭑⭑⭑
StreamDiffusionTD 是一個非常強大的TD插件，能夠讓創作者在 TD 中就能做即時影像生成。
StreamDiffusion 是一個即時生成式 AI 的開源專案，在使用 RTX 4090 和 SD-Turbo 模型的情況下，生成速度最快可達 100 FPS。
而 StreamDiffusionTD 是 DotSimulate 開發的 TD 插件，是讓使用者能直接在 TouchDesigner 的介面中就使用 StreamDiffusion 的強大工具，且打包的方常完整，各個功能也高度整合。讓使用者不必在自己手動進行繁瑣的環境部屬與開源 code 安裝，尤其是不用自己串接 code 和 TouchDesigner 的系統連接，這點真的是超級方便！
但對於非工程師專業的朋友們，安裝的步驟可能還是稍微繁瑣，在我教課時就常遇到學生在安裝時就遇到問題，所以這篇分享是來幫助大家，一步一步的去完成 StreamDiffusionTD 的安裝。
檢查設備與下載 StreamDiffusionTD
首先你要先確認自己的電腦是不是 Windows 10 或 11 的系統，StreamDiffusionTD 的插件並不支援在 Mac 下載 ( 新的 0.2.6 版開始有支援，但並不穩定 )，這點要特別注意！
再來就是確認自己電腦有沒有 Nvidia 的顯卡，最好是 RTX20 系列以上且有 4GB 以上的顯存，不然跑起來還是會非常卡，沒辦法運作，給大家一個參考，我自己是使用 RTX3070 8GB，在一般情況下能運轉 10~12 FPS，若加入更多功能則會繼續變慢，大家可以先評估自己的設備與能接受的速度，在考慮是否要使用！
那如果你選擇要繼續使用 StreamDiffusionTD，那你首先要訂閱 DotSimulate 的 Patreon，他並不是一個免費插件，訂閱完之後去下載他最新的 StreamDiffusionTD 插件，本篇文會以目前的最新版本，0.2.3 版做教學示範。
安裝基礎環境
下載完 tox 檔後，打開 TD 直接把 tox 檔拉進去，你會看到 install guide 和下面三個步驟的按鈕，那在進行下面三步前必須先把 Python、Cuda Toolkit、Git 都下載好，並確認他們都有被加到環境變數中 。
在大部分的情況和系統配制下，直接按照 guide 裡面提供的連結下載並安裝就可以了
特別提醒：到連結把檔案下載下來之後，要去下載的資料夾點開安裝，才是真的有安裝好！最近遇過好多次，學生不知道下載完不等於安裝好了。可能大家手機 app store 都用習慣了，這就是世代的落差嗎，明明我也不老QQ
在安裝 Python 時要注意一下，安裝的過程中，預設是不會將 Python 加到環境變數中的，所以需要在這個階段特自行勾起來。
但要特別注意，如果你電腦本來就有下載過別的版本的 Python 供其他專案使用，且也是直接讀系統的 Python 在運作的就要特別注意！勾起來可能會導致你原本的專案無法正常運行或是讓接下來的安裝不順利，原因是你的系統中就會存在複數個 Python 版本的 PATH，在讀取時會抓到錯誤版本的 PATH，這時候解決的方法就是要到環境變數中去手動更改 PATH 的前後順序。但通常出現此情形的狀況不多。
安裝供 StreamDiffusionTD 使用的虛擬環境
這些步驟在插件出來之前，對於大部分人來說都是稍微有難度的，但 DotSimulate 的插件幫大家把這些步驟簡化成按幾個按鈕就能搞定的事，接下來只要按按鈕就能搞定了！
首先我們直接按 Step 1 的按鈕，他會跳出一個選擇資料夾的頁面，讓你選擇要把 StreamDiffusion 下載在哪裏，我自己是創立了一個叫 SD_TD_venv 的資料夾在桌面。選擇之後之後他會跳出一個 Git 的視窗，這邊是在幫你從 GitHub 上把 StreamDiffusion 開源程式碼下載下來，也順便裝了一些之後能讓 TD 與這些程式碼串連的東西。
資料夾創建的時候要特別注意命名，在檔名跟路徑的命名上要避免使用中文和空格，不然後續安裝會出現問題 ( 桌面、本機、本機磁碟這類的不算，他們在系統中是英文沒錯 )
下載完之後會自己關掉且多出一個叫 StreamDiffusion 的資料夾，看到東西有被下載下來且 Step 1 有打勾後就可以進行下一步了。這邊也可以看到 Base Folder 這邊的路徑是在你剛剛創建的資料夾當中的 StreamDiffusion 上，之後在別的專案新使用這個插件時，把路徑貼上就能繼續使用了。
再來 Step 1 是打勾之後就按 Step 2，他會接連跳出兩個視窗確認你目前環境的版本，有看到他說正確讀到你的 Python 3.10 和 CUDA 11.8 就可以繼續了。接下來會跳出 CMD 的視窗開始一步一步安裝需要的各類 Python 的 Library，看網速會耗時一段時間，等下載好後會跳出請按任意鍵繼續，點選視窗按 enter 就可以結束視窗了。
那你剛剛下載下來的 Python Library 都在新出現的 venv 資料夾中，若安裝有問題，按 Step 2 沒有解決的話，可以試試把 venv 砍掉再按 Step 2 。
那再來就是 Step 3 了，與 Step 2 相同，按下去跑就對了！
基本上到這邊安裝步驟就都結束了，回到 Setting 1 在 Start Stream 那邊按下去就可以開始跑了，第一次按會要跑比較久，他要下載模型等等的。
接上 Noise 之後就可以看到圖片被生成出來了！接下來就可以開始玩各種即時生成了！
Refer
⭑⭑⭑⭑⭑⭑⭑⭑⭑⭑⭑⭑⭑⭑⭑⭑
Luxmin Institute 互動研究院 策劃了一系列關於互動體驗技術、科技藝術與多媒體整合為核心的主題課程、工作坊、社群、聚會，以及 TXRX 互動體驗大會
關注我們最新的活動動態與報名資訊：https://www.threads.com/@luxmin.institute
相關文章
StreamDiffusionTD 教學#1：TouchDesigner 即時生成式 AI 筆刷設定與參數解析
深入解析如何在 TouchDesigner 中使用 StreamDiffusionTD 插件，從基礎參數設置到建立互動生成筆刷，提供實用的設定技巧與操作指南，協助您實現即時生成式 AI 的創作。