跳至主要內容
XINKby eYs3D Microelectronics

技術03

邊緣推論

住在裝置上的推理能力

來回雲端的延遲,是移動中的機器人負擔不起的奢侈。XINK CORE 讓 LLM 與 VLM 推理在資料產生的現場運行 — 私有、低延遲,網路斷線也不中斷。

4.6 TOPS
eCV SoC 上的 NPU
1B
參數 — 實機展示中運行的 LLM
28 nm
新一代 LLM IC 下線中

01

為什麼邊緣會贏

延遲:毫秒級決策,不必來回雲端。隱私:影像與語音不離開裝置。韌性:離線也能持續推論。對在實體世界行動的機器而言,邊緣推論不是優化 — 是必要條件。

裝置端推論與雲端往返的對比

02

端雲協作,始於設計

小模型在裝置端推理 — 量化 Gemma 3 1B 負責意圖解析、隱私過濾與即時互動 — 雲端則編排重型工作:規劃、外部 API、大模型支援。安全傳輸、雙向協作,各司其職。

邊緣—雲端混合架構

03

語言遇上視覺

讓 LLM Agent 擁有相機 — 影像描述、視覺問答、片語定位、物件偵測 — 機器人便能認識環境、適應從未見過的物體。這正是自動化變成自主的關鍵:環境不再需要可預測。

VLM 場景定位:場景中物件被標註

04

下一步:為語言而生的處理器

即將到來的 28 奈米 LLM IC 鎖定低上下文推論的高效率 — 為邊緣功耗調校的 prefill 與 decode,帶來即時智慧與情境感知。它補完 Sense-and-React 架構:感知與認知合而為一的邊緣反射。

相關連結

從開發套件開始,擴展到整個艦隊。

本週就讓 XINK SENSE 上您的工作桌,或與我們聊聊完整堆疊。