兩個一模一樣的罐頭，一罐玉米、一罐鳳梨，今晚要煮咖哩，開哪一罐？

開錯了，今晚鳳梨咖哩（我覺得這會比鳳梨披薩掀起更大一波撻伐）。

Be My Eyes 這個 App 從 2015 年開始幫助視障或低視能（看得到一點模糊的輪廓或顏色，但戴眼鏡也矯正不回來）的使用者，接通一位明眼志工，透過手機鏡頭幫忙看。到 2023 年，平台上的志工有 690 萬人，人間處處有溫情 😭

AI 參戰志工

2023 年 3 月，Be My Eyes 宣布用 OpenAI 的 GPT-4 做了一個「虛擬志工」，後來改名 Be My AI。GPT-4 是 OpenAI 那年推出的大型語言模型，除了文字，也能讀圖片。

一開始只給一小群使用者先試，同年 9 月起開放 iPhone 使用者公開測試，之後 Android 也跟上。在那之前，已經有超過 1 萬 9 千位視障和低視能測試者一起參與設計。

用法很簡單：拍一張照，Be My AI 給出詳細描述，還能接著追問。官方舉的例子有家電面板、菜單、收據、公車號碼，也有拍冰箱內部，問它能煮什麼。回答是文字，可以選 29 種語言，也能接到點字顯示器上，用指尖摸讀。

它怎麼「看」那兩個罐頭？

這背後是多模態模型（Multimodal Model）：同一個模型，同時讀圖片和文字。「模態」指的是資訊的形式，文字是一種，圖片、聲音又各是一種；能同時處理不只一種，就叫多模態。唱跳歌手就是一種多模態。

看不清楚怎麼辦？

麻煩出在它會唬爛，使用者還看不到，超級牙敗？？模型很會寫出「最說得通」的句子：照片糊了、標籤被手指擋住一半，它不一定會老實說「我看不清楚」，有時會補上一個看起來合理、其實沒看到的答案。這種幻覺（Hallucination）回答講得很有把握，內容卻不是根據它真的看到的東西。

Be My Eyes 也坦承 Be My AI 還在測試，可能出現幻覺和錯誤答案；它不能也不該取代白手杖、導盲犬這類行動輔具。走路時腳下的台階、迎面而來的腳踏車，得在一兩秒內反應，拍一張照、等一段描述還跟不上。

如果今天不是鳳梨咖哩與玉米咖哩，而是安眠藥與止瀉藥，那就真的不是開玩笑的。

延伸討論

你使用過什麼多模態的 AI 嗎？

來源（查證日 2026/11/08）：

• Introducing Be My AI (formerly Virtual Volunteer), Powered by OpenAI’s GPT-4（Be My Eyes）（在新分頁開啟）・2023/03/14
• Announcing ‘Be My AI,’ Soon Available for Hundreds of Thousands of Be My Eyes Users（Be My Eyes）（在新分頁開啟）・2023/09/25
• 多模態 AI（Google Cloud）（在新分頁開啟）

文／上哲（ChatGPT 協力）