釋放 iPhone 上視覺智能的力量,翻譯和探索您周圍的世界

Avilas

在新的更新中,iPhone 16 系列終於獲得了視覺智能功能,該功能可讓您只需拍照即可立即收集周圍任何事物的信息。

視覺智能集成到 12 月 11 日發布的 iOS 18.2 的相機控制按鈕中,讓您可以訪問 ChatGPT 和 Google 搜索等第三方服務來獲取見解,從而輕鬆了解物體、地標、餐廳評級,甚至您遇到的狗的品種。

下面,我們將引導您了解開始使用 Visual Intelligence 所需的條件、如何訪問其強大的工具,以及如何使用這一突破性功能的實際示例。

  • 不要錯過:完整的 iOS 18.2 功能指南 — 這裡有針對您的 iPhone 的所有新增和改進

要使用 Visual Intelligence,您需要運行 iOS 18.2 或更高版本的 iPhone 16、iPhone 16 Plus、iPhone 16 Pro 或 iPhone 16 Pro Max。此外,必須通過“設置”»Apple Intelligence 和 Siri 啟用 Apple Intelligence 功能。

視覺智能直接內置於相機控制按鈕中,這意味著您可以從任何可以訪問相機界面的地方訪問它。

要使用它,請按住相機控制按鈕。如果這是您第一次使用 Visual Intelligence,Apple 將顯示一個啟動屏幕,說明捕獲用於分析的任何圖像不會存儲在您的 iPhone 上或與 Apple 共享。首次分別使用 ChatGPT 和 Google 的詢問和搜索功能時,您還會看到啟動屏幕,這說明捕獲的圖像將發送到 ChatGPT 或 Google 進行分析。

使用視覺智能界面

進入 Visual Intelligence 界面後,您將看到三個主要組件:一個大快門按鈕(捕獲)、一個文本氣泡圖標(詢問)和一個圖像搜索圖標(搜索)。這三個攝像頭都會拍攝您將 iPhone 相機對準的任何物體的照片,但每個攝像頭都有自己的用途,我們將在下面進行回顧。如果“捕獲”按鈕沒有為您提供任何信息,“詢問”和“搜索”按鈕也會出現。

您可以通過捏合屏幕或輕按相機控制按鈕來放大或縮小。縮放是相機控制設置疊加層中唯一可用的選項,因此您只需輕輕按一次按鈕,然後在其上滑動手指即可調整縮放級別。

1. 捕捉(快門)

輕按快門按鈕捕捉場景並從 Apple Intelligence 獲取自定義結果。結果將根據您捕獲的內容而有所不同。以下是您可能會從 Apple Intelligence 中看到的一些內容:

  • 翻譯文本
  • 總結文本
  • 將事件添加到日曆
  • 撥打電話號碼
  • 訪問網站
  • 查看地圖中的位置
  • 大聲朗讀文字
  • 點餐
  • 查看菜單
  • 查看更多選項

如果 Apple Intelligence 在圖像中找不到任何內容,您仍然可以使用“詢問”和“搜索”按鈕分別從 ChatGPT 和 Google 獲取信息,我們將在下面介紹。

如果您從 Visual Intelligence 得到不正確的結果,並且看到出現該按鈕,則可以“報告問題”。它還可以在“更多”(•••) 菜單中找到。

2.詢問(ChatGPT)

點擊文本氣泡圖標即可從 ChatGPT 獲取詳細信息,這有助於解釋複雜的場景並識別難以識別的物體。當 Apple Intelligence 本身無法為您提供任何答案時,它也可以作為一個很好的備份選項。

您可以點擊拍攝屏幕上的“詢問”按鈕立即拍照並向 ChatGPT 詢問有關該照片的信息,或者您也可以在使用快門按鈕拍攝圖像後點擊“詢問”,以防您想先聽聽 Apple 的說法。

然後,您將看到 ChatGPT 的回复(您可以將其複製到剪貼板),以及“跟進 ChatGPT”選項以繼續詢問其他詳細信息。如果您沒有收到 ChatGPT 的自動回复,只需在後續字段中提交問題即可。

提示:如果您安裝了 ChatGPT 應用程序,則可以在應用程序內打開交互以獲得更具對話性的體驗。 ChatGPT 集成還會在登錄時將交互保存在 ChatGPT 帳戶中。

請注意,ChatGPT 並不完美。如下所示,我想了解捕獲的一幅畫背後的藝術家,但它錯誤地識別了藝術家和藝術品的標題。我在反饋表中提交了正確的答案,然後三週後再次嘗試,得到了同樣完全錯誤的不同答案。

3. 搜索(谷歌)

點擊圖像搜索圖標即可查看在 Google 搜索中找到的匹配圖像,這有助於識別特定產品、地點或其他可見元素。與“詢問”按鈕一樣,當 Apple Intelligence 本身沒有任何答案時,“搜索”選項可以作為一個很好的備份選項。

您可以點擊拍攝屏幕上的“搜索”按鈕立即拍攝照片並要求 Google 搜索顯示類似的圖像。或者,您可以在使用快門按鈕拍攝照片後點擊“搜索”,首先查看 Apple 自己的結果。

然後,您將看到一個窗口,其中顯示從 Google 圖片搜索中提取的精選圖像,您可以滾動瀏覽或在網絡視圖中打開以詳細探索。

推薦閱讀:如何更改 iPhone 或 iPad 上的默認翻譯應用程序(來自 Apple Translate)

如果您從 Google 獲得的圖像匹配不正確,您可以“報告問題”以提供反饋。

視覺智能的實際例子

以下是視覺智能可以派上用場的一些現實場景:

  • 探索當地餐館:走在街上時將相機對準餐廳。視覺智能可以顯示客戶評級、評論、菜單、訂單鏈接,甚至營業時間。
  • 隨時隨地翻譯文本:旅行時,您可以使用 Visual Intelligence 將標誌、菜單或其他文本從一種語言翻譯成另一種語言。
  • 立即添加事件詳細信息:拍攝活動傳單的照片,Visual Intelligence 將允許您根據捕獲的詳細信息創建日曆活動。
  • 了解植物、動物和物體:拍攝獨特的植物或動物的照片,Visual Intelligence 可以使用 ChatGPT 或 Google 來幫助您識別它。
  • 識別藝術品和繪畫:如果您正在博物館中觀看一件藝術品,請按住“相機控制”按鈕,點擊“詢問”,Visual Intelligence 將使用 ChatGPT 來識別藝術家和藝術品(儘管如上所示,結果可能並不總是完美)。
  • 獲得實際答案:需要幫助識別狗的品種或公園裡的樹的類型嗎? Visual Intelligence 的 ChatGPT 可以分析圖像並提供見解。
  • 查找購買產品的地點:如果您在商店中發現您喜歡的商品,請使用 Visual Intelligence 快速拍照並使用 Google 搜索查找在線零售商。
  • 識別著名地標:拍攝地標照片,Visual Intelligence 可以向您顯示其在地圖上的位置、地址、評論和其他數據,而使用 Google 搜索將顯示類似的圖像和詳細信息。
  • 幫助提高可訪問性:捕獲圖像以獲取翻譯、總結內容以便於閱讀、讓它向您朗讀捕獲的文本等等。

成功使用視覺智能的技巧

  • 據蘋果公司稱,“有關名勝古蹟的信息將首先在美國提供,並在未來幾個月內向其他地區提供支持。”
  • Visual Intelligence 在受支持的設備上自動可用,但可能需要訪問 ChatGPT 或 Google 搜索的權限。確保您的設置已配置為無縫體驗。
  • 使用 ChatGPT 時,如果最初的答復不完整或不清楚,請隨時提出後續問題。
  • Visual Intelligence 不會存儲或與 Apple 共享捕獲的圖像。
  • 如果您收到不准確的信息,請直接在界面中向 Apple、Google 或 ChatGPT 提交反饋,以幫助訓練他們的模型。

iPhone 16 系列上的視覺智能為用戶帶來了新水平的信息訪問和靈活性。無論您是在探索周圍環境、尋找產品信息還是識別對象,該工具都為現實世界的互動和移動數字智能開闢了新的可能性。通過利用 ChatGPT 和 Google 搜索等服務,Apple 的視覺智能提供了隱私、控制和即時洞察的強大組合 - 一切盡在您的掌控之中。

封面照片和屏幕截圖由 Shutterstock