關於 神經網路手寫辨識 ，我們在網路上蒐集到這些相關的討論、資訊與評價

感覺這次 iOS 15 搶了不少 Google 的飯碗（原況文字、地圖擴增實境），而且 iPhone 6s 也能升級，佛心。

-

iOS 15 帶來保持聯繫的新方式，以及幫助使用者專注、探索的強大更新，還能透過智慧功能用 iPhone 完成更多事。FaceTime 更新提供更自然的視訊通話；「專注模式」幫助使用者減少分心；「原況文字」等新功能利用裝置端智慧技術來顯示實用資訊；「地圖」的升級體驗提供探索世界的全新方法；還有更多強大新功能。iOS 15 今日以免額外付費軟體更新形式提供。

增強後更自然的 FaceTime 通話

FaceTime 變得比以往更不可或缺，讓使用者能輕鬆和最重要的人聯繫。FaceTime 音訊和視訊功能的強大更新，讓通話更自然、更栩栩如生。透過空間音訊，群組 FaceTime 通話中的聲音聽起來就像是從對方在畫面中的方位傳來。「語音隔離」是新的麥克風模式，運用機器學習技術排除背景噪音，優先聚焦使用者的聲音；「寬廣頻譜」模式則將所有背景聲音都收錄到通話中。受 iPhone 拍攝的絢麗人像照片啟發， FaceTime 上的「人像」模式可以將背景模糊，將畫面對焦在使用者身上。「語音隔離」、「寬廣頻譜」和「人像」模式也能以第三方 app 使用，例如 Webex、Zoom 和 WhatsApp。群組 FaceTime 提供新的格狀顯示選項，能以相同大小的方格來顯示通話參與者。

FaceTime 通話現在延伸至 Apple 裝置以外，Android 或 Windows 裝置的使用者也能從各自的網頁瀏覽器加入通話。網頁版 FaceTime 通話仍經端對端加密處理，隱私性不受影響。iPhone、iPad 和 Mac 使用者只需建立一個 FaceTime 連結，並透過「訊息」、「行事曆」、「郵件」或第三方 app 分享連結，即可開啟通話，與親友聯繫變得前所未有地容易。

今年秋季稍晚，「同播共享」將帶來讓使用者在 FaceTime 通話中與親友分享體驗的新方式，例如一同聆聽歌曲、觀看電視節目或電影、一起完成體能訓練、或分享螢幕以查看 app。「同播共享」將適用於 Apple Music、Apple TV+，以及 Disney+、HBO Max、MasterClass、SoundCloud、TikTok、Twitch，還有其他許多 app。「同播共享」可透過 iPhone、iPad 和 Mac 使用。共享播放控制選項，讓所有參與「同播共享」的成員都能播放、暫停或快轉。「同播共享」也可在 Apple TV 使用，讓使用者可在大螢幕上欣賞節目或電影。

藉由「訊息」保持聯繫的更多方式

「與你分享」是出現於「照片」、Safari、Music、Apple Podcasts 以及 Apple TV 等 app 的新區塊，顯示親友透過「訊息」分享的照片、文章、音樂等內容。「與你分享」自動於「照片」app 中顯示分享的照片，並在對應 app 中顯示其他相關內容。「與你分享」區塊顯示該內容的傳送者，讓使用者能輕鬆查看對應的訊息，並重啟對話。

iOS 15 中，Memoji 帶來讓使用者展現自己的更多元方式，包括多色頭飾、更多眼鏡款式，以及人工電子耳、氧氣管、軟頭盔等無障礙選項。使用者可用 40 多種服飾選項，以及沙卡、揮手、靈機一動燈泡時刻等九種全新貼圖手勢，自訂 Memoji 貼圖。

一日之中保持專注的強大工具

iOS 15 推出「專注模式」，可根據當下想專注處理的事情過濾通知，藉此幫助使用者減少分心。例如，工作期間可以設定「工作專注模式」，僅允許同事或工作用 app 傳送的通知；「個人專注模式」可在與親友一同休息放鬆時使用；「健身專注模式」則可幫助使用者進行體能訓練時保持在狀況內。使用者可以建立自訂「專注模式」或選擇系統提供的「專注模式」，運用裝置端智慧技術，建議允許發送通知給使用者的人和 app。為了進一步延伸專注功能，使用者能用符合特定「專注模式」的相關 app 建立專用「主畫面」。

使用「專注模式」時，「訊息」app 和 Slack 等支援此功能的第三方通訊 app 會自動對聯絡人顯示使用者狀態，使對方明白此刻不宜打擾。使用者甚至能收到開啟「專注模式」的建議，依據時間點或地點等因素而提供，且在一個 Apple 裝置上設定好的「專注模式」也會自動套用在使用者的其他 Apple 裝置上。

通知的全新樣貌

通知經過重新設計，新增了聯絡人照片和較大的 app 圖示，使通知內容更容易辨識。通知摘要是每日於使用者指定時間發送的通知整合。裝置端智慧技術會根據使用者與 app 的互動，將摘要按照優先順序整理，最為重要的通知會在最上方。有時效性的通知、訊息和電話會立即傳遞，因此使用者不會錯過緊急的通知。此外，若想將特定 app 或訊息通知轉為靜音一小時或一天，也都輕而易舉。

裝置端的智慧技術驅動「原況文字」、更先進的 Spotlight 搜尋、以及「回憶」等功能

「原況文字」將照片中文字內容變得有互動性。「原況文字」使用裝置端智慧技術辨識全系統 (包括網頁) 照片中的文字內容，並讓使用者採取進一步行動，例如複製貼上、查詢資訊、翻譯等。使用者甚至可輕點電話號碼的影像以撥打電話，或輕點網址的影像以在 Safari 中開啟頁面。透過神經網路引擎的能力，「相機」app 也可以快速在當下辨識並擷取文字，例如社區咖啡廳牆上寫的 Wi-Fi 密碼。使用者可利用「圖像查詢」獲得有關流行藝術、地標、書籍、自然界中的植物花草、寵物品種等進一步資訊。

Spotlight 是 iPhone 上通用的啟動搜尋方式，現在可以直接從鎖定畫面使用，並包括以地點、人物、場景或物品搜尋照片的功能。利用「原況文字」，Spotlight 可搜尋到照片中的文字與手寫內容。
iOS 15 為「回憶」功能帶來目前為止最大幅度的更新。全新電影級「回憶」功能具備煥然一新的樣貌、互動式介面，並結合 Apple Music 利用裝置端智慧技術推薦音樂曲目，重溫最愛或遺忘的回憶變得更容易。

重新設計的 Safari 瀏覽體驗

Safari 推出新設計的瀏覽體驗，使控制選項更容易觸及。新的標籤列預設置於螢幕底部，讓使用者可以輕鬆以單手在標籤頁間滑動瀏覽。利用「標籤頁群組」，使用者可以輕鬆地整理標籤頁，並隨時隨地在 iPhone、iPad、Mac 裝置上讀取。iOS 上自訂起始頁面以及網頁延伸功能，使 Safari 變得更個人化、更強大。

用Apple「地圖」導航、探索

iOS 15 中的「地圖」提供看世界的嶄新方式。視覺效果絢麗的地圖，提供更勝以往的細節呈現社區、商業區、建築物，也擁有客製地標，以及帶著閃耀月光效果的全新夜間模式。導航提供全新 3D 駕駛顯示，搭配新的道路細節呈現，幫助使用者更清楚辨識轉彎車道、分隔帶、人行穿越道、人行道等。升級的地圖功能於洛杉磯、紐約、舊金山提供，日後將於更多地區推出。設計精美的互動式地球儀提供山脈、沙漠、雨林、水體等地貌的豐富細節。

大眾運輸使用者輕輕一點，即可找到附近站點、釘選愛用路線。「地圖」會自動跟隨所選的交通路線，在接近出發時間時通知使用者，並在 Apple Watch 上追蹤這些資訊。使用者只要舉起 iPhone，即可透過擴增實境獲取詳細的步行路線指引。

「錢包」新增鑰匙和州證件

有了 iOS 15，「錢包」新增住家、飯店、辦公室，甚至汽車鑰匙，讓使用者僅透過輕輕一點 iPhone 即可進出更多地方。具備超寬頻支援的數位汽車鑰匙變得更厲害，使用者不必從口袋或包包拿出 iPhone，即可安全上鎖、解鎖、啟動指定車輛。 只要將鑰匙儲存在「錢包」裡，iPhone 也可以用來解鎖住家、辦公室，甚至飯店房間。 此外，未來將開放讓住在美國參與州的使用者可以把合格州證件與駕照加入 iPhone「錢包」。

重新設計的「天氣」功能

「天氣」全新設計的外觀配有全螢幕地圖、圖像化顯示的天氣資訊、以及根據情況動態調整的配置。精美的動畫背景能更準確反映太陽位置、雲量與降水，以及降雨或降雪的開始與結束時間通知。

運用「備忘錄」整理、協作

「備忘錄」新增可供使用者自訂的標籤，易於快速分類筆記，「提及」功能讓共享筆記的成員可通知彼此重要的內容更新。全新「活動」顯示，可查看共享筆記的近期紀錄；Highlights 則顯示編輯者的細節。首先於 Mac 和 iPad 登場的「快速備忘錄」可在「備忘錄」app 中查看與編輯。

更多隱私控制

全新隱私權功能提供透明度，以及用戶對於提供給 app 資料的掌控度。「郵件隱私權保護」防止寄件人得知郵件是否被開啟，也隱藏 IP 地址，如此一來寄件人就無法從 IP 地址得知使用者地點，或藉此對使用者進行建檔分析。Siri 對使用者隱私權的保護更進一步，透過裝置端語音辨識，使用者的指令音訊預設完全在裝置端處理，實現更加個人化、離線指令、以及更快的性能。
其他功能特色

Siri 新增 AirPods 上的「播報通知」功能，也能讓使用者透過下達指令與他人分享螢幕。Siri 現在可以在第三方 HomeKit 配件中啟用，如此一來 HomePod 與 HomePod mini 使用者可以輕鬆、安全地請 Siri 傳送訊息、設定提醒事項，或將內部訊息透過家中更多設備廣播給家人。

iCloud+ 結合所有使用者最愛的 iCloud 功能，再加上新的進階功能，包括「隱藏我的電子郵件」、擴充的「HomeKit 安全錄影」支援，還有創新的網路隱私權服務 「iCloud 私密轉送」。iCloud 目前的訂閱者將會自動升級至 iCloud+，無需額外付費。所有的 iCloud+ 方案皆可與使用者「家人共享」群組中的其他成員共享，如此一來，所有人都能享受這項服務提供的新功能、儲存空間和升級的體驗。

「健康」app 新增分享標籤頁，使用者可以跟家人、照護者或照護團隊分享健康資料；「趨勢」讓使用者可注意有意義的個人健康數據變化；新的衡量指標「步行穩定性」則賦予使用者積極管理跌倒風險的能力。使用者也能夠直接在「健康」app 中儲存可驗證的 COVID-19 疫苗或篩檢結果紀錄，以供隨時輕鬆取用。

「翻譯」 新增「自動翻譯」功能，不需點按麥克風按鈕，即可自動偵測到使用者開始說話，並翻譯語音內容，使得跨語言對話更加流暢自然。全系統適用的翻譯功能，讓使用者可透過選擇文字並點選「翻譯」，在 iPhone 上隨處進行翻譯。

新的 iPhone 設定讓使用者可更無縫地啟用 iPhone。原 iPhone 使用者無需訂閱 iCloud，也可以暫時在 iCloud 備份資料，以便輕鬆轉移資料到新的 iPhone。針對第一次換到 iPhone 的使用者，進化版的「移轉到 iOS」，讓使用者輕鬆轉移「照片」相簿、檔案、資料夾、「輔助使用」設定等，從最開始就享受個人化的 iPhone 使用體驗。

「輔助使用」透過「旁白」讓使用者探索圖片中人物、物品、文字、表格資料、以及圖片中表格的更多細節。新的背景音持續於背景播放，掩蓋惱人的環境或外部噪音。「聲音控制」功能提供客製化「切換控制」，可用嘴巴發出的聲音進行操作，使用者也可在不同 app 上自訂顯示和文字大小。Apple 也將為「耳機調節」功能支援辨識外部載入的聽力圖 —— 顯示聽力測試結果的圖表。

要欺騙AI判讀影像很簡單 只要「寫張紙條」告訴你是誰就行

2021-03-13 07:30 聯合新聞網 / T客邦

擁有機器學習能力的 AI 產品越來越常見，但有時 Bug 居然會出在人類想不到的地方。

近日，OpenAI 的研究人員發現一件不太尋常又帶點趣味的事情，那就是用以照片內容辨識的圖像視覺 AI，居然會對人類的手寫標籤產生誤會，將讀到的「字串」直接覆蓋掉原本 AI 所辨識正確的「物體」，因此產生了錯誤的結果。

舉例來說，原本 AI 判定圖片所呈現的東西，為一顆新鮮的澳洲青蘋果，但若人類在水果表面貼上了寫著「iPod」的紙條，AI 最終會告訴你，這東西不是青蘋果而是一台 iPod。這種明擺著「指鹿為馬」的行為，被研究人員定名為「印刷攻擊」（typographic attacks）。

OpenAI 研究人員指出，「印刷攻擊」的成因事實上源於 AI 強大的視覺辨識技術，也就是人工智慧讀取文本的能力，尤其擁有手寫文字的照片，經常成功「欺騙」AI 以產出錯誤的結果。

這種看似有趣的 Bug，事實上對依賴視覺辨識系統的各種科技，產生了顯而易見的高度風險。

比方說，假設特斯拉（Tesla）的自動駕駛 AI，讀取到了路牌上刻意被人為竄改的錯誤標籤，就有機會成功欺騙 AI，因而做出錯誤的駕駛行為與判斷。印刷攻擊對於從醫學到軍事，各種 AI 應用來說都是相當嚴重的威脅。

在 OpenAI 中出問題的部分，是個被稱為 CLIP 的實驗系統，目前尚未在任何商業產品中部署。研究人員指出，導致 CLIP 遭受印刷攻擊的另一項因素，其實來自於 AI 的訓練方法。

研究人員對 CLIP 採取極度放任的學習策略，在沒有嚴格監督跟過濾的狀況下，它在網路上收集了高達 4 億張圖文，藉此成為識別物品內容的基礎。因此，CLIP 幾乎可以辨認「任何東西」，從字串、草圖、卡通化圖片到實際照片，都能給出結果並歸類成同一項內容，這代表 AI 也可以像人類一樣，將學習到的知識進行內部化。

人類可以清楚明白「青蘋果」與「寫著 iPod 紙條」之間的區別，但如 CLIP 這類的 AI，在沒有限定條件的狀況下卻辦不到，OpenAI 研究人員覺得這就是一種「抽象化謬誤」（fallacy of abstraction）。

透過網路上的無限制內容訓練 AI 的結果，也使得 CLIP 出現了人類也會具備的偏見。在 CLIP 的神經網路邏輯中，「中東」跟「恐怖主義」互相關聯，「黑人」可能會被誤認成「大猩猩」，這些都說明了「人工智慧」與「人類」之間依然還有著相當大的不同。

附圖：當在鏈鋸照片上壓入幾個金錢符號，AI 就會判斷出「撲滿」的錯誤結果。 圖擷自OpenAI

資料來源：https://udn.com/news/story/7086/5313565?fbclid=IwAR2ErtVFjM7GZUav8ylGJr0fR2xaUVqm5EXVwAOZuBFfwWueWnsM6VjtXLU

GitHub 最強 AI 數學解題神器！拍照上傳秒給答案，連微積分都難不倒他

Posted on2019/05/27
TO 精選觀點

【為什麼我們要挑選這篇文章】AI 應用越發奇葩，過去寫數學一支筆、一顆腦，現在連腦都不用，帶個 AI 就行。
中國 GitHub 大神研發數學 AI，透過深度學習與影像識別，打造最強解題神器。每個學生都夢寐以求的數學 AI 究竟怎麼下載？怎麼用？接著看下去。（責任編輯：陳伯安）

作者：量子位／ 曉查 銅靈

一位叫 Roger 的中國學霸小哥的拍照做題程式 mathAI 一下子火了，這個 AI，堪稱數學解題神器。

輸入一張包含手寫數學題的圖片，AI 就能辨識出輸入的數學公式，然後給出計算結果。

不僅加減乘除基本運算，就連高等數學中的微積分都不在話下。

就像下面這樣：

還在苦苦糾結高數作業如何求解？還在東奔西走的找學霸借作業？手握 mathAI，不就是手握了新時代的解題利器嗎？

此項目程式碼已半開源

短短幾天時間，這個項目在微博就收穫了上百次轉發。看到畫風如此新奇，似乎還能開啓無限可能應用，網友們紛紛召喚自己的印象筆記（中國版 Evernote）小助手收藏，大呼：以後教數學就是它了。

作者表示，這個專案已經是半開源狀態了，目前開源的部分可以辨識計算加減乘除簡單運算。

如果想要辨識更加複雜的運算式，可以參考數學公式辨識的論文自己進行擴展。

具體來看看這個解題神器。

深度學習辨識數學題，正確率逼近 80%

全能型選手 mathAI 是怎麼實現這個功能的？

作者在 Github 中介紹說，整個程式使用 python 實現，具體處理流程包括：圖像預處理 → 字元辨識 → 數學公式辨識 → 數學公式語義理解 → 結果輸出。

整個系統的處理流程如下：

圖片預處理主要以 OpenCV 作為主要工具，將圖片中的字元單獨切割出來，避免無關變數對字元辨識的影響。

隨後，國際數學公式辨識比賽資料集（CROHME）對通過卷積神經網路進行訓練。

此外，還進行結構分析，對字元的空間關係進行判定。比如一個字元的上標和下標，含義自然不一樣。

在語義分析階段，就需要匯集上面得到的資訊，判斷運算該如何進行了。節點屬性傳遞過程如下圖所示：

作者在用 160 道手寫測試題進行了測試：

結果表明，平均字元辨識率達到了 96.23%，且系統做題的平均正確率達到了 79.38%。

手把手教學怎麼用

來，實際上手操作下。

作者給出兩種使用模式：網頁模式和介面模式（Interface）。介面模式比較直觀，只需打開網頁上傳圖片即可自動給出解題結果。

下面以介面模式為例介紹一下 mathAI 的安裝使用方法。
首先需要安裝 flask、虛擬環境、科學資料庫 numpy、sympy 等，它們都可以用 pip 安裝。

pip install flask
pip install virtualenv

將項目的 lib.zip 檔解壓到系統目錄的 venv 資料夾下。（lib.zip 可以回覆 lib 獲取）

配置置好運行環境後，用 PyCharm 打開下載好的專案，在載入過程中，PyCharm 會自動安裝好專案依賴的軟體資料庫。

使用命令列進入專案所在目錄，並啓動虛擬環境：

. venv/bin/activate

將 FLASK_ENV 環境變數設置為啓用開發模式：

export FLASK_ENV=development

然後使用指令運行 flask 網站框架 :

export FLASK_APP=welcome.py
flask run

打開流覽器，在位址中輸入 127.0.0.1:5000，即可打開項目網頁。在網頁中輸入一張包含數學公式的圖片，就好返回運算結果。

目前 GitHub 專案頁上的程式碼只支持加減乘除這樣的簡單運算。

中國神人 Roger 的其他 GitHub 發明

做出這個自動求解系統的，還是一位元中國少年。

這位 GitHub ID 為 Roger，本名羅文傑，是中山大學資料科學與電腦學院的研一在讀碩士生，主要攻讀電腦視覺方向。

不僅這個解題神器，在 Roger 的 GitHub 主頁上還能看到其此前參與的很多有趣研究。

比如這個基於帖子的校園互助交友平臺 LiBond。用戶可以在裡面發佈任務，然後使用虛擬幣荔枝進行交易。

羅同學的設想是，有閒置時間的同學可以在此平臺上幫助他人，然後結交好朋友，荔枝幣還能用來兌換喜歡的物品。

再比如，一個基於 C++ 的無禁手五子棋 AI，可以通過 openGL 實現圖形介面。

在這個項目中，羅同學使用了最經典的極大極小博弈樹、alpha-beta 剪枝、置換表等演算法，還附上了核心程式碼。

確認過眼神，是學霸無疑了。

資料來源：https://buzzorange.com/techorange/2019/05/27/math-ai/…