OCR
3 秒看懂
一句話： OCR（光學字元識別）讓計算機從圖片、PDF、影片中“讀出”文字，輸出可編輯、可搜尋的文本資料。 關鍵變化： 深度學習模型的全面滲透，使OCR從只能處理掃描件的“專用工具”升級為可應對任意複雜場景的“通用能力”，準確率與魯棒性出現階躍式提升。
3 分鐘產業解釋
OCR的本質是把人類最普遍的資訊載體——文字，從物理世界和畫素畫面拉回位元世界，完成“視覺→語義”的轉化。產業鏈的價值在於，它讓海量非結構化圖片/文件轉化為可被檢索、分析和自動化處理的結構化資料，直接服務於企業的數字化轉型成本削減與效率提升。
傳統OCR依賴規則、二值化、連通域分析和模板匹配，在乾淨的白底黑字掃描件上可用，但面對手寫體、褶皺紙張、運動模糊、複雜背景、藝術字體等真實場景時幾乎失效。深度學習是OCR第二次生命的分水嶺。 以卷積神經網路（CNN）做特徵提取、迴圈神經網路（RNN）或Transformer做序列建模、CTC/注意力機制做對齊解碼的端到端模型，從海量“影像-文本”對中自動習得畫素到字元的對映，泛化能力遠超人工設計的特徵流水線。
產業維度上，OCR已從孤立技術元件演變為“文件智慧”入口：前端配合文本檢測、版面分析，後端串聯資訊抽取、知識圖譜和RPA。主要商業化形式包括雲端端API呼叫、私有化部署的SDK/伺服器、以及嵌入財務、法務、政務、物流等垂直場景的解決方案。當前競爭焦點，正從“單字識別準確率”轉向“複雜版面的結構化理解”以及“多模態大型模型與OCR的融合”，後者有望將文件理解推向新高度。
技術原理
現代OCR的核心是一條 “影像編碼→序列對齊→文本解碼” 的神經網路流水線。無論架構如何演進，始終圍繞三個問題：如何提取魯棒的視覺特徵？如何在無分割的前提下對齊輸入影像位置與輸出字元順序？如何生成最終的字元序列？
1. 影像編碼與特徵提取
輸入影像（H×W×3）首先進入骨幹網路（Backbone），通常為CNN族（ResNet、VGG、MobileNet等）或近期興起的Vision Transformer（ViT）。骨幹網路對影像進行下采樣，輸出特徵圖（Feature Map），尺寸為 H′×W′×D，其中D為通道維度。下采樣倍數直接影響對小字型和密集文字的召回能力：倍數越大，每個特徵向量覆蓋的原始畫素範圍越廣，對小目標的表徵越弱。工業部署中，根據目標場景（長文本 vs. 自然場景大字）需要調節下采樣率或引入高解析度分支。
2. 序列化與上下文建模
為適配“畫素→字元序列”的任務形態，需要將二維特徵圖轉化為特徵向量序列。通常做法是在寬度維度上將特徵圖切片，每個切片對應影像的一個水平位置，形成長度為 W′ 的序列，每步向量維度為 D。這一過程隱式地放棄了垂直位置資訊，因此對傾斜、彎曲文本存在先天不足，現代系統會引入矯正模組（STN）或二維特徵融合策略。
序列化後的特徵向量被送入序列建模器，目標是對字元間的語言依賴進行編碼。經典方案使用兩層雙向LSTM，使每個時間步的特徵包含左右上下文。更前沿的方案直接採用Transformer編碼器，利用多頭自注意力機制捕捉全域性依賴，解決了LSTM難以並行、長程梯度衰減的固疾。
3. 對齊與解碼
這是OCR區別於普通影像分類的最特殊環節——輸入特徵序列長度 W′ 與輸出文本長度 T 不一致，且沒有逐幀標註。兩大主流範式解決這一對齊問題：
CTC（連線時序分類） CTC在每一時間步輸出一個包含“空白符”的字元機率分佈，然後將整條路徑通過去除重複字元和空白符的方式對映到最終文本序列。它天然適合單調對齊（文字大致從左到右），推論速度快，但對非單調變形、嚴重傾斜文字建模能力弱。訓練時最大化所有合法路徑的機率和，損失函式可直接端到端計算。
注意力機制與自迴歸解碼 基於注意力的解碼器（通常是LSTM或Transformer解碼器）以自迴歸方式逐字生成：每一個生成步，解碼器根據已生成的上文字元和編碼器特徵動態計算注意力權重，聚焦到影像對應位置，然後輸出當前字元的機率分佈，直至遇到終止符。這種方式不再要求單調對齊，自然支援彎曲、豎直及不規則排版的文字，代價是推論序列且計算量隨文本長度線性增長。
Transformer編碼器-解碼器（如TrOCR）將上述兩部分統一：編碼器用Transformer處理視覺特徵序列，解碼器用帶有交叉注意力的Transformer生成文本。近幾年，完全摒棄RNN、全部基於自注意力的架構已成為SOTA主流。
4. 文本檢測與版面理解
在真實應用（拍照單據、書籍掃描）中，識別之前必須先定位文字區域。文本檢測模型（如DBNet、EAST）通常輸出畫素級的文字區域或文本框座標，然後經由仿射變換將區域裁剪送入識別模型。兩階段流水線（檢測+識別）仍是工業落地的普遍形式；端到端聯合訓練模型（如PGNet）雖然概念優雅，但在複雜版面下尚不如兩階段穩健。
關鍵引數
評估一個OCR系統需要同時關注識別質量、工程效率與場景覆蓋度。以下指標在選型與對比中佔據核心位置，具體值因資料集、評估協議而異，無絕對值。
| 引數 / 指標 | 定義與說明 | 典型關注點 |
|---|---|---|
| 字元準確率（Character Accuracy） | 識別正確字元數/總字元數。忽略空格、標點等。 | 99.9%對純淨列印件可能不再區分產品，但街景文字可能低於90%。 |
| 詞準確率（Word Accuracy） | 整個單詞完全正確才算正確。 | 比字元準確率嚴格，更接近使用者感知。 |
| 歸一化編輯距離（1-NED） | 衡量識別字符序列與真實標籤的編輯距離。 | 1-NED接近1為佳，對長文本評價更溫和。 |
| 推論延遲（Latency） | 單張影像從輸入到輸出文本的耗時（ms）。 | 行動端追求<100ms，雲端端API批次處理關注吞吐（QPS）。 |
| 模型規模（Params/FLOPs） | 引數量和計算量，決定硬體門檻和功耗。 | 邊緣部署要求模型<10M引數，FLOPs<1G。 |
| 泛化魯棒性 | 對模糊、噪聲、低光照、透視畸變的抵抗能力。 | 通常用合成數據集或“困難樣本集”的準確率衡量。 |
| 語言與文字系統覆蓋 | 支援的語言數量、書寫方向（水平/垂直/弧形）、手寫體支援度。 | 通用API通常聲稱支援50+語種，但小語種和手寫古籍差距大。 |
| 結構化的附加能力 | 表格識別準確率、鍵值對抽取、閱讀順序還原。 | 在合同、財報、醫療報告等場景成為硬指標。 |
公開基準（ICDAR Robust Reading Competition系列）的排名常作為學術參考，但工業場景遠比競賽複雜，實際選購需用自身業務資料做POC（概念驗證）評測。
技術路線
主流技術棧已全面倒向深度學習，根據解碼器結構和部署場景可劃分為以下路線：
| 技術路線 | 核心結構 | 優勢 | 劣勢 | 代表架構/模型 |
|---|---|---|---|---|
| CNN+CTC | 卷積特徵圖切片→雙向LSTM→CTC解碼 | 訓練與推論速度極快，結構簡單，適合規則文字 | 不能建模二維扭曲，對不規則文本、長距離依賴弱 | CRNN（早期標杆） |
| CNN+Attention（RNN解碼器） | 注意力機制聚焦特徵序列 | 識別不規則文字能力大幅提升，可處理一定程度的彎曲 | RNN序列推論慢，梯度不穩定 | ASTER、SAR |
| Transformer編解碼 | 視覺編碼器+文本解碼器，自注意力貫穿 | 全域性感受野，並行訓練，不規則文字SOTA，泛化力強 | 計算開銷大，小資料集容易過擬合 | TrOCR、PARSeq、ViTSTR |
| 端到端檢測識別聯合 | 單網路同時輸出檢測框與文字 | 減少級聯誤差，理論上效率更高 | 複雜版面下魯棒性仍不及兩階段方案 | PGNet、ABCNet |
| 輕量化路線 | MobileNet等輕骨幹+蒸餾/剪枝/量化 | 適合行動端和嵌入式，功耗低 | 精度折損，需要成本敏感的調優 | PaddleOCR Mobile、Tesseract+LSTM（輕量化版本） |
趨勢： Transformer路線已在研究界佔據主導，並快速向工業產品滲透。同時，大語言模型（LLM）開始作為OCR的後處理或聯合編碼器——即先用視覺編碼器提取文字，再交給LLM進行語義糾錯和資訊結構化，形成“OCR→LLM流水線”，這在文件理解與表格解析中展現巨大價值。
上游
OCR產業鏈的上游主要包括資料、算力和基礎演算法架構。
- 資料供給：
- 真實資料採集：掃描書籍、檔案、票據，通過眾包平台採集街景和使用者上傳影像。
- 資料標註：專業標註公司或平台提供字元級、單詞級、行級標註。成本與複雜度遠高於普通影像分類。
- 合成數據引擎：使用字型、背景、幾何變換等自動生成海量“影像-文本”對，是彌補真實資料不足、覆蓋長尾場景的關鍵手段（如TextRecognitionDataGenerator、PaddleOCR自帶的合成工具）。
- 算力基礎設施： 訓練大引數量OCR模型（如基於ViT的編碼器）需要高效能GPU叢集（A100/H100等），推論階段雲端端服務依賴GPU/NPU，邊緣端則依賴於針對推論最佳化的晶片（如高通驍龍NPU、華為昇騰、位元大陸等），以及模型轉換工具鏈（ONNX、TensorRT、OpenVINO）。
- 基礎演算法與架構： 開源深度學習架構（PyTorch、PaddlePaddle）及配套的OCR工具箱（PaddleOCR、MMOCR、EasyOCR）降低了研發門檻。預訓練視覺骨幹模型（如ImageNet訓好的ResNet）和文本預訓練模型（如BERT）也為OCR模型初始化提供了好的起點。
下游
OCR的下游應用幾乎覆蓋全社會數字化程度較高的行業，以降本增效、流程自動化、體驗提升為直接價值。
- 金融： 銀行卡/身份證/營業執照識別、票據自動錄入、合年增率對、財報關鍵指標抽取。與RPA整合可實現“秒級”審單，公開報道顯示某銀行通過OCR+RPA將信貸申請處理時間從數天降至數小時。
- 政務與公共服務： 歷史檔案數字化、不動產登記、社保/公積金錶單自動處理，推進“一網通辦”。地方政府檔案館多采用OCR解決方案實現千萬頁級文件的全文本檢索。
- 醫療： 病歷、處方、檢驗報告的數字化，支援科研與臨床決策。手寫病歷OCR仍因醫生字跡高度個性化而屬於高難度範疇。部分解決方案商已宣佈針對結構化病案首頁的準確率超過95%，但需要大規模微調。
- 物流與供應鏈： 快遞面單、運單、報關單的即時識別，實現自動分揀與軌跡追蹤。
- 網際網路與內容平台： 影片字幕、直播彈幕、圖片中的文字內容稽核與搜尋，提升資訊流理解精度。Adobe、Canva等工具也內建OCR以幫助使用者提取圖片文字。
- 法律與審計： 合同關鍵條款抽取、證據材料數字化、合規審查自動化，降低律所和“四大”的人力成本。
- 自動駕駛與智慧交通： 路牌、限速標識、臨時指示牌的即時識別，與感知系統融合（這部分常歸類為場景文字識別STR，但基本原理同源）。
- 個人使用者： 以掃描全能王、白描、iOS Live Text等為代表的C端產品，將OCR能力以極低門檻觸達數億使用者，用於筆記電子化、外文翻譯、表格識別。
受益公司
以下公司因其業務版面配置而在OCR及相關產業鏈中具備較高相關性，本文僅作產業資訊梳理，不構成任何投資建議。
雲端平台巨頭：
- 百度（百度智慧雲端）：開源PaddleOCR生態佔據國內開發者心智，雲端端文字識別API服務超過50個細分場景，是企業市場的主要提供商之一。百度飛槳將OCR作為標杆範例，與自身深度學習架構深度整合。
- 阿里巴巴（阿里雲端視覺智慧平台）：提供通用文字識別、卡證票據識別、文件結構化等全套API，與電商、物流、金融雲端場景天然耦合。
- 騰訊（騰訊雲端OCR）：依託微信生態，在身份證識別、發票識別等C端關聯場景有高頻呼叫，同時提供行業解決方案。
- 華為雲端：昇騰晶片及ModelArts平台提供OCR訓練到部署的全棧工具，政務市場是其重要垂直場景。
- 海外：Google Cloud Vision AI 和 Microsoft Azure Cognitive Services 是全球維度OCR API市場的兩強，具備跨語種、文件智慧的全面能力，其技術迭代（如Google的Document AI、Microsoft的Read/Form Recognizer）常引領行業方向。
垂直領域專家：
- 合合資訊（2024年科創板上市，688615）：旗下“掃描全能王”全球下載量超數十億，以其在複雜文件增強與文字識別上的自研技術見長，B端提供智慧文字識別與商業大數據解決方案。
- 影譜科技、維沃移動等：部分將OCR技術內化於自身產品（如手機系統的識屏功能），雖非外供主打，但體現了終端側OCR需求的爆發。
- ABBYY（未被單獨上市，屬全球知名的文件智慧公司）：在專業文件處理、OCR引擎許可市場有極強品牌認知，其FineReader產品被視為高精度文件OCR標準。
- 科大訊飛、商湯科技：將OCR作為其更廣泛AI能力（語音、視覺）拼圖的一部分，通過整體解決方案輸出。
開源生態貢獻者：
- 百度（PaddleOCR）、OpenMMLab（MMOCR）、Jaided AI（EasyOCR）、Tesseract維護者等，雖無直接財務受益，但極大加速了產業滲透，也間接推動相關商業服務的需求。
市場規模
OCR市場規模的定義口徑差異極大，窄口徑僅指OCR引擎許可和API服務，寬口徑則涵蓋文件數字化解決方案、智慧文件處理（IDP）軟體與服務、甚至RPA中與OCR相關的部分。
- 第三方機構資料： 根據公開引述的Market Research Future及Grand View Research等報告，全球OCR市場（含軟體與服務）2022年前後約為80億~100億美元量級，並預計以12%~15%的複合年增長率（CAGR）增長至2030年的200億美元上下。（資料來源：各商業市場研究機構綜合，具體年份與口徑因報告而異，此處取大致範圍供參考。）
- 中國市場： 公開資料中缺乏單一的權威統計，多包含在“AI+文件智慧”或“計算機視覺”市場中。中國龐大的存量文件數字化需求、行動端使用者對掃描工具的廣泛使用，以及政務、金融數字化的持續投資，意味著中國市場是增速最快的區域之一。具體量化數字公開資料未見。
- 驅動力： 企業數字化轉型（尤其是中後臺財務、人事、法務）、政府“信創”與電子政務、以及LLM崛起帶來的非結構化資料價值重估，共同推動OCR相關支出從“可選項”轉向“必備項”。
玩家對比
選取主流雲端平台及獨立提供商的OCR能力進行定性比較（截至2024年中的公開資訊）：
| 維度 | 百度智慧雲端 | 阿里雲端 | 騰訊雲端 | ABBYY | 合合資訊 | Google Cloud | Microsoft Azure |
|---|---|---|---|---|---|---|---|
| 核心引擎 | 自研，基於Paddle | 自研 | 自研 | FineReader引擎 | 自研（CCIN、IPMD） | Document AI | Read/Form Recognizer |
| 開源生態 | PaddleOCR（GitHub 30k+ stars） | 無重量級開源 | 無重量級開源 | 否 | 否 | 否 | 否 |
| 場景覆蓋 | 60+ API，側重卡證、票據、通用文字 | 卡證、電商、物流、財務 | 微信生態卡證、票據 | 專業文件、長文本、古籍 | 行動端文件、名片、表格、海外證件 | 全語種、複雜版式 | 表單、收據、多語言文件 |
| 手寫/複雜文字 | 中文手寫、古籍有專門介面 | 中文手寫、英文手寫 | 中文手寫 | 多語種手寫識別為傳統強項 | 手寫筆記、潦草文字引擎 | 高效能手寫識別 | 英文手寫表現優異 |
| 表格/文件結構 | 表格V2介面，文件智慧 | 文件結構化 | 表格識別 | 版面分析強 | 表格識別、無線表格還原 | 表格解析+鍵值提取 | 深度結構化提取 |
| 邊緣/端側部署 | Paddle Lite支援 | 支援私有化 | 支援 | 提供SDK | 提供SDK/嵌入式 | 主要雲端端 | 主要雲端端 |
| 典型優勢行業 | 政務、金融、泛工業 | 電商、新零售、物流 | 微信生態、金融 | 法律、出版、企業合規 | C端爆款+B端金融/物流 | 全球性企業文件 | 企業文件自動化 |
比較基於各公司官網公開的功能描述、技術白皮書及第三方評測報道，不構成效能優劣的絕對判斷。實際選型需以自身資料集的POC測試為標準。
風險
- 開源模型與API價格戰壓縮獲利空間： PaddleOCR、EasyOCR等開源方案日益成熟，大幅降低了中低難度場景的門檻，雲端廠商因此被迫持續壓降API單價，純OCR呼叫營收可能難以達到規模預期，倒逼廠商向高階文件理解解決方案轉型。
- 大型模型（LLM/多模態模型）的潛在替代： GPT-4V、Gemini、文心一言等多模態大型模型，可直接接受影像輸入並輸出文字甚至格式化資訊，可能繞過傳統OCR流水線。雖然目前在複雜版式、批次處理、低延遲方面尚不及專用OCR，但趨勢上對單純字元識別的價值構成長期侵蝕風險。
- 資料隱私與合規趨嚴： OCR處理的內容多為企業核心單據或個人資訊，資料出境、個人資訊保護法、演算法備案等法規提高了雲端服務商和資料使用方的合規成本。私有化部署需求因此走高，但交付和運維複雜度也相應增加。
- 行業天花板在結構化理解而非識別： 當識別準確率達到一定閾值後，客戶願意支付溢價的點轉向“理解”和“決策”，這需要深耕行業知識（如會計準則、醫療編碼），獨立OCR供應商若無行業解決方案能力，可能被整合商取代。
- 下游數字化投資波動： 經濟週期影響企業和政府資訊化預算，長尾行業（如中小製造業、教育）的OCR投入可能放緩。
誤讀糾偏
誤讀1：“OCR技術已完全成熟，準確率99.9%，沒有提升的必要。” 糾偏： 上述數字通常僅針對高質量、規範印刷體文件（如白底黑字的掃描件）。在隨手拍照的彎曲紙張、運動模糊的街景、醫生手寫病歷、多語言混排、古文獻等場景下，準確率可能迅速掉到80%甚至更低。工業界追求的“最後一個9”和極端場景魯棒性仍需要大量工程最佳化。
誤讀2：“OCR就是個識別文字的模組，算不上獨立產業。” 糾偏： 當OCR被封裝進RPA、財務共享中心、合同審查系統等解決方案後，它作為“非結構化資料→結構化資料”的入口級技術，撬動的IT支出遠超引擎自身。根據相關公司財報，以OCR為核心的智慧文件處理（IDP）市場才是更廣義的產業形態，這塊的年增長和體量相當可觀。
誤讀3：“模型越大、引數越多，OCR就一定越好。” 糾偏： 對特定資料集，增加模型規模帶來的增益存在邊際遞減。更重要的是模型效率：行動端或邊緣場景必須在毫秒級延遲和毫瓦級功耗內完成，重模型無法部署。知識蒸餾、神經架構搜尋（NAS）等技術尋求精度-速度-成本的帕累托最優，工業落地遠比刷榜複雜。
最新事件
- 2024年1月： 合合資訊正式在科創板上市，其招股書揭露截至2023年上半年的智慧文字識別業務營收數億元，行動端產品月度活躍使用者數量龐大，為OCR商業變現提供了公開的財務標杆。
- 2023年下半年至2024年： 百度、阿里、騰訊等升級文件智慧平台，整合大語言模型（LLM）以增強資訊抽取和問答，將OCR管線的輸出與LLM的語義理解相結合，多家雲端廠商在其年度峰會上展示用自然語言直接對合同、財報提問的能力。
- ICDAR 2023/2024競賽： 多項場景文字識別與文件版面分析比賽持續吸引全球頂尖團隊，參賽方案中ViT和Transformer架構佔比顯著提升，工業界大規模預訓練+微調的方案成為主流。
- 開源迭代： PaddleOCR在2023年推出新版，強化表格識別及多語言輕量化模型；MMOCR 1.0整合更多Transformer模型與統一訓練流程，降低了復現SOTA的工程成本。
追蹤指標
- 學術基線： ICDAR Robust Reading Competition各賽道（文本檢測、文字識別、端到端）榜首方法的精讀和速度指標，觀察廠商參與的積極性。
- GitHub社群活躍度： PaddleOCR、MMOCR、EasyOCR、Tesseract的Star數、Issue響應、Release頻次可反映開源側的進化速度。
- 雲端廠商產品動態： 各雲端平台OCR API新增介面數量、功能升級公告（如新增語言、表格識別升級、與LLM打通），以及計費模式調整（是否存在降價潮）。
- 行業客戶滲透訊號： 金融、政務、物流、醫療等領域的招標資訊、服務商中標公告，以及上市公司（如合合資訊、漢王科技等）定期報告中OCR相關營收的年增率變化。
- 監管與標準： 信通院等機構釋出的《智慧文件處理白皮書》、國家標準對文字識別準確率的測試規範，可能影響政府和企業選型門檻。
信源
- 經典論文：
- Shi, B., Bai, X., & Yao, C. (2017). An End-to-End Trainable Neural Network for Image-Based Sequence Recognition and Its Application to Scene Text Recognition (CRNN). TPAMI.
- Li, M., et al. (2021). TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models. arXiv.
- Vaswani, A., et al. (2017). Attention is All You Need. NeurIPS.
- 開源專案：
- PaddleOCR (https://github.com/PaddlePaddle/PaddleOCR)
- MMOCR (https://github.com/open-mmlab/mmocr)
- EasyOCR (https://github.com/JaidedAI/EasyOCR)
- 基準與評測：
- ICDAR Robust Reading Competitions (https://rrc.cvc.uab.es/)
- 商業產品與公告：
- 百度智慧雲端文字識別、阿里雲端視覺智慧平台、騰訊雲端OCR、ABBYY FineReader、合合資訊招股說明書（科創板2024）。
- 行業分析：
- Grand View Research, Optical Character Recognition Market Size & Share Report, 2023年版.
- Markets and Markets, Intelligent Document Processing Market, 各自年度報告.
- 中國信通院《智慧文件處理白皮書》及相關測評結果。
- 常見資料集（部分）： ICDAR 2013/2015/2017, Total-Text, SCUT-CTW1500, COCO-Text, SROIE, FUNSD, CORD等，用於學術比較和方法驗證。