目錄
1 文檔圖像智能分析技術(shù)
文檔圖像智能分析是指利用計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)技術(shù)對(duì)文檔圖像進(jìn)行人工處理和分析的過程。 該技術(shù)可以將紙質(zhì)文檔、電子文檔和圖像轉(zhuǎn)換為可編輯、可搜索和可索引的數(shù)字文檔，并可以手動(dòng)識(shí)別文檔中的各種元素，如文本、圖片、表格、圖形等。
文件圖像在日常生活中非常常見，例如財(cái)務(wù)文件、商業(yè)計(jì)劃、技術(shù)規(guī)范、財(cái)務(wù)報(bào)表、會(huì)議紀(jì)要、法律合同、合同、簡(jiǎn)歷、采購(gòu)訂單、發(fā)票等。 因此，智能文檔圖像處理的前景十分廣闊，應(yīng)用場(chǎng)景也將不斷擴(kuò)大。例如
事實(shí)上，隨著人工智能技術(shù)的快速發(fā)展，智能文檔圖像處理將應(yīng)用到醫(yī)療、教育、金融等眾多領(lǐng)域，為各行各業(yè)提供越來(lái)越高效、智能的文檔管理和數(shù)據(jù)分析解決方案。 .
2位大咖齊聚CCIG@2023
文檔圖像的智能分析和處理是一個(gè)重要且具有挑戰(zhàn)性的研究問題。 難點(diǎn)在于文件的種類和復(fù)雜性：文件的種類和格式很多，包括報(bào)告、合同、發(fā)票、證書、證書等等。 不同類型的文件有不同的格式和布局。 例如，文檔中往往包含圖片、表格、圖形等多種圖像，無(wú)法統(tǒng)一處理。 而且，智能文檔處理受圖像質(zhì)量、文本字體、文本大小、文本顏色等噪聲因素的影響，容易出現(xiàn)誤識(shí)別。據(jù)悉，目前還存在圖像質(zhì)量不一致、文檔獲取復(fù)雜等諸多問題.
為促進(jìn)文件圖像分析與處理領(lǐng)域的技術(shù)交流與發(fā)展，闡述文件圖像處理與光學(xué)字符識(shí)別（OCR）相關(guān)前沿技術(shù)的進(jìn)展與產(chǎn)業(yè)應(yīng)用，2023年5月13日，文件圖像分析與識(shí)別專業(yè)委員會(huì)與北京合合信息技術(shù)有限公司共同打造“文檔圖像智能分析與處理”峰會(huì)。 峰會(huì)邀請(qǐng)了中科院手工技術(shù)研究所、北京理工大學(xué)、中國(guó)科學(xué)技術(shù)大學(xué)的學(xué)術(shù)專家，以及華為等知名企業(yè)的研究人員圍繞切割進(jìn)行“頭腦風(fēng)暴” - 文檔圖像處理、OCR領(lǐng)域前沿技術(shù)，聯(lián)合交流文檔圖像 分析處理前沿學(xué)術(shù)進(jìn)展、典型行業(yè)大規(guī)模應(yīng)用，解讀未來(lái)技術(shù)和產(chǎn)業(yè)發(fā)展趨勢(shì)。
3 議程介紹 3.1 從模式識(shí)別到類腦研究
我們知道，在模式識(shí)別和人工智能領(lǐng)域，有監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)是三種不同的學(xué)習(xí)數(shù)據(jù)而不對(duì)數(shù)據(jù)集標(biāo)簽進(jìn)行同情的學(xué)習(xí)方法。 目前無(wú)論是神經(jīng)結(jié)構(gòu)模擬還是學(xué)習(xí)行為模擬，都比較膚淺。 它主要基于監(jiān)督學(xué)習(xí)來(lái)完成各種任務(wù)，即訓(xùn)練數(shù)據(jù)集中已經(jīng)標(biāo)注了正確答案或目標(biāo)輸出值。 在訓(xùn)練階段，算法根據(jù)輸入的特征與對(duì)應(yīng)的目標(biāo)值之間的關(guān)系進(jìn)行學(xué)習(xí)，從而對(duì)未來(lái)的新數(shù)據(jù)做出準(zhǔn)確的預(yù)測(cè)。 監(jiān)督學(xué)習(xí)的示例包括分類和回歸問題，例如圖像分類、情感分析和價(jià)格預(yù)測(cè)。
生成模型是人工智能未來(lái)的發(fā)展趨勢(shì)之一。 與判斷模型的獨(dú)特優(yōu)勢(shì)相比，它可以處理更多的任務(wù)，例如推動(dòng)內(nèi)容開發(fā)、視覺藝術(shù)創(chuàng)作、數(shù)字孿生、自動(dòng)編程，甚至科學(xué)研究。 研究提供了 AI 視角、Al 直覺……
項(xiàng)目判斷模型生成模型
特征
找到最優(yōu)決策邊界以反映不同模式下數(shù)據(jù)之間的差異
找到每個(gè)模式的邊界，反映數(shù)據(jù)的整體統(tǒng)計(jì)輪廓和不同模式之間的相似性
連接
判斷模型可以從生成模型推斷出來(lái)，反之亦然
自然
后驗(yàn)概率建模
彈簧關(guān)節(jié)概率建模
例子
線性回歸、回歸、支持向量機(jī)、決策樹、神經(jīng)網(wǎng)絡(luò)等。
貝葉斯網(wǎng)絡(luò)、貝葉斯分類器、隱馬爾可夫模型等。
表現(xiàn)
學(xué)習(xí)過程更簡(jiǎn)單，但不能體現(xiàn)數(shù)據(jù)本身的特征
模型信息量更大、更靈活，但學(xué)習(xí)過程更復(fù)雜
應(yīng)用
圖片文本分類、時(shí)間序列預(yù)測(cè)等
自然語(yǔ)言處理等
隨著未來(lái)類腦和類人行為類腦智能研究的深入，人工智能的應(yīng)用將不再局限于此類判斷模型。 植物和人類展現(xiàn)出遠(yuǎn)遠(yuǎn)超越人工智能和機(jī)器學(xué)習(xí)系統(tǒng)的學(xué)習(xí)能力和對(duì)世界的理解。 一個(gè)中學(xué)生可以在大約 20 個(gè)小時(shí)的練習(xí)學(xué)校里駕駛汽車，小學(xué)生可以通過最少的交流學(xué)會(huì)語(yǔ)言交流，人類可以在他們以前從未遇到過的情況下行動(dòng)。
相比之下，傳統(tǒng)的判斷模型需要比人類多幾個(gè)數(shù)量級(jí)的試驗(yàn)來(lái)訓(xùn)練，這樣才能在訓(xùn)練過程中涵蓋最意想不到的情況。 這表明人腦的學(xué)習(xí)具有很強(qiáng)的靈活性，從小樣本開始，不斷適應(yīng)環(huán)境。 這些習(xí)得的靈活性應(yīng)該是未來(lái)機(jī)器學(xué)習(xí)的主要研究目標(biāo)。 例如，LeCun 提出的新型自主智能架構(gòu)最近獲得了圖靈獎(jiǎng)。 最重要的一點(diǎn)是讓機(jī)器了解世界是如何運(yùn)轉(zhuǎn)的，掌握廣泛的現(xiàn)實(shí)知識(shí)，并以此為基礎(chǔ)進(jìn)行推理。
圖源網(wǎng)絡(luò)，入侵與刪除 3.2 視覺-語(yǔ)言預(yù)訓(xùn)練模型演進(jìn)與應(yīng)用
2022 年 12 月 1 日，聯(lián)合創(chuàng)始人 Sam 在 上宣布并邀請(qǐng)人們免費(fèi)試用
圖片來(lái)源網(wǎng)絡(luò)，侵刪
能以對(duì)話的方式與人類互動(dòng)，能回答試探性的、連續(xù)的問題，承認(rèn)答案中的錯(cuò)誤，在人類提問時(shí)強(qiáng)調(diào)不正確的前提，拒絕回答不恰當(dāng)?shù)膯栴}，其性能大大超過弱人工智能。 聰明的想象力。 其影響早已遍及各行各業(yè)。 基于GPT-3開發(fā)，具有強(qiáng)大的對(duì)話能力，理解語(yǔ)言語(yǔ)境，能夠產(chǎn)生富有表現(xiàn)力和連貫性的回應(yīng)。 所謂GPT，全稱Pre-，本質(zhì)上是一種基于GPT的語(yǔ)言模型。
語(yǔ)言是明確存在的東西，但大腦如何理解、轉(zhuǎn)換和存儲(chǔ)語(yǔ)言，是尚未被發(fā)現(xiàn)的東西。 因此，大腦理解語(yǔ)言的過程就是大腦將語(yǔ)言編碼成可理解和可存儲(chǔ)的方式的過程，這個(gè)過程稱為語(yǔ)言編碼。 相應(yīng)地，在大腦中表達(dá)你想用語(yǔ)言表達(dá)的內(nèi)容稱為語(yǔ)言解碼。在語(yǔ)言模型中，編碼器和解碼器都是通過將各個(gè)組件拼接在一起產(chǎn)生的
這些是什么？ 它是一種用于自然語(yǔ)言處理和其他序列到序列 (-to-) 任務(wù)的神經(jīng)網(wǎng)絡(luò)架構(gòu)。 它由微軟的研究人員于 2017 年提出，被認(rèn)為是自然語(yǔ)言處理領(lǐng)域的重大突破。
基于注意力機(jī)制（ ），其核心思想是在序列中進(jìn)行交互和捕獲全局信息，而不是像前幾年的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）那樣在序列中一個(gè)一個(gè)地處理信息。 通過多個(gè)自注意力層（Self-Layer）進(jìn)行信息的交互和表示，每個(gè)自注意力層包含注意力機(jī)制的三部分：query、key和value）。
圖片來(lái)源網(wǎng)絡(luò)，侵刪
具體來(lái)說，對(duì)于一個(gè)輸入序列，將其轉(zhuǎn)化為多個(gè)詞向量（word），然后通過self-層提取特征。 在self-層中摩擦力的圖像分析，query 通過估計(jì)它與所有key 的相似度來(lái)估計(jì) score，并用這個(gè)score對(duì)sum 進(jìn)行加權(quán)，最終得到每個(gè)位置的輸出向量。 之后，這個(gè)輸出向量被饋送到下一個(gè)自注意層或全連接層進(jìn)行后續(xù)處理。
與傳統(tǒng)的序列模型相比，優(yōu)點(diǎn)是可以并行處理輸入序列，從而加快模型的訓(xùn)練和推理。 據(jù)悉，它還可以有效地處理長(zhǎng)序列，因?yàn)樗梢砸淮翁幚碚麄€(gè)序列，沒有時(shí)間限制，不需要像RNN那樣一個(gè)一個(gè)地處理。
然而，關(guān)于這種大規(guī)模的預(yù)訓(xùn)練模型仍然存在一些爭(zhēng)議。 主要論點(diǎn)基于：
預(yù)訓(xùn)練模型和跨模態(tài)預(yù)訓(xùn)練模型的研究非常值得探索，在模型結(jié)構(gòu)、訓(xùn)練策略、預(yù)訓(xùn)練任務(wù)設(shè)計(jì)等方面仍有很大潛力。 比如2021年10月發(fā)布的與相關(guān)的工作，從這個(gè)模型可以看出充滿了野心。 希望對(duì)于下游任務(wù)，不需要任務(wù)相關(guān)的訓(xùn)練數(shù)據(jù)集，也不需要微調(diào)，零樣本遷移直接基于。 這對(duì)于提高大型模型的訓(xùn)練效率和訓(xùn)練效果具有重要意義。
3.3 篡改文本圖像的生成與測(cè)量
篡改文本檢測(cè)（TTD，text）是多媒體信息安全領(lǐng)域一個(gè)新興的研究方向。 漢字區(qū)的真?zhèn)巍?span style="display:none">pNy物理好資源網(wǎng)(原物理ok網(wǎng))
[1] 王玉新, 張伯強(qiáng), 謝洪濤, 等. 基于空域和信噪比建模的篡改文本圖像檢測(cè)[J]. 網(wǎng)絡(luò)與信息安全學(xué)報(bào), 2022, 8(03): 29-40.
篡改文本檢測(cè)任務(wù)有兩個(gè)主要挑戰(zhàn)。
與傳統(tǒng)文本檢測(cè)任務(wù)相比，篡改文本檢測(cè)任務(wù)需要進(jìn)一步區(qū)分篡改文本和真實(shí)文本。 由于真實(shí)文本和偽造文本的分類難度不一致，網(wǎng)絡(luò)在訓(xùn)練過程中很難平衡兩種類型的學(xué)習(xí)過程，導(dǎo)致兩種類型在測(cè)試過程中的測(cè)量精度差異較大。 上述挑戰(zhàn)極大地限制了篡改文本測(cè)量方法的性能。 為此，如何準(zhǔn)確捕捉局部紋理差異，同時(shí)平衡篡改難度和真實(shí)類別學(xué)習(xí)是當(dāng)前篡改文本度量研究的一個(gè)重要方向。
CCIG峰會(huì)謝洪濤院長(zhǎng)將介紹可在真實(shí)場(chǎng)景文本圖像上訓(xùn)練的文本生成算法和基于平行空域感知和信噪比特征的篡改文本檢測(cè)算法。 這些算法創(chuàng)新性地在篡改文本測(cè)量任務(wù)中引入卷積信息來(lái)改善篡改紋理特征，通過同時(shí)捕獲空間域和串?dāng)_信息來(lái)提高網(wǎng)絡(luò)區(qū)分局部紋理差異的能力。 該算法設(shè)計(jì)的全局時(shí)空關(guān)系模塊提供了一種簡(jiǎn)單有效的方法來(lái)平衡篡改難度和真實(shí)類別學(xué)習(xí)。 通過對(duì)全局文本實(shí)例之間的空間卷積特征關(guān)系進(jìn)行建模，利用其他文本實(shí)例的空間卷積信息。 幫助識(shí)別當(dāng)前文本實(shí)例的真實(shí)性，幫助網(wǎng)絡(luò)更好地平衡真實(shí)文本和篡改文本的學(xué)習(xí)難度，提高測(cè)量精度。
這里重點(diǎn)介紹一個(gè)非常新穎的全局空卷積關(guān)系模塊。 想一想：如果單純根據(jù)當(dāng)前文本候選框的特征來(lái)識(shí)別紋理的真?zhèn)危捎谌狈?duì)全局信息的感知，網(wǎng)絡(luò)將很難平衡真實(shí)和真實(shí)的學(xué)習(xí)難度。篡改文本類別。 不同類別的測(cè)量精度差異較大，造成測(cè)量精度不平衡的問題。 全局空卷積關(guān)系模塊是捕獲全局信息輔助當(dāng)前文本候選框的真?zhèn)巫R(shí)別摩擦力的圖像分析，通過感知當(dāng)前文本候選框與空卷積特征的相似度來(lái)平衡真實(shí)類別和篡改類別的學(xué)習(xí)難度。其他文本候選框。
算法選取最具代表性的方法EAST和ATRR進(jìn)行性能比較。 實(shí)驗(yàn)結(jié)果表明，該算法可以解釋真實(shí)文本和篡改文本的最新測(cè)量值。 與相同的兩階段檢測(cè)算法相比，基于空卷積關(guān)系建模的篡改文本度量方法在真實(shí)文本和篡改文本的度量精度上取得了更好的效果，能夠有效解決度量精度不平衡的問題，避免篡改- 網(wǎng)絡(luò)對(duì)單個(gè)文本類進(jìn)行精確檢查。
事實(shí)上，本報(bào)告介紹的基于空卷積關(guān)系建模的篡改文本檢測(cè)方法可以推廣到其他篡改文本檢測(cè)算法。 通過直接使用或簡(jiǎn)單地更改文本中的模塊，可以顯著提高篡改文本檢測(cè)的準(zhǔn)確性。 這為篡改文本檢測(cè)技術(shù)的相關(guān)研究提供了新的方向和思路。 從事相關(guān)研究的朋友可以關(guān)注一下~
3.4 文檔智能處理在行業(yè)中的應(yīng)用與挑戰(zhàn)
說到光學(xué)字符識(shí)別，大家可能會(huì)比較陌生，但應(yīng)該或多或少聽說過OCR。 一般來(lái)說，OCR技術(shù)是利用電子設(shè)備（如掃描儀或數(shù)碼單反相機(jī)）檢測(cè)復(fù)制在紙上的字符，然后利用字符識(shí)別方法將形狀翻譯成計(jì)算機(jī)文本。 隨著技術(shù)的不斷發(fā)展，OCR技術(shù)在行業(yè)中的應(yīng)用也從最初的簡(jiǎn)單的光學(xué)字符識(shí)別擴(kuò)展到包括圖像預(yù)處理、文本識(shí)別、排版分析、文檔理解等在內(nèi)的智能文檔處理領(lǐng)域。
但是，在實(shí)際的工業(yè)場(chǎng)景中，還存在很多問題和挑戰(zhàn)。 例如，文檔圖像可能存在變形和彎曲。 這是因?yàn)閱畏从布粷M足透視??中單反模型的眼睛無(wú)限小的理論假設(shè)，因此真實(shí)圖像會(huì)形成明顯的徑向畸變——場(chǎng)景中的腰線在圖像中呈現(xiàn)為曲線。 有兩種類型的 ()： () 和 ()。 據(jù)悉，在單反組裝過程中，鏡頭不能嚴(yán)格平行于成像面，會(huì)引入切向畸變（），而視覺文件圖像的拍攝角度通常與文件平面不垂直，導(dǎo)致變形和文檔圖像的失真。
另一個(gè)例子是非常常見的圖像波紋現(xiàn)象。 電子屏在單反拍攝時(shí)，顯示器件的發(fā)光點(diǎn)陣與單反的傳感器陣列發(fā)生混疊，形成摩爾紋現(xiàn)象。 屏幕圖像摩爾紋表現(xiàn)為疊加在圖像上的白色，具有可變的顏色和形狀。 圖像中的莫爾條紋在廣泛的空間和時(shí)間域內(nèi)與原始圖像信號(hào)混合，一般覆蓋整個(gè)圖像。 云紋除了隨圖像不同而變化外，在同一幅圖像中還會(huì)隨著空間位置的變化而呈現(xiàn)出不同的色調(diào)和形狀。 如果稍微改變拍攝距離或拍攝角度，云紋圖案可能會(huì)大不相同。
此外，燈光效果、文件篡改檢查、復(fù)雜文件圖像的布局還原，以及各種復(fù)雜的場(chǎng)景都會(huì)導(dǎo)致文件識(shí)別和理解困難。 本報(bào)告主要介紹了依托和合信息自主研發(fā)的智能文字識(shí)別服務(wù)平臺(tái)解決行業(yè)面臨的各類問題的一些相關(guān)工作進(jìn)展和研究成果，闡述了目前行業(yè)面臨的一些關(guān)鍵技術(shù)困境和挑戰(zhàn)。
歡迎對(duì)以上議程感興趣者參加本次CCIG峰會(huì)，觀看入口如下
4觀看入口及話題
呵呵資訊視頻第13期將于晚上13:30直播，感興趣的朋友歡迎交流
問題
時(shí)間議程發(fā)言人
13:30-14:10
《人工智能大模型時(shí)代的文檔識(shí)別與理解》
中國(guó)科學(xué)院手工技術(shù)研究所副所長(zhǎng) 劉成林
14:10-14:45
《視覺-語(yǔ)言預(yù)訓(xùn)練模型與遷移學(xué)習(xí)技術(shù)》
上海大學(xué)鄒月賢院長(zhǎng)
14:45-15:20
《篡改文本圖像的生成與測(cè)量》
中國(guó)科學(xué)院院長(zhǎng)謝洪濤
15:20-15:30
自助餐
15:35-16:00
《華為云OCR技術(shù)進(jìn)步與行業(yè)實(shí)踐》
廖明輝，華為云AI算法研究員
16:00-16:25
《智能文檔處理技術(shù)在行業(yè)中的應(yīng)用與挑戰(zhàn)》
和合信息中級(jí)工程師 丁凱
16:30-17:30
圓桌討論
金蓮文、劉成林、鄒月燮、謝洪濤、廖明輝、丁凱