數字圖書館資源建設

A、數字圖書館資源建設之地方圖書數字化全文識別加工

資源數字化數量：20000頁

1、元數據加工標準

1.1規范性引用文件

下列文件對于本規則的應用是必不可少的。

《中國文獻編目規則》（第二版）

《GB/T25100-2010 信息與文獻 都柏林核心元數據》

《信息資源的內容形式和媒體類型標識》（GB/T3469-2013）

1.2著錄對象

以數字化文獻為著錄對象。一般以具有獨立名稱、并可獨立使用的一個數字資源為著錄單位。

圖書的著錄單位為一種圖書。對于多部分資源，一般可自由選擇綜合著錄或分散著錄。

1.3著錄信息源

著錄信息源是資源本身。資源本身是著錄的首選來源。資源本身信息不足，可參考其他信息源。

1.4著錄用文字

題名、責任者等取自資源本身的信息一般按資源本身的文字著錄。

由編目員進行描述或標引的信息均采用簡體中文著錄。

有規范或規定編碼標準的要求按標準著錄，如：語種、中圖分類。

日期用阿拉伯數字著錄。

推薦采用ISBD著錄標識符。

一個著錄項中多個著錄內容之間以半角分號分隔。

1.5元數據著錄簡表

必備項為：加工編號、正題名、中圖分類、主題詞或關鍵詞、摘要、內容形式、媒體類型、格式、頁碼、語種、適用對象、CDOI、數據提交單位、所屬任務年份，共計13項；有則必備項為：其它提名、責任者名稱、責任方式、附注、出版者名稱、出版地、出版日期、關聯、時間范圍、空間范圍、版本、ISBN、統一書號、發布地址，共計14項。

2、圖像數字化標準和命名規則

2.1圖像掃描加工

掃描前根據國際色彩協會（International Color Consortium，簡稱ICC）標準，做加工設備的基本色彩校正，及針對各類型文獻進行色彩校正；

逐頁掃描；

黑白頁和灰度頁用灰度方式掃描

色彩位深：8 位

分辨率：300 dpi；小于5號字體用400 dpi

檔案典藏級格式：TIFF 不壓縮

發布服務級：PDF（經過 JPEG2000 壓縮后，再做格式轉換）

彩色頁用彩色方式掃描

色彩位深：24 位

分辨率：300 dpi；小于5號字體用400 dpi

檔案典藏級格式：TIFF 不壓縮

發布服務級格式：PDF（經過 JPEG2000 壓縮后，再做格式轉換）

糾偏處理。對出現偏斜的圖像進行糾偏處理，圖像歪斜度不可以超過一度，對方向不正確的圖像進行旋轉還原，以符合閱讀習慣；

去污處理。對圖像頁面中出現的影響圖像質量的雜質如黑邊等進行去污處理；

圖像拼接。若原文獻幅面較大，無法整體采集的，可將原件分畫幅采集（分畫幅采集時，注意各拍攝區域邊緣須留有一定的重復采集區域，以保證拼接完成后所有接縫處連貫完整），服務級文件進行拼接處理，合并為一個完整的圖像，以保證數字文件的整體性（合并信息應在readme.txt進行說明）。

2.2圖像文件質量要求

圖像文件（各種格式）放大到1：1狀態，逐頁檢查。檢查文件是否有彩點、彩線、太淡、太濃、黑邊、污點、歪斜、模糊（馬賽克等）或圖像內容不完整等現象。若不符合圖像質量要求應進行圖像校正或重新掃描；

圖像文件真實反映原件，同冊圖書的圖像尺寸相同，不得有失真現象；不能有缺頁、錯頁、數據內容缺失等現象（原件有缺失的除外）；

檔案典藏級圖像，允許進行適當的糾偏，去污等處理，以不壓縮標準格式存檔。發布服務級的圖像，為有損壓縮圖像格式，一頁為一個PDF文件，在轉換工作中應在圖像輪廓清晰可讀的前提下（可放大到實際尺寸檢查判定），盡量減小數據量；

圖像符合掃描規格要求和技術參數；

所有文件保存位置以及文件命名正確,同一流水號不得有跳號情況，可以有效打開和顯示；

圖像的綜合錯誤率不超過1‰。

2.3命名規則

2.3.1加工編號（book_id）

文獻數字化加工過程中一冊文獻的唯一標識，它由11位數字和1位下劃線組成。

文獻基本資料類型（1位）、文獻語種（1位）、任務年（2位）、機構代碼（4位）、下劃線（1位）、單位內部流水號(3位)。

本規則針對地方圖書的文獻基本資料類型為（0：圖書），文獻語種為（1：中文），任務年為公元年后兩位數字（16年項目統一為16），機構代碼見《推廣工程數字資源聯合建設機構代碼》，單位內部流水號由各單位自行分配，從1開始，不足3位以0補齊。

例：01160000_001

2.3.2圖像文件名

文件后綴名為小寫字母

前封（含封一、封二）

掃描文件名為Axxxxx_00，其中xxxxx為5位數字，按原書順序依次排序。

前附頁

目錄頁之前的前附頁掃描文件名為Bxxxxx_00，其中xxxxx為5位數字，按原書順序依次排序。

目錄頁之后的前附頁掃描文件名為Dxxxxx_00，其中xxxxx為5位數字，按原書順序依次排序。

目錄頁

掃描文件名為Cxxxxx_00，其中xxxxx為5位數字，按原書順序依次排序。

正文

有頁碼的正文掃描文件名為Txxxxx_00,其中xxxxx為5位數字,與原書頁號一致，按原書順序依次排序。當存在大幅圖像需分區掃描時其文件命名為Txxxxx_00zz，其中zz為數字，表示掃描圖像分區，按掃描順序排序，對應的發布服務級進行合并后命名為Txxxxx_00。例如：該圖在原書的第28頁，該圖分成4個畫幅，則4個畫幅的掃描文件名分別為T00028_0001.tif、T00028_0002.tif、T00028_0003.tif、T00028_0004.tif，拼接后的發布級圖像文件名為T00028_00.pdf。

正文中插頁掃描文件名為Txxxxx_yy，其中xxxxx為5位數字,表示插頁的前一頁順序號,yy為數字，表示插頁，并按原書順序依次排序。當插頁中存在大幅圖像需分區掃描時其命名為Txxxxx_yyzz，yy為數字，表示插頁；zz為數字，表示掃描圖像分區，按掃描順序排序，對應的發布服務級圖像進行合并后命名為Txxxxx_yy。例如：一張圖夾在20頁、21頁之間，且該圖分成4個畫幅掃描，則4個畫幅的掃描文件名分別為T00020_0101.tif、T00020_0102.tif、T00020_0103.tif、T00020_0104.tif，將4個畫幅拼接后，該圖的文件名為T00020_01.pdf。

后附頁

掃描文件名為Yxxxxx_00，其中 xxxxx為5位數字，按原書順序依次排序。

后封（含封三、封四）

掃描文件名為Zxxxxx_00，其中xxxxx為5位數字,按原書順序依次排序。

3、TXT文本標準

對圖像數據逐頁進行ocr識別，每頁生成一個對應的TXT文件，文件命名與TIFF圖像一致，后綴名小寫。文本轉換數據的準確率平均應達到90%以上。

4、數據庫標準

4.1數據庫命名

對象數據所對應數據庫。數據庫名由8位數字組成：

文獻基本資料類型（1位）、文獻語種（1位）、任務年（2位）、機構代碼（4位）。

例：01160000.mdb

4.2數據庫制作

4.2.1 對marc數據進行加工處理，制作文獻基本信息表（book）。

4.2.2目錄信息著錄，生成文獻目錄信息表(catalog)。

4.2.3 文獻版權頁著錄，生成文獻版權信息表(copyright)。

4.2.4 不帶頁號插圖信息著錄，生成文獻插頁信息表(inset)。

注：圖書中有夾頁時，對該表字段進行標引。

4.2.5 文獻缺頁信息著錄，生成文獻缺頁信息表(lostpage)。

注：圖書有缺失頁時，對該表字段進行標引。

4.2.6 文獻結構信息著錄，生成文獻結構信息表(struct)。

注：起始頁號均為文獻印刷頁碼

4.2.7 記錄掃描分辨率、壓縮因子、文件數量、存儲量等信息，生成文獻加工信息表(process)。

4.3 數據庫制作要求

數據庫的制作符合下列要求。

（1）文件格式為mdb格式;

（2）使用字符集為UTF-8;

（3）著錄信息應嚴格按照文獻實際內容進行描述，所著內容與對象文件應正確鏈接;

（4）數據庫字段各類表格等內容嚴格按照規定和樣例版式;

（5）著錄中遇到無法錄入的生僻字、公式、符號等內容用“〓”表示。同時將“〓”所對應圖像文件保存在檔案典藏級數據內，以“〓”命名的文件夾內，建立方法：

子目錄內應包含所有用“〓”表示的圖像文件；

圖像文件刪除其他信息，僅保留“無法錄入的內容”所在行的信息，tif不壓縮格式，圖像命名不變;

多個用“〓”表示的內容對應同一個圖像時，僅保存一個圖像文件;

（6）各種著錄的文字、符號、版式、位置和文件名稱準確，其綜合錯誤率不超過0.3‰。

5、說明文件

5.1制作文獻的說明文件

說明文件格式：Microsoft Excel

說明文件命名：由8位組成：文獻基本資料類型（1位）、文獻語種（1位）、加工年（2位）、機構代碼（4位）。如：01160000.xls

（說明文件的5張表需保存在同一個Excel文件的不同工作表中，每個工作表按下列表命名）。

5.1.1數據總體說明表

5.1.2保存級對象數據硬盤存儲清單

5.1.3發布級PDF對象數據硬盤存儲清單

5.1.4發布級TXT對象數據硬盤存儲清單

5.1.5圖書單冊數據量統計表

5.2 制作每冊文獻和保存數據介質的說明文件

6、存儲規則

6.1 存儲介質及命名

存儲介質為硬盤，硬盤命名由8位組成：

文獻基本資料類型（1位）、文獻語種（1位）、加工年（2位）、機構代碼（4位）。

6.2數據存儲規則

存儲內容包括：TIFF圖像、PDF、TXT文本、對應數據庫、說明文件、介質說明文件，書目數據文件各一份。

各類型對象數據按加工編號遞增順序依次放置在硬盤內，保存目錄及文件名由四級組成：

第一級目錄為加工編號的前8位，如01160000，同時將介質說明文件并行保存(readme.txt)；

第二級目錄為TIFF,PDF,TXT同時將對應數據庫（01160000.mdb）、說明文件（01160000.xls）、書目數據文件（01160000.iso）并行保存；

第三級目錄為加工編號；

第四級目錄為相應格式的對象數據文件，需要相應的單冊文獻的說明文件。

7、加工成品數據的文獻管理平臺功能要求

1.該發布系統需具備完善的數字圖書館資源管理和發布軟件技術平臺,包括數字資源發布、檢索、閱讀、管理、采集、制作、下載以及用戶交互等功能。資源類型包括圖書、期刊、論文以及自建數據庫，并且實現在圖書，期刊，論文、自建庫的統一的檢索和獲取。平臺功能成熟，檢索方便快捷，具備多種途徑的單項檢索、組合條件檢索。

2.能夠兼容國家863計劃中國數字圖書館示范工程標準PDG格式的電子圖書文獻資源，技術上能夠做到整合到同一平臺中，同時支持轉換PDF、PDG、PNG、Word格式的文檔資料為網頁版閱讀方式，方便大多數用戶使用習慣。同時實現不同格式的文檔轉換，所有圖書均可實現文字圖像復制摘錄和圖書無損縮放。支持元數據檢索、目次檢索、全文檢索等多種檢索方式，友好統一的用戶界面，提供各種高級的檢索功能，具有突出的檢索性能。

3.該系統需具備獨立完善的管理平臺，管理功能全面，具備基本狀態、流量分析、用戶管理、排行管理、IP范圍管理、圖書管理、反饋需求管理、公告問題管理、頻道專題管理、頁面模板風格管理等功能；能實現自建特色庫，系統具有良好的開放性和兼容性，除電子圖書外還可以支持音頻、視頻、期刊、專題數據庫、標準、網站信息等的使用。

4.不限制使用用戶個數，無下載量限制，軟件無用戶數或使用次數限制；可以進行資源管理，包括推薦資源，查詢，分類管理、設置；可以自行修改用戶的訪問權限和局域網IP范圍。

5.提供原廠開發的數字圖書館軟件系統一套，免費對數據庫及相關軟件系統的安裝、調試、培訓與維護。

6.平臺提供IP和用戶名兩種身份認證和權限管理方式，圖書館設有外網地址的情況下可以實現鏡像平臺的外網賬號訪問；具有強大的查詢檢索、圖書推薦、圖書排行、訪問量統計等功能，并支持頁面定制。

B、數字圖書館資源建設之地方報紙數字化及篇名識別加工

建設數據量：5000版

1、元數據加工標準

1.1規范性引用文件

下列文件對于本規則的應用是必不可少的。

《中國文獻編目規則》（第二版）

《GB/T25100-2010 信息與文獻 都柏林核心元數據》

《信息資源的內容形式和媒體類型標識》（GB/T3469-2013）

1.2著錄對象

以數字化文獻為著錄對象。一般以具有獨立名稱、并可獨立使用的一個數字資源為著錄單位。

報紙的著錄單位為一種報紙。

對于連續性資源的著錄對象是否發生改變，可依據題名、發行者、版本等的變化情況進行判斷，具體規則參照《中國文獻編目規則》（第二版）。

1.3著錄信息源

著錄信息源是資源本身。資源本身是著錄的首選來源。資源本身信息不足，可參考其他信息源。

報紙的著錄信息源是本題名下第一期或第一部分，若無法獲得本題名下第一期或第一部分，應以可獲得的最早發行的一期或部分著錄。

1.4著錄用文字

題名、責任者等取自資源本身的信息一般按資源本身的文字著錄。

由編目員進行描述或標引的信息均采用簡體中文著錄。

有規范或規定編碼標準的要求按標準著錄，如：語種、中圖分類。

日期用阿拉伯數字著錄。

推薦采用ISBD著錄標識符。

一個著錄項中多個著錄內容之間以半角分號分隔。

1.5元數據著錄簡表

必備項為：加工編號、正題名、中圖分類、主題詞或關鍵詞、內容形式、媒體類型、格式、語種、適用對象、出版頻率、館藏范圍、CODI、數據提交單位、所屬任務年份，共計14項；有則必備項為：其它提名、附注、出版者名稱、出版地、開始日期、終止日期、關聯、時間范圍、空間范圍、ISSN、統一刊號、發布地址，共計12項。

2圖像數字化標準和命名規則

2.1圖像掃描加工

掃描前根據國際色彩協會（International Color Consortium，簡稱ICC）標準，做加工設備的基本色彩校正，及針對各類型文獻進行色彩校正；

逐版掃描；

黑白頁和灰度頁用灰度方式掃描

色彩位深：8 位

分辨率：300 dpi

檔案典藏級格式：TIFF 不壓縮

彩色頁用彩色方式掃描

色彩位深：24 位

分辨率：300 dpi

檔案典藏級格式：TIFF 不壓縮

糾偏處理。對出現偏斜的圖像進行糾偏處理，圖像歪斜度不可以超過一度，對方向不正確的圖像進行旋轉還原，以符合閱讀習慣；

去污處理。對圖像頁面中出現的影響圖像質量的黑邊等進行去污處理。

2.2圖像文件質量要求

圖像文件放大到1：1狀態，逐版檢查。檢查文件是否有彩點、彩線、太淡、太濃、黑邊、污點、歪斜、模糊（馬賽克等）或圖像內容不完整等現象。若不符合圖像質量要求應進行圖像校正或重新掃描；

圖像文件真實反映原件，同種報紙圖像尺寸相同，不得有失真現象；按版次順序由小到大，符合閱讀習慣，不能有缺版、錯版、數據內容缺失等現象（原件有缺失的除外）；

圖像符合掃描規格要求和技術參數；

所有文件保存位置以及文件命名正確，可以有效打開和顯示；

圖像綜合錯誤率不超過1‰。

2.3命名規則

注：檔案典藏級文件（TIFF格式）與其相應的發布文件（雙層PDF格式和XML格式）命名規則相同，這里僅以TIFF格式文件為例，文件后綴名均為小寫。

2.3.1加工編號

加工編號是報紙數字化加工過程中一種報紙的唯一標識號，由11位數字和下劃線組成。文獻基本資料類型（1位）、文獻語種（1位）、任務年（2位）、機構代碼（4位）、下劃線（1位）、單位內部報紙種類編號（3位）。中文報紙的文獻基本類型為(2：報紙)，文獻語種編碼為（1：中文）。

2.3.2文件命名規則

每期報紙按照實際版次命名，用三位數字表示，后綴名小寫tif。如第一版為001.tif，第2版為002.tif；則若報紙包含號外、增刊、副刊、特刊等特殊版面，且其不屬于報紙原有常規版次內容，為獨立的另起版面，其文件的命名規則為：特殊版面種類拼音首字母（大寫）+版次（2位，如有實際印刷版次，按實際命名，如沒有則按01開始順序命名），如號外第一版H01.tif、增刊第一版Z01.tif、副刊第一版F01.tif、特刊第一版T01.tif；若報紙中存在通版（即打通同一面上兩個相鄰版而形成的版）情況，應將這兩版整體掃描為一個圖像文件，并同時將其保存為這兩版的圖像，如當報紙中的第2版和第3版為通版時，通版圖像整體保存為一個文件，并且將這一圖像同時命名為002.tif和003.tif。

3雙層PDF標準

3.1雙層PDF加工

將處理完成后的圖像進行報紙篇目文字識別校對。采用圖在文上的模式進行雙層PDF輸出。

PDF文件根據圖像尺寸、顏色、數據存儲量、按JPEG2000有損壓縮，壓縮因子適度動態調整，在確保圖像清晰的情況下，盡量壓縮圖像文件所占空間至最小。

3.2PDF文件質量要求

兼容adobe reader6.0及以上版本。

在保持圖像清晰可讀的基礎上盡可能減小存儲量。

PDF文字層所使用的字體以”已嵌入子集”方式嵌入PDF文件。

雙層PDF文件的圖像層和文字層的文字對位準確，反顯區域與文字區域相差1毫米以內。

雙層PDF錯誤率不超過0.3‰。

4XML文件標準

文件應著錄全面的報紙信息，記錄標題及篇目位置等信息，標題位置為引題、標題和副題的整體位置，遵守XML語法規則，按規范標簽進行制作XML，使用utf-8字符集，錯誤率小于0.3‰。

5數據庫標準

5.1數據庫命名

每種報紙單獨制作數據庫，其命名與報紙加工編號相同，如：21160000_001.mdb。

5.2數據庫制作

5.2.1報紙基本信息表（book）

5.2.2報紙版面篇目信息表（catalog）

5.2.3報紙結構信息表（struct）

5.3 數據庫制作及要求

標引數據庫以MDB數據庫方式提交，后綴名mdb；

基本信息表的內容應與MARC數據相應內容保持一致；

版面篇目信息數據庫標引要求真實反映報紙原貌；

結構信息表應嚴格按文獻實際情況進行描述；

無法錄入的生僻字等用“〓”表示；

版面篇目信息表與XML文件的對應元素項的內容應一致；

各種著錄、說明文件的文字、符號、版式、位置和文件名稱準確，其綜合錯誤率不超過0.3‰。

6說明文件

6.1數字化成品總清單

說明文件格式：Microsoft Excel

說明文件命名：地方文獻數據說明（說明文件的5張表需保存在同一個Excel文件的不同工作表中，每個工作表按下列表命名）。

6.1.1提交數據總體說明

6.1.2保存級對象數據硬盤存儲清單

6.1.3發布級PDF對象數據硬盤存儲清單

6.1.4發布級XML對象數據硬盤存儲清單

6.1.5每種文獻數據量統計表

6.2每個存儲介質內的說明文件（readme.txt）

7. 存儲規則

7.1 存儲介質及命名

存儲介質為硬盤，硬盤命名由8位組成：

文獻基本資料類型（1位）、文獻語種（1位）、加工年（2位）、機構代碼（4位）。

7.2 數據存儲規則

存儲內容包括：TIFF圖像、雙層PDF、XML、對應數據庫、說明文件、介質說明文件，書目數據文件各一份。

各類型對象數據按加工編號遞增順序依次放置在硬盤內，保存目錄及文件名由四級組成：

第一級目錄為加工編號的前8位，如21160000，同時將介質說明文件并行保存(readme.txt)；

第二級目錄為TIFF,PDF,XML同時將對應數據庫、說明文件（21160000.xls）、書目數據文件（21160000.iso）并行保存；

第三級目錄為加工編號；

第四級目錄為相應格式的對象數據文件；

第五級目錄為相應格式的對象數據文件。

8加工成品數據的文獻管理平臺功能要求

1.該發布系統需具備完善的數字圖書館資源管理和發布軟件技術平臺,包括數字資源發布、檢索、閱讀、管理、采集、制作、下載以及用戶交互等功能。資源類型包括圖書、期刊、論文、報紙以及自建數據庫，并且實現在圖書，期刊，論文、報紙、自建庫的統一的檢索和獲取。平臺功能成熟，檢索方便快捷，具備多種途徑的單項檢索、組合條件檢索。

2.能夠兼容國家863計劃中國數字圖書館示范工程標準PDG格式的電子圖書文獻資源，技術上能夠做到整合到同一平臺中，同時支持轉換PDF、PDG、PNG、Word格式的文檔資料為網頁版閱讀方式，方便大多數用戶使用習慣。同時實現不同格式的文檔轉換，所有圖書均可實現文字圖像復制摘錄和圖書無損縮放。支持元數據檢索、目次檢索、全文檢索等多種檢索方式，友好統一的用戶界面，提供各種高級的檢索功能，具有突出的檢索性能。

3.該系統需具備獨立完善的管理平臺，管理功能全面，具備基本狀態、流量分析、用戶管理、排行管理、IP范圍管理、圖書管理、反饋需求管理、公告問題管理、頻道專題管理、頁面模板風格管理等功能；能實現自建特色庫，系統具有良好的開放性和兼容性，除電子圖書外還可以支持音頻、視頻、期刊、專題數據庫、標準、網站信息等的使用。

4.不限制使用用戶個數，無下載量限制，軟件無用戶數或使用次數限制；可以進行資源管理，包括推薦資源，查詢，分類管理、設置；可以自行修改用戶的訪問權限和局域網IP范圍。

5.提供原廠開發的數字圖書館軟件系統一套，免費對數據庫及相關軟件系統的安裝、調試、培訓與維護。

6.平臺提供IP和用戶名兩種身份認證和權限管理方式，圖書館設有外網地址的情況下可以實現鏡像平臺的外網賬號訪問；具有強大的查詢檢索、圖書推薦、圖書排行、訪問量統計等功能，并支持頁面定制。