Unofficial

QNAP 儲存池或磁碟區未啟用時,先檢查什麼?

透過 SSH 執行唯讀檢查,可判斷哪一層使儲存池停止運作。檢查範圍包括磁碟與 RAID、LVM、精簡集區的中繼資料,以及磁碟區的檔案系統。

搭載 QTS 的 QNAP NAS 採用分層儲存架構。磁碟組成 RAID 陣列。LVM 在陣列上配置精簡集區。精簡集區包含各個磁碟區。任一層發生故障,都會導致儲存池或磁碟區停止運作。

請依下列順序從磁碟開始逐層檢查。每個步驟都列出指令,並說明輸出的意義及所指的層級。這些指令都不會變更 RAID、LVM 或儲存池。

使用 LVM 精簡集區的 QTS · 以 admin 身分透過 SSH 執行指令 · 已對照 LVM Pool Repair 1.8 驗證

磁碟區與檔案系統 ext4ext4ext4 精簡集區的中繼資料 tp1_tmetatp1 LVM vg1 · PV 磁碟與 RAID md1
從磁碟開始的四層儲存架構

變更前須知

  • 確認哪一層故障前,請勿進行任何變更。請勿拔除或更換磁碟。請先閱讀下列檢查步驟,再透過 QTS 或 SSH 開始修復。
  • 儲存空間的修復作業可能無法復原。寫入儲存池前,請先確認重要資料已備份。
  • 請將記錄和副本存放在受檢查的儲存池以外,例如外接磁碟或另一個儲存池的磁碟區。
  • 任何檢查或修復都無法保證找回您的資料。修復受損的對應範圍無法還原原先位於其中的資料。
  • 本頁適用於使用 LVM 精簡集區的 QTS。QuTS hero 使用 ZFS,不適用這些檢查或 LVM Pool Repair。

從磁碟開始的四層儲存架構

每一層都要在下一層運作正常時才能運作。因此,請從磁碟開始檢查。LVM Pool Repair 也從底層開始往上修復。下層發生問題時,修復就會停止。

  1. 磁碟與 RAID

    QTS 將磁碟的分割區組成 md RAID 陣列。資料儲存池位於這類陣列上,例如 md1。

    cat /proc/mdstat
  2. LVM

    LVM 將每個陣列,或其上的 DRBD 裝置,當作實體磁碟區(PV)使用。儲存池的各個 PV 組成磁碟區群組(VG),例如 vg1。

    pvs · vgs
  3. 精簡集區的中繼資料

    精簡集區(例如 tp1)將中繼資料存放在專用裝置 tp1_tmeta 上。中繼資料記錄集區內所有磁碟區中每個區塊的對應關係。

    lvs -a
  4. 磁碟區與檔案系統

    集區中的每個磁碟區都是使用 ext4 檔案系統的精簡磁碟區。QTS 會掛載磁碟區。共用資料夾位於該磁碟區上。

    dmesg

依此順序檢查

請以 admin 身分透過 SSH 登入 NAS。執行該步驟的指令並閱讀輸出。確認該層看起來運作正常後,再進行下一步。

  1. 查看核心記錄

    核心記錄會顯示磁碟錯誤,以及儲存池的 device-mapper 裝置所發出的訊息。

    dmesg | grep -iE 'device-mapper|thin|I/O error' | tail -n 12

    儲存池底層磁碟的 I/O 錯誤表示磁碟可能有問題。請先測試該磁碟,再檢查上層。

  2. 檢查 RAID

    /proc/mdstat 列出各個 md 陣列及其狀態與成員。md_checker 列出資料陣列及各磁碟的狀態。

    cat /proc/mdstat
    md_checker

    陣列標示為 inactive 表示 RAID 有問題。[4/3] 表示 4 個成員中有一個缺失,陣列以降級模式運作。出現 recovery、resync、reshape 或 check,表示陣列正在處理作業。

  3. 檢查 LVM

    pvs 列出實體磁碟區,vgs 列出磁碟區群組,lvs -a 列出儲存池及其中的磁碟區。

    pvs
    vgs
    lvs -a

    在 pvs 的輸出中,若 Attr 的第三個字元為 m(a-m),表示 LVM 將該實體磁碟區標記為缺失。顯示為 unknown device 的 PV 不存在於系統中。如果 lvs -a 完全未顯示精簡集區,問題就出在中繼資料下方的 RAID 或 LVM 層。

  4. 查看 lvs -a 輸出中的儲存池列

    儲存池的 Attr 以 t 開頭。第九個字元表示 LVM 回報的健康狀態。

    M
    中繼資料為唯讀
    F
    儲存池發生故障
    D
    儲存池的資料空間已用盡
    p
    部分狀態,儲存池缺少一個實體磁碟區

    磁碟區的 Attr 以 V 開頭。第五個字元為 a 表示磁碟區已啟用。

    若 LVM 的輸出或核心記錄中出現下列任一訊息,該訊息會指出問題所在的層級。

    Refusing activation of partial LV
    缺少一個實體磁碟區,問題出在 LVM 層
    transaction_id
    LVM 中的儲存池記錄與儲存池的中繼資料不符,問題出在 LVM 設定
    Check of thin pool … failed
    儲存池的中繼資料
    too small for target
    RAID 陣列小於其上的磁碟區,問題出在 RAID 層
  5. 在儲存池離線時診斷中繼資料

    只有在儲存池離線時執行 thin_check,才能診斷中繼資料。讓儲存池離線會變更其狀態,因此這是 LVM Pool Repair 的一個步驟。步驟 2 讓儲存池離線,步驟 1 執行檢查。如果儲存池仍處於啟用狀態,步驟 1 提供初步的唯讀檢查。

    $ pdata_tools_8192 thin_check /dev/mapper/vg1-tp1_tmeta
    examining superblock
    examining superblock backups
      99 valid superblock backups, last backup_id=98 blocknr=8388509
    examining devices tree
    examining mapping tree
      thin device 9 is missing mappings [1470, 1725]
        bad checksum in btree node (block 21996)
      thin device 9 is missing mappings [3285, 3540]
        bad checksum in btree node (block 22007)
      thin device 9 has unexpected number of mapped blocks
        expected 5730 != actual 5220
    examining clone tree
    examining tiering tree
    examining tiering space maps
        -> exit code 1   (in: do_diag > thin_check_run)
    觀看實際修復過程 →
  6. 檢查無法掛載的磁碟區的檔案系統

    若 lvs -a 顯示儲存池及其磁碟區均已啟用,但仍有磁碟區無法掛載,請檢查該磁碟區的檔案系統。

    dmesg | grep -iE 'EXT4-fs (error|warning)'

    EXT4-fs 錯誤表示磁碟區的檔案系統有問題。QTS 的 Check File System 會檢查並修復檔案系統。請先閱讀前面的檢查步驟,再啟動這項功能。

如何解讀檢查結果

每張卡片都說明您看到的結果、結果指向的層級,以及 LVM Pool Repair 1.8 在該情況下的處理方式。

磁碟與 RAID

  • inactive

    儲存池底層的 md 陣列未啟用。問題出在 RAID。

    指令碼不會開始修復。它會提示您先修復 RAID。

  • [4/3] [UUU_]

    陣列仍在運作,但有成員缺失,或正在進行重建、重新同步、重整或檢查。

    指令碼在寫入儲存池前會要求確認,預設回答為「否」。若正在重建,請先等候重建完成。

  • I/O error

    核心記錄回報儲存池底層磁碟的 I/O 錯誤,或是記憶體錯誤。

    指令碼在寫入前會要求確認,預設回答為「否」。請先用 DriveTime 測試磁碟,再用 MemHound 測試 RAM。

LVM

  • a-m

    LVM 將儲存池中的某個實體磁碟區標記為缺失,或將它顯示為 unknown device。啟用作業停止,並顯示 Refusing activation of partial LV。

    指令碼會停止。問題出在 LVM 層,與儲存池的中繼資料無關。遇到 unknown device 時,指令碼會提示您回頭檢查 RAID 層。

  • No thin pool found

    lvs -a 未顯示精簡集區。問題出在儲存池中繼資料以下的層級。

    指令碼會停止,並列出 RAID 與 LVM 的唯讀檢查指令,包括 cat /proc/mdstat、md_checker、mdadm -E /dev/sdX3、pvs、vgs、lvs -a。

精簡集區的中繼資料

  • SSD cache

    儲存池使用讀寫或僅供寫入的 SSD 快取,或 Qtier 將資料存放在至少兩個儲存層。

    指令碼會在進行任何變更前停止,並提示您聯絡 QNAP 技術支援。如果使用唯讀 SSD 快取,指令碼會先詢問是否已移除快取,或是否已停用此儲存池的快取。

  • thin_check

    LVM 回報 Check of thin pool … failed,或 thin_check 在儲存池的中繼資料中發現錯誤。

    LVM Pool Repair 適用於這種情況。下一節說明三種損毀類型。

  • metadata consistent

    thin_check 在中繼資料中未發現錯誤。

    如果只設定了 needs_check 旗標,指令碼會清除它。設定此旗標時,儲存池會以唯讀中繼資料啟動。其他情況下,問題出在儲存池上方的檔案系統,或下方的 RAID 或 LVM。

精簡集區的中繼資料出現問題時

LVM Pool Repair 是提供選單的 Shell 指令碼。它透過 SSH 修復 QTS 上 QNAP 精簡集區的中繼資料。診斷會區分三種損毀類型,每種各有對應的修復程序。

  • space map counts only

    只有空間配置圖的計數有誤。對應樹保持完整。指令碼會建立修復後的副本並加以檢查。輸入 YES 後,指令碼會將副本寫入儲存池。

  • damaged superblock

    主要超級區塊已損毀,且有有效的備份副本。輸入 YES 後,指令碼會從最新的有效副本還原超級區塊。

  • mapping tree errors

    磁碟區區塊對應樹的部分內容已損毀。儲存池會使用修復後的副本進行唯讀測試掛載。請在指令碼寫入副本前檢查您的資料。寫入後,讀取已捨棄範圍內的區塊會得到空白資料。

修復作業在寫入原始中繼資料前,指令碼會先儲存其中繼資料映像,再與裝置比對以驗證映像。測試在區塊對應受損的磁碟區上使用 600 個大小為 4 MiB 的檔案。修復後有 534 個檔案保持完整。另有 66 個檔案因資料位於捨棄的範圍內而發生變化。

=== QNAP pool repair 1.7 | TBS-h574TX | kernel 6.6.129-qnap | NAS-DEMO =======
 Pool: vg1/tp1   metadata: tp1_tmeta (65536 MiB)   scratch LV: lv544
 RAID: md1 raid1 [2/2] OK
 Work directory: /share/external/DEV3302_1/pool-recovery-..-tp1-20261120-132957
 Diagnosis: -   Tool: (detected at diagnosis)
 Stage: start   Path: -
 Steps: 1 Diag -- | 2 Offline next | 3 Backup -- | 4 Repair -- | 5 Start --
------------------------------------------------------------------------------
 [Enter] recommended step: 2) Offline
  a) Automatic run: the remaining steps; stops for decisions and before a write
  1) Status and diagnosis (thin_check, read-only)
  2) Prepare: stop the services, unmount, deactivate the VG
  3) Backup: LVM configuration + metadata image
  4) Repair the metadata
  5) Bring the pool and the volumes up
  6) Tools (tp_collect, undo the LVM swap, restore the backup...)
  7) Logs and history (command history, pager, before/after diff, report)