QNAP のストレージプールまたはボリュームが非アクティブなとき、最初に確認すること
SSH 経由の読み取り専用チェックで、どの層が原因でプールが停止したかを確認できます。対象はディスクと RAID、LVM、シンプールのメタデータ、ボリュームのファイルシステムです。
QTS を搭載した QNAP NAS のストレージは、複数の層で構成されます。ディスクで RAID アレイを構成します。LVM はそのアレイ上にシンプールを配置します。プールにはボリュームが含まれます。いずれかの層に障害が発生すると、プールまたはボリュームが停止します。
ディスクから順に、以下の手順で各層を確認してください。各手順では、コマンド、出力の意味、出力が示す層を説明します。どのコマンドも RAID、LVM、プールを変更しません。
変更を加える前に
- どの層に障害があるか分かるまでは、何も変更しないでください。ディスクを取り外したり交換したりしないでください。以下の確認手順を読むまでは、QTS や SSH 経由で修復を開始しないでください。
- ストレージの修復は元に戻せないことがあります。プールに書き込む前に、重要なデータのバックアップがあることを確認してください。
- ログとコピーは、確認対象のプールの外に保存してください。外付けディスクや別のプールのボリュームを使います。
- どの確認や修復でも、データを取り戻せる保証はありません。破損したマッピング範囲を修復しても、その範囲にあったデータは復元できません。
- このページは、LVM シンプールを使用する QTS が対象です。QuTS hero は ZFS を使用します。ここで説明する確認手順と LVM Pool Repair は適用できません。
ディスクを最下層とする四つの層
各層が動作するには、その下の層が動作している必要があります。そのため、ディスクから確認します。LVM Pool Repair も下位層からストレージを修復し、下位層に障害があると停止します。
ディスクと RAID
QTS はディスクのパーティションをまとめて md RAID アレイを構成します。データプールは、たとえば
cat /proc/mdstatmd1のようなアレイ上にあります。LVM
LVM は各アレイ、またはその上の DRBD デバイスを物理ボリューム(PV)として使用します。プールの PV は、たとえば
pvs · vgsvg1のようなボリュームグループ(VG)を構成します。シンプールのメタデータ
lvs -atp1などのシンプールは、専用のデバイスtp1_tmetaにメタデータを保存します。メタデータは、プール内の各ボリュームのすべてのブロックの対応関係を記録します。ボリュームとファイルシステム
プール内の各ボリュームは、ext4 ファイルシステムを備えたシンボリュームです。QTS がボリュームをマウントします。共有フォルダーはボリューム上にあります。
dmesg
この順序で確認
SSH 経由で admin として NAS にログインします。各手順のコマンドを実行し、出力を読みます。その層に問題が見当たらない場合にだけ、次の手順に進みます。
カーネルログを読む
カーネルログには、ディスクエラーやプールの device-mapper デバイスからのメッセージが表示されます。
dmesg | grep -iE 'device-mapper|thin|I/O error' | tail -n 12
プールを構成するディスクの I/O エラーは、ディスクの問題を示します。上位層を調べる前に、そのディスクをテストします。
RAID を確認する
/proc/mdstatは各 md アレイと、その状態およびメンバーを一覧表示します。md_checkerはデータ用のアレイと、各ディスクの状態を一覧表示します。cat /proc/mdstat md_checker
アレイに
inactiveと表示される場合は、RAID に問題があります。[4/3]は、4 台のうち一台が欠落し、アレイが縮退状態で動作していることを示します。recovery、resync、reshape、checkのいずれかが表示される場合、アレイは処理中です。LVM を確認する
pvsは物理ボリュームを、vgsはボリュームグループを、lvs -aはプールとそのボリュームを一覧表示します。pvs vgs lvs -a
pvsの Attr の三文字目にmがある場合(a-m)、LVM はその物理ボリュームを欠落として扱います。unknown deviceと表示される PV は、システム上に存在しません。lvs -aにシンプールがまったく表示されない場合、問題はメタデータより下の RAID または LVM にあります。lvs -a でプールの行を読む
プールの Attr は
tで始まります。九文字目は、LVM が報告する正常性の状態を示します。M- メタデータは読み取り専用です
F- プールに障害が発生しています
D- プールのデータ領域に空きがありません
p- 部分状態です。プールの物理ボリュームが欠落しています
ボリュームの Attr は
Vで始まります。五文字目がaなら、ボリュームはアクティブです。LVM の出力やカーネルログに次のメッセージがある場合、そのメッセージが問題のある層を示します。
Refusing activation of partial LV- 物理ボリュームが欠落しています。問題は LVM 層にあります
transaction_id- LVM が保持するプールの情報がプールのメタデータと一致しません。問題は LVM の構成にあります
Check of thin pool … failed- プールのメタデータ
too small for target- RAID アレイの容量が、その上にあるボリュームより小さい状態です。問題は RAID 層にあります
プールがオフラインの状態でメタデータを診断する
オフラインのプールで
thin_checkを実行した場合に限り、メタデータを診断できます。プールをオフラインにすると状態が変わるため、この操作は LVM Pool Repair の手順に含まれます。手順 2 でプールをオフラインにし、手順 1 でチェックを実行します。プールがまだアクティブな場合、手順 1 で読み取り専用の事前チェックを実行できます。$ pdata_tools_8192 thin_check /dev/mapper/vg1-tp1_tmeta examining superblock examining superblock backups 99 valid superblock backups, last backup_id=98 blocknr=8388509 examining devices tree examining mapping tree thin device 9 is missing mappings [1470, 1725] bad checksum in btree node (block 21996) thin device 9 is missing mappings [3285, 3540] bad checksum in btree node (block 22007) thin device 9 has unexpected number of mapped blocks expected 5730 != actual 5220 examining clone tree examining tiering tree examining tiering space maps -> exit code 1 (in: do_diag > thin_check_run)
実際の修復を見る → マウントできないボリュームのファイルシステムを確認する
lvs -aでプールと各ボリュームがアクティブと表示されても、マウントできないボリュームがある場合は、そのファイルシステムを調べます。dmesg | grep -iE 'EXT4-fs (error|warning)'
EXT4-fsのエラーは、ボリュームのファイルシステムに問題があることを示します。QTS の Check File System は、ファイルシステムをチェックして修復します。上記の確認手順を読んでから実行してください。
確認結果の意味
各カードには、確認結果、その結果が示す層、その場合の LVM Pool Repair 1.8 の動作を記載しています。
ディスクと RAID
- inactive
プールの下にある md アレイが非アクティブです。RAID に問題があります。
スクリプトは修復を開始しません。先に RAID を修復するよう表示します。
- [4/3] [UUU_]
アレイは動作していますが、メンバーが欠落しているか、再構築、再同期、構成変更、チェックのいずれかが進行中です。
スクリプトはプールに書き込む前に確認を求めます。既定の回答は「いいえ」です。再構築が進行中の場合は先に完了を待ちます。
- I/O error
カーネルログに、プールを構成するディスクの I/O エラーやメモリーエラーが記録されています。
スクリプトは書き込む前に確認を求めます。既定の回答は「いいえ」です。先に DriveTime でディスクを、MemHound で RAM をテストします。
LVM
- a-m
LVM がプールの物理ボリュームを欠落として扱うか、
unknown deviceと表示します。Refusing activation of partial LVが表示され、アクティブ化が停止します。スクリプトは停止します。問題は LVM 層にあり、プールのメタデータに起因するものではありません。
unknown deviceの場合は、RAID 層を確認するよう表示します。 - No thin pool found
lvs -aにシンプールが表示されません。問題はプールのメタデータより下の層にあります。スクリプトは停止し、RAID と LVM の読み取り専用チェックを示します。
cat /proc/mdstat、md_checker、mdadm -E /dev/sdX3、pvs、vgs、lvs -aです。
シンプールのメタデータ
- SSD cache
プールが読み書き用または書き込み専用の SSD キャッシュを使用しているか、Qtier が二つ以上のストレージ階層にデータを保存しています。
スクリプトは変更を加える前に停止し、QNAP サポートを案内します。読み取り専用の SSD キャッシュを使用している場合は、キャッシュを取り外したか、このプールで無効にしたかを先に尋ねます。
- thin_check
LVM が
Check of thin pool … failedを報告するか、thin_checkがプールのメタデータのエラーを検出します。LVM Pool Repair はこの場合に使用します。次のセクションで三種類の破損を説明します。
- metadata consistent
thin_checkはメタデータのエラーを検出しません。needs_checkフラグだけが設定されている場合、スクリプトはそのフラグを解除します。このフラグが設定されていると、メタデータが読み取り専用の状態でプールが起動します。それ以外の場合、問題はプールより上のファイルシステムか、下の RAID または LVM にあります。
シンプールのメタデータが原因の場合
LVM Pool Repair は、メニューを備えたシェルスクリプトです。SSH 経由で、QTS 上の QNAP シンプールのメタデータを修復します。診断では破損を三種類に分類し、それぞれに応じた手順で修復します。
- space map counts only
エラーはスペースマップのカウント値だけにあり、マッピングツリーは破損していません。スクリプトは修復済みのコピーを作成してチェックし、
YESと入力するとプールに書き込みます。 - damaged superblock
プライマリスーパーブロックが破損していますが、有効なバックアップコピーがあります。
YESと入力すると、スクリプトは最新の有効なコピーからスーパーブロックを復元します。 - mapping tree errors
ボリュームのブロックを対応付けるツリーの一部が破損しています。プールは修復済みのコピーを使い、読み取り専用でテストマウントします。スクリプトがコピーを書き込む前に、データを確認します。書き込み後は、削除された範囲のブロックを読み取ると空のデータが返ります。