Řešení problémů s výkonem NAS: rychlosti čtení a zápisu, krok za krokem

Pomalé čtení a zápis na NAS mohou mít mnoho příčin: paměť, která poškozuje data nebo způsobí zaseknutí zařízení, selhávající disk, špatný kabel nebo backplane, protokol, fragmentovaný nebo téměř plný svazek, případně síť. Tento návod je prověřuje v tomto pořadí, od hardwaru výš, pomocí nástrojů StorageDiag Workbench & Utilities.

Workbench má dvě pracovní plochy. Utilities pracuje na NAS, na kterém je nainstalován: DriveTime Analyzer, NetScope, MemHound a živé protokoly (live logs). Workbench čte diagnostický balíček (bundle): protokol jádra (kernel log) a Dr. Trace prozkoumá protokoly v daném balíčku. Přepínat mezi nimi můžete v nabídce Start (v pruhu s nápisem Workbench | Utilities); stránka se poté znovu načte.

1. PaměťMemHound, dříve než cokoliv jiného
2. Protokoly a SMARTchyby spojení, zdraví disku, HCL
3. SMB nebo iSCSIjeden protokol nebo oba
4. Skenování a mapa diskůDriveTime: rychlost, uspořádání, plnost
5. SíťNetScope a iperf3

01Fáze 1: paměť

Nejprve vylučte nestabilní hardware. Vadný paměťový modul může poškodit data, která přenáší, způsobit propady rychlosti, které se nedají nijak jinak vysvětlit, nebo zaseknout celé zařízení. Otestujte RAM, jak popisuje první článek: Jak správně otestovat RAM na serverech QNAP pomocí MemHound. Funkce Benchmark and Quality v MemHound navíc měří propustnost paměti vůči hodnotě JEDEC osazených modulů (sekce 04 téhož článku). Specifikům paměti v NAS (kombinování různých modulů, dual channel, ECC, a proč mohou OOM chyby nastat i tehdy, kdy se paměť jeví jako volná) se věnuje sekce 05 daného článku: RAM v NAS.

02Fáze 2, krok 1: protokol jádra, SMART a HCL

Protokol jádra (kernel log) a Dr. Trace

1. Na samotném NAS přepněte na Utilities a otevřete Kernel Log · LIVE nebo Dr. Trace · LIVE (nabídka Start, Live logs). Pokud jde o verdikt a analýzu protokolu, živé okno Dr. Trace vám řekne, co dělat: Run Audit, then switch to the Workbench desk. Pokud máte k dispozici protokoly zaslané zákazníkem, nahrajte jeho diagnostický ZIP na plochu Workbench (Upload Diagnostic ZIP) a otevřete Kernel Log (dmesg) a Dr. Trace (Diagnosis).
2. V protokolu jádra přepněte vyhledávání na regulární výrazy (regex, abc / .*) a hledejte řádky značící selhávající spojení: hard resetting link|10B8B|SError|giving up|link is slow|exception Emask.
3. Přečtěte si, jak je Workbench označuje. Označuje restarty linky libata (hard resetting link, link is slow), port, který jádro vzdalo (reset failed, giving up), chyby signálu a SATA PHY (10B8B, Dispar, PHYRdyChg), vypnutí NCQ po uplynutí časového limitu (timeout), a SATA spojení běžící na snížené rychlosti.
4. Otevřete v Dr. Trace příslušný incident. Nástroj shromažďuje opakování jedné chyby (včetně disku, který se odpojí a znovu připojí) do jednoho incidentu, a pravděpodobnou příčinu rozdělí mezi disk, kabel, backplane a expandér.

SMART, HCL a třída disku

1. Přímo na NAS spusťte DriveTime Analyzer (Utilities). Záložka Health uchovává hodinovou historii SMART/FARM pro každý z disků a převádí ji na verdikty Critical, Warning a Info; seznam disků vlevo (fleet list) označí každý disk barevnou tečkou.
2. Vyberte disk a klikněte na View SMART. V okně SMART se vypíše každý atribut (Current, Worst, Threshold, Raw value) spolu s celkovým hodnocením disku: OK, WARNING nebo CRITICAL.
3. Přečtěte si dva štítky na kartě disku. Štítek HCL porovná disk se seznamem kompatibility od QNAP pro konkrétní model NAS: HCL ✓ znamená, že se na něm disk nachází, HCL ✗ signalizuje, že pro daný model v seznamu chybí, HCL — znamená, že disk není na seznamu pro žádný NAS. Štítek s třídou disku může mít hodnoty Desktop, NAS, Enterprise, Surveillance, Archive nebo Blacklist; běžný disk do PC ponese označení Consumer drive — not recommended for 24/7 NAS use (spotřebitelský disk – nedoporučuje se pro nepřetržitý provoz v NAS).

Třída disku hraje důležitou roli nejen z pohledu rychlosti, ale i životnosti. Spotřebitelská SSD (consumer SSD) totiž často zapisují rychle pouze do doby, než se jim zaplní cache, a následně se jejich rychlost pod trvalou zátěží strmě propadne. U NAS záleží víc na stabilním a plynulém čtení a zápisu, než na krátkodobém nárůstu rychlosti (burst).

03Fáze 2, krok 2: SMB nebo iSCSI

Když je hardware vyloučený, zjistěte, zda zpomalení patří k jednomu protokolu. Projevuje se jen přes SMB, jen přes iSCSI, nebo přes oba? Pokud klient umí jen iSCSI, není to důvod kontrolu vynechat: otestujte z jiného klienta i SMB, abyste hledání zúžili.

1. Pouze iSCSI, s Windows Server klientem: pomocí níže uvedených příkazů na příslušném Windows stroji vypněte funkci ODX (Offloaded Data Transfer), restartujte ho a testujte znovu. Je to nejrychlejší kontrola a nepotřebuje žádnou analýzu. Workbench dává stejnou radu, když balíček ukazuje přerušené příkazy cíle iSCSI (iSCSI target command aborts).
2. Oba protokoly: příčina leží pod protokoly. Pokračujte k diskům.

# PowerShell spustit jako správce. 0 = ODX zapnuto (výchozí), 1 = ODX vypnuto
Get-ItemProperty HKLM:\SYSTEM\CurrentControlSet\Control\FileSystem -Name FilterSupportedFeaturesMode

# Vypněte ODX a následně Windows restartujte
Set-ItemProperty HKLM:\SYSTEM\CurrentControlSet\Control\FileSystem -Name FilterSupportedFeaturesMode -Value 1

# A zpátky zapnout
Set-ItemProperty HKLM:\SYSTEM\CurrentControlSet\Control\FileSystem -Name FilterSupportedFeaturesMode -Value 0

04Fáze 2, krok 3: nástroj Disk Health Scan v DriveTime

Než sáhnete po benchmarku zvenku, jako je CrystalDiskMark, změřte disky přímo z NASu. Disk Health Scan v DriveTime zatíží disky pod svazkem a každý ohodnotí ve srovnání s ostatními (peers).

1. Otevřete DriveTime Analyzer, přejděte na záložku Speed a z nabídky v záhlaví zvolte svazek.
2. Vyberte test. Testy svazku (sekvenční a náhodné čtení a zápis, mix 50/50 nebo FULL REPORT se všemi čtyřmi fázemi a SMART) zapíšou svůj testovací soubor jen do dočasné složky na tomto svazku a potom ho smažou. Read-only disk scan čte přímo surové disky (raw), nejdřív každý zvlášť a pak všechny najednou, a nic nezapisuje.
3. Klikněte na ▶ Analyze. U každého disku sken uvede latenci (medián, p95, max), využití (utilisation), IOPS a hloubku fronty (queue depth) a označí ho OK, WATCH nebo SUSPECT.
4. Klikněte na Save report (.md). Zpráva se uloží do sdílené složky Public jako report-ioutils-storagediag-utilities-<date>-<time>.md a vedle ní soubor -trace.csv; seznam zpráv najdete v nabídce Start pod Disk reports.

Správné čtení hodnoty await

Samotná vysoká hodnota await u jednoho disku neznamená automaticky, že tento disk selhává. Await představuje dobu, po kterou požadavek čeká ve frontě a je následně obsloužen. Disk, který zpracovává větší část I/O pole než ostatní disky (peers), čeká déle, protože více pracuje. Skenování tedy posuzuje takový disk na základě doby jeho obsluhy (service time) a uvede to. Ve zprávě (reportu) níže obdržel zdravý disk vedle toho selhávajícího ve fázi náhodného čtení přesně tuto poznámku: carries 62% of the array's I/O (1.6× peer IOPS) — its await and queue are load, not a fault. Může se však stát i opak: disk s běžným await, ale přenosovou rychlostí hluboko pod úrovní ostatních, může skrývat nenápadnou mechanickou závadu. Právě z tohoto důvodu skenování „read-only“ zkoumá každý disk samostatně i všechny disky společně.

Zpráva (report) a její verdikt

Zpráva začíná verdiktem, kterému porozumíte na první pohled: OK, pokud žádný disk nevykazuje problémy, nebo WARNING / CRITICAL, označující nejslabší článek (weak link) a fázi, kde si vedl nejhůře. Následují tabulky pro jednotlivé disky, důkazy ze SMART před a po běhu testu, použité prahové hodnoty (thresholds) a záznam po sekundách (trace). Rychlost úložiště se mění s aktuálním zatížením NAS, proto skenování spusťte vícekrát a zkontrolujte, zda se případná anomálie opakuje; záznam v každé zprávě vám umožní porovnat dva běhy řádek po řádku.

05Fáze 2, krok 4: fragmentace, plnost a co disk dokáže

Pevné disky hodnot z datových listů při každodenním používání dosahují jen zřídka.

1. Fragmentace. Záložka Disk Map v aplikaci DriveTime zobrazuje uspořádání souborů na svazku či sdílené složce a také to, nakolik je pod nimi rozkouskován volný prostor. Vyberte svazek v záhlaví a klikněte na Scan: Sample provede čtení v rámci vámi nastaveného časového limitu, Full pak načte celý strom (tree). Skóre Fragmented files vyhodnotíte následovně: 0–30 značí, že fragmentace nepředstavuje problém, 31–55 označuje určitou míru fragmentace a 56 a víc silnou fragmentaci. Sken jen čte; nikdy nepřesouvá žádný blok.
2. Plnost (Fullness). Udržujte zaplnění svazku pod 80 %, živá data a snímky dohromady. Jakmile svazek překročí 80 %, okno Capacity vás varuje. V systému QuTS hero vyznačuje Disk Map hodnoty 80 % a 90 % přímo na ukazateli poolu (pool bar): jakmile překročíte hranici 80 %, systém ZFS musí vynaložit více úsilí na alokaci každého zápisu, a v důsledku toho se zpomalí zápis pro všechny sdílené složky na daném poolu.
3. Defragmentaci neprovádět. Na svazku obsahujícím snímky (snapshots) způsobí přesunutí každého bloku defragmentačním nástrojem to, že blok opětovně obsadí místo v úložišti (storage pool), dokud nevyprší platnost snímků, které v sobě mají uchován původní blok. Velikost snímků tedy naroste o to, co defragmentace přesunula. Nevyplatí se to ani kvůli spotřebovanému času, ani kvůli opotřebení disků. Aplikace Workbench z toho důvodu nemá žádné tlačítko pro defragmentaci; řešením je udržovat zaplnění svazku pod 80 %.
4. Co disk zvládne. Nejrychlejší současné pevné disky mají jmenovitou rychlost asi 280 MB/s, a to na vnějších stopách. Na vnitřních stopách nebo na fragmentovaném svazku je běžná třetina této hodnoty a při smíšeném čtení a zápisu je reálná každodenní hodnota 100 až 120 MB/s na disk. Rychlost svazku závisí na úrovni RAID, na zaplnění a fragmentaci disků a na pohybech hlav (head movements), které to stojí.

Nástroj Disk Map zobrazuje pouze aktuální rozmístění dat. Pokud chcete zjistit, zda disky stačí, pozorujte záložku Speed během spuštěné zátěže (workload) a prověřte historii každého z disků v záložce Health.

06Fáze 3: síť

Když se ukáže, že disky jsou zdravé a dostatečně rychlé, úzkým hrdlem může být síť. NetScope prověřuje spojení prostřednictvím iperf3.

1. Otevřete NetScope (Utilities), přejděte na záložku Bandwidth a klikněte na Server. Vyberte příslušné síťové rozhraní. Listener iperf3 se spustí sám (port 5201) a ukončí se, jakmile okno zavřete.
2. Na druhém NASu se spuštěným Workbench & Utilities otevřete NetScope, Bandwidth, Client, vyberte tento NAS (nebo zadejte jeho IP do pole Manual) a klikněte na Start Test. Z počítače s Windows použijte klienta NetScope pro Windows: NetScope-latest.exe, na který vede odkaz ze záhlaví NetScope.
3. Jestliže test odhalí příliš úzké pásmo, přestaňte hledat problém v úložišti NAS a zaměřte pozornost na síť: prověřte switche, kabely, síťové karty a routování.

AZákladní znalosti: disky v NAS

Ne každý disk je vhodný do NAS. Jeho třída (class) rozhoduje, zdali bude v RAID poli fungovat či jej zničí, a z jeho SMART atributů se dá vyčíst, jakou před sebou má životnost.

V poli RAID nejsou atributy 5, 197 a 198 rizikem pouze pro jeden disk: obnova (rebuild) zvýší zátěž, druhý slabý disk může selhat, obnova pak selže a celý pool je ztracen. Reagujte včas. U disků Seagate vykazují atributy 1, 7 a 195 hrubé hodnoty (raw) v milionech, což je normální; sledujte sloupce VALUE a WORST vůči THRESH, nikoliv RAW.

Obecné pravidlo. Pokud jakýkoli zápis čeká v bufferu, než se dostane na disky (write-back, SLOG, mezipaměť disku bez ochrany proti ztrátě napájení - PLP), je UPS kriticky důležitá. Pokud cache obsluhuje jen čtení, UPS se doporučuje. Zápisovou cache provozujte na chráněném typu pole (RAID 1, 5, 6 nebo 10), nikdy na Single, JBOD nebo RAID 0.

Paměť (dual channel, ECC, míchání modulů, symptomy a OOM chyby) má vlastní sekci v návodu k RAM: RAM v NAS.