Jak správně otestovat RAM na serverech QNAP pomocí MemHound

Testování RAM v běžícím operačním systému (userspace) je inženýrskou výzvou. Operační systém, virtualizační a cachovací služby (především ZFS ARC) neustále rezervují adresní prostor a blokují k němu přístup.

MemHound, okno Memory Doctor ve StorageDiag Workbench, postupuje po eskalačním žebříčku: Quick → Standard → Deep → Hammer → Boot. Zamkne všechnu volnou RAM, kterou si smí vzít, kromě rezervy 256 MB, zapíše do ní testovací vzory a přečte je zpět. Každý blok drží až do konce průchodu, takže jádro musí předat každou volnou stránku. Níže je popsáno, jak zkontrolovat stabilitu paměti pro vaši konfiguraci a souborový systém.

1. Quickrychlý průchod, NAS dále obsluhuje požadavky
2. Standardposuvné inverze (moving inversions), NAS dále obsluhuje požadavky
3. Deepzastaví služby, uvolní ARC
4. Hammerrow-hammer na každém jádře
5. Bootflash disk, mimo systém NAS

01Denní diagnostika na QTS (ext4)

S tradičním souborovým systémem (ext4) si QTS pro sebe nerezervuje velké množství RAM, což usnadňuje spolehlivý test z běžícího systému. Závady paměti se často projevují v uživatelském prostoru, díky čemuž jsou pravidelné rychlé testy efektivní.

1. Vypněte nekritické síťové služby (Samba, NFS, AFP).
2. Zastavte aplikace náročné na zdroje v App Center (stolní stanice HDMI, kontejnery, virtuální stroje) a ponechte běžet pouze StorageDiag. Nechte v prohlížeči pouze jednu záložku NAS.
3. S uvolněnými mezipamětmi a zastavenými službami je pro test volná většina fyzické RAM. Karta Quick je označena štítkem DAILY, pokud je volno alespoň 90 % paměti RAM.
4. Spusťte test Quick. Je rychlý, protože po kontrole adres spouští dva vzory a přeskakuje proplachování mezipaměti po řádcích, které používá Standard. Nastavte 1 až 3 průchody (pole Passes přijímá hodnoty od 1 do 16 a začíná na 1). Pokud paměť, do které se dostane, má hardwarovou závadu, test ji najde téměř okamžitě.

02Diagnostika na QuTS hero (ZFS)

Souborový systém ZFS využívá ARC (Adaptive Replacement Cache), který dokáže zabrat většinu dostupné paměti RAM. Běžný test Quick v tomto případě pokryje jen zlomek paměti.

1. Místo Quick vyberte test Deep.
2. Jakmile akci potvrdíte (Stop services & test), MemHound zastaví služby NAS a aplikace z App Center (webový panel běží dál), propláchne ZFS ARC a vyprázdní mezipaměti jádra. To uvolní většinu fyzické paměti pro test: na 128 GB modelu TS-1288X se dostupná paměť zvýšila z 96,6 GB na 116,9 GB.
3. Pracovní postup: Nejprve proběhne test Quick na uvolněné RAM. Pokud odhalí chyby, procedura končí předčasně a šetří tak čas. Pokud žádné nenajde, nástroj pokračuje testem Standard.
4. Odstávka: Služby zůstanou zastavené během ukončování i po celou dobu běhu obou testů, a test Standard na velkém množství RAM může trvat celé hodiny. Samy se obnoví po skončení testu, při jeho zrušení, při náhlém selhání testovacího procesu a nejpozději do dvou hodin od startu. Pokud už jen samotné zastavování služeb trvá déle než 30 minut, test se přeruší a vše se uvede do původního stavu.

03Absolutní testování (Režim Rescue / offline)

Když protokol jádra (klog) ukazuje na nestabilní paměť (spontánní segfaulty napříč programy, call traces, chyby typu Machine Check nebo EDAC), ale testy v běžícím systému (Quick, Deep) skončí výsledkem PASS, přejděte do izolovaného prostředí. Tento způsob zcela obchází operační systém NAS.

Varianta A: bootovací flash disk (doporučeno)

Tento flash disk je navržen tak, aby celý test proběhl zcela sám, a to i na zařízeních, ke kterým nepřipojíte monitor s klávesnicí. Není potřeba stisknout jedinou klávesu. Po zapsání bootovacího záznamu se flash disk stane výchozím zařízením pro další restart, test se sám rozběhne a svůj průběh reportuje na síťovou adresu samotného NAS, odkud ho okno MemHound čte. Při výsledku PASS se NAS sám zrestartuje zpět do QTS a okno zobrazí závěrečný verdikt; v případě nalezení vady na paměti test NAS natvrdo vypne (viz níže). Monitor s klávesnicí budete potřebovat pouze v případě, že firmware NAS odmítne přidat bootovací záznam a vy musíte flash disk spustit ručně z bootovacího menu zařízení.

1. V okně aplikace MemHound klikněte na Create bootable USB v záhlaví.
2. Zasuňte libovolný USB flash disk větší než 192 MB do portu USB na NASu QNAP. Všechna data na něm se smažou, jeho aktuální formát nehraje roli.
3. Klikněte na Update the image, jakmile vám průvodce nabídne novější verzi (nebo Download the image poprvé) a pokračujte dle pokynů: Continue, napište název zařízení, Erase and write, Add the boot entry.
4. Restartujte server z připraveného diagnostického flash disku (Restart now and test). Jakmile NAS znovu naběhne, okno zobrazí verdikt.

Když test při bootování nejde podle plánu

• NAS nespustí test z flash disku. Funkce Add the boot entry uloží jeden soubor, grub/custom.cfg, do vlastního bootovacího oddílu NAS. Při spuštění bootloader NAS (GRUB) hledá svazek s označením MEMHOUND, a jakmile ho najde, spustí ho. GRUB vidí USB flash disk pouze přes vlastní podporu USB od firmwaru, takže NAS běžným způsobem spustí QTS, pokud firmware nepředloží flash disk při spuštění (některé levné nebo nekvalitní flash disky to neudělají), pokud je ve firmwaru vypnuto bootování z USB, nebo z důvodu, který firmware nezobrazuje. Zkuste jiný flash disk, USB port na zadní straně, nebo spusťte flash disk z bootovacího menu zařízení (F11, nebo klávesa, kterou tento model používá při spuštění). Průvodce zobrazí zprávu This firmware cannot be given a boot entry, když bootloader soubor vůbec nepřečte, a The boot entry here is an old one, když jej zapsala starší verze (Replace the boot entry). Flash disk, jehož test již proběhl, nebude znovu spuštěn: chcete-li test zopakovat, zapište ho znovu přes Create bootable USB.
• NAS se sám vypnul a už nenaběhl. Přesně tohle test udělá, když najde závadu v paměti: záměrně NAS vypne, aby nedošlo k žádnému zápisu na disky při takovém stavu paměti, a restart už neprovede. Úspěšný test (PASS) naproti tomu NAS restartuje zpět do QTS. NAS, který se během bootovacího testu sám vypnul a zůstal vypnutý, tudíž ukazuje na chybu paměti. Podrobnosti najdete přímo na flash disku (FAT32, jmenovka MEMHOUND): soubory /memhound/report-<time>.txt a map-<time>.json si můžete přečíst na libovolném počítači, nebo vložte flash disk do zdravého NAS se spuštěným StorageDiag Workbench a otevřete aplikaci MemHound, která z něj data sama načte.

Varianta B: Režim Rescue (bez nakonfigurovaných disků) přes SSH

Pokud upřednostňujete práci na dálku a znáte základy příkazového řádku, tento režim poskytuje plný test bez nutnosti použití USB flash disku.

1. Přihlaste se k serveru QNAP přes SSH.
2. V textovém menu (QTS Console Management) zvolte restart serveru do režimu Rescue (bez nakonfigurovaných disků).
3. Po restartu objeví Qfinder server jako „neinicializovaný“ (uninitialized). To je v pořádku.
4. Povolte SSH v aplikaci Qfinder. Přihlaste se jako admin (v QTS 5.2 a novějších je výchozím heslem cloudové heslo; ve starších verzích jde o plnou MAC adresu velkými písmeny bez dvojteček).
5. Stáhněte a rozbalte MemHound pomocí prvního bloku příkazů níže, poté spusťte testy v textovém režimu pomocí druhého bloku.

# Stáhněte a rozbalte MemHound
arch=$(uname -m)
[ "$arch" = armv7l ] && arch=armhf
wget https://www.qnaputilities.com/pub/memhound/bin/memhound.tar.gz
tar zxvf memhound.tar.gz
chmod +x memhound-*

# Test Quick s 2 průchody (doporučený výchozí bod)
./memhound-$arch --quick --passes 2 --ui

# Test Standard (po výsledku Quick PASS a zprávě End reason : completed)
./memhound-$arch --standard --ui

Quick nejprve zkontroluje adresy, poté zapíše vzor šachovnice (checkerboard) a náhodné posuvné inverze (random moving inversion). Standard tyto dva vzory zopakuje a přidá jedenáct dalších, a to v rámci jediného běhu, přičemž udělá jeden průchod, pokud nepřidáte parametr --passes. Až se textové uživatelské rozhraní (UI) zavře, MemHound vypíše shrnutí v angličtině. Přejděte k testu Standard ve chvíli, kdy ohlásí Verdict : PASS a End reason : completed: běh zkrácený tlakem na paměť (memory pressure) stále ohlásí PASS, avšak se zprávou End reason : aborted: …. Sekce 04 vysvětluje zbývající verdikty.

04Jak číst výsledky

MemHound se rozhoduje podle pevně stanovených pravidel a tato pravidla závisejí na testu. Quick, Standard, Deep a Hammer hledají chyby v paměti, ke které se dostanou. Benchmark and Quality, popsaný níže, posuzuje celou sadu modulů (kit).

Quick, Standard, Deep a Hammer

• Tvrdé a přechodné chyby (Hard a transient). Jediné chybné čtení ještě neodsoudí modul k likvidaci. MemHound jej započítá jako přechodné (transient): v mapě jej označí jako Suspect a v textovém shrnutí uvede PASS_WITH_TRANSIENTS. Chyba se stane „tvrdou“ (hard) v případě, že další kontrola na stejné adrese ve vlastní paměti aplikace MemHound (virtuální adresa; fyzická je uvedena vedle ní jako p=) znovu selže, a to ve výchozím nastavení po dvou takových nálezech (--hard-threshold 2). Jakákoli „tvrdá“ chyba vede k verdiktu FAIL.
• Co říká okno Workbench. Jeho stavový řádek počítá oba druhy, například FAIL — 0 hard fault(s), 1 transient. Pokud nenajdete žádnou „tvrdou“ chybu, zopakujte test offline (z flash disku nebo v režimu Rescue), než svedete vinu na modul: nápověda v aplikaci nahlíží na výsledek s pouze přechodnými chybami jako na důvod k opakovanému testu offline, nikdy však jako důvod k reklamaci (RMA). V textovém shrnutí se dodává, že takové výsledky mohou ukazovat na problémy s napájením, teplem nebo příliš napjatým časováním (marginal timing).
• Čítače ECC a protokol jádra. Čítače ECC (EDAC) a události protokolu jádra se zobrazují vedle výsledku a v případě navýšení čítače se do shrnutí přidá zpráva <== HARDWARE ECC ERRORS DURING TEST. Verdikt se tím nemění, proto si je kontrolujte sami.
• Jak běh skončil. Shrnutí je zakončeno položkou End reason (Důvod ukončení): completed, stopped by user, nebo aborted: …. Běh, který neskončil zprávou completed, neotestoval vše, co měl v plánu, a to bez ohledu na to, co stojí na řádku s verdiktem.

Dobré vědět: Benchmark and Quality

Tlačítko Benchmark and Quality v záhlaví aplikace MemHound měří udržitelnou propustnost paměti (sustained bandwidth) vůči JEDEC hodnotám osazených modulů, kontroluje jitter latence a při jakékoli bitové chybě neprojde. Uvede verdikt PASS (nebo PASS-UNQUALIFIED), MARGINAL, FAIL, nebo INCONCLUSIVE a jeho pravidla jsou přísnější než u samotného hledání chyb.

• Chyby. Jedna bitová chyba, jedna neopravená ECC chyba (UE), nebo jedna kritická událost jádra zaznamenaná během testu vede k verdiktu FAIL. Mezi kritické události se řadí „machine check“ nebo „Hardware Error“, neopravená chyba paměti, selhání paměti, poškození dat, nebo kernel panic. Výskyt opravené ECC chyby (CE) omezí verdikt maximálně na hodnocení MARGINAL: modul sice funguje, ale příslušný kit nemůže získat certifikaci. Segfaulty, call traces, Oops a OOM-kills se sice zobrazí, ale verdikt nezmění.
• Spárovaný kit. Cílem testu je kvalifikovat spárovaný kit (matched kit). Test neprojde vstupní kontrolou (gate), jakmile se moduly od sebe liší (podle čísla dílu - part number, nebo podle velikosti, rychlosti, typu a přítomnosti ECC, pokud DMI ono číslo dílu nedodá), pokud jsou přítomny 3 moduly nebo lichý počet modulů převyšující 4, a dále když kanály A a B vykazují odlišné kapacity. Test sice pro informaci poběží dál, verdikt však bude FAIL a výsledek nebude ani uložen, ani sdílen. V případě, kdy DMI nereportuje vůbec nic, se tato kontrola přeskočí.
• Vytížený NAS. Pokud propustnost nedosáhne požadované hodnoty (FAIL nebo MARGINAL) nebo selže jitter latence v době, kdy je NAS vytížený (minutová zátěž, load, nad 0,6 na CPU), má málo paměti (při startu testu méně než 40 % volné paměti) nebo omezuje výkon (throttling), verdikt je INCONCLUSIVE: vinu nese stav systému, ne moduly. Test, který zastavíte vy nebo hlídač paměti (memory guard), má také verdikt INCONCLUSIVE. Bitové chyby, chyby UE, kritické události jádra, chyby vzorů, vyblednutí bitů (bit fade) a vstupní kontrola sady (kit gate) se tímto způsobem nikdy nezmírňují.

05RAM v NAS, osvědčené postupy a specifika hardwaru

Než obviníte disky nebo síť z pomalých přenosů dat, pomůže vám uvědomit si specifika operační paměti uvnitř NAS. Paměť pro NAS není totéž co paměť pro herní PC. NAS běží dnem i nocí pod stálou zátěží: systémové buffery, vyrovnávací paměť ZFS (ARC), virtuální stroje a kontejnery. To, co od paměti vyžaduje, je především stabilita a kompatibilita, nikoliv rekordní takty. Chyby také snáší hůře než klasický desktop: dlouhá doba provozu (uptime) a neustálá zátěž odhalí vzácné chyby, které by časté restarty na běžném PC skryly.

Na platformě, která ECC nepodporuje (například TS-464), žádné nastavení ECC nezapne. Paměti UDIMM jsou nebufferované; RDIMM a LRDIMM jsou registrované (registered) a ulevují řadiči, takže jeden kanál pojme více modulů s velkou kapacitou.

Mohou být tři moduly pomalejší než dva? Ano, hlavně u AMD. Paměťový řadič Ryzen snižuje garantovaný takt podle počtu modulů a ranků na kanál: DDR4 3200 s jedním modulem na kanál, 2933 se dvěma moduly single-rank, 2666 se dvěma moduly dual-rank. Více modulů dává víc kapacity a méně propustnosti; když ale úloze dochází paměť, je větší kapacita pořád lepší než nedostatek paměti a swapování.