CPUhound: een CPU-benchmark voor een draaiende NAS
Eén statisch programma meet via SSH de processor van een QNAP NAS, op één thread en op alle cores. Elk resultaat krijgt een oordeel: hebben andere programma’s of warmte de getallen veranderd?
CPUhound meet de tijd van korte taken op de processor: rekenen met gehele getallen en drijvende-kommagetallen, sprongen, geheugenleesacties, controlesommen, compressie, versleuteling en vectorrekenen. Elke deeltest draait op één thread, daarna op alle cores.
Tijdens het meten legt CPUhound vast hoe lang zijn threads op de CPU wachtten, hoe ver de kloksnelheid daalde en hoe heet de CPU werd. Het oordeel zegt of de getallen alleen de CPU beschrijven.
- 3seconden na de start is een snelle meting altijd klaar
- 1,5% is het doel: een volledige run stopt als de laatste 4 rondes zo dicht bij elkaar liggen
- 5oordelen zeggen hoeveel je de getallen kunt vertrouwen
Zo verloopt een volledige run
Zonder opties vraagt het programma eerst om bevestiging en voert het daarna de volledige benchmark uit in vier stappen. Stap 2 en 3 herhalen zich tot de score niet meer verandert.
De processor uitlezen
CPUhound leest het processormodel, de cores en threads, de hoogste kloksnelheid en de instructiesets: AES, SHA, AVX2 en AVX-512 op x86, NEON en de crypto-extensies op ARM.
cpuid, HWCAP, /proc/cpuinfo, sysfsEén thread, daarna alle cores
Elke deeltest draait 0,6 s op één CPU, daarna 0,6 s op alle CPU’s tegelijk. Elke thread blijft op zijn eigen CPU.
17 s voor een ronde van 13 deeltestsRondes tot de score stabiel is
Na elke ronde berekent CPUhound de score opnieuw. De run stopt wanneer de laatste 4 rondes binnen 1,5 % overeenkomen. Hij stopt ook wanneer 5 rondes geen betere overeenkomst opleveren, of na ongeveer 5 minuten.
13 rondes in 221 s op een Core i5-1235UHet oordeel
De score is de mediaan van de laatste 4 rondes. Ernaast zegt het oordeel wat de run verstoorde, en de tabel toont elke deeltest.
CLEAN · CONTENDED · THROTTLED · UNTRUSTED
De snelle meting en de volledige run
De snelle meting leest in 3 seconden af wat de CPU kan. De volledige run meet de CPU onder belasting tot de getallen stabiel zijn.
| Snelle meting | Volledige run | |
|---|---|---|
| Deeltests | int_scalar, fp_scalar en sha256, plus sha256 met SHA-instructies als de CPU die heeft | Allemaal: 9 in gewone code en tot 5 extra met speciale instructies |
| Threads | Eén | Eén, daarna alle CPU’s |
| Tijd per deeltest | 0,3 s | 0,6 s op één thread en 0,6 s op alle CPU’s, in elke ronde |
| Duur | Hooguit 3,0 s na de start; 1,3 s op een Core i5-1235U | Tot de score stabiel is, hooguit ongeveer 5 minuten; 221 s op een Core i5-1235U |
| Prioriteit | Normaal | Realtime, tenzij je --quiesce none toevoegt |
| Score | Geen: alleen de snelheden van de deeltests | CPH-index voor één thread en voor alle cores |
| Oordeel | Altijd INDICATIVE | CLEAN, CONTENDED, THROTTLED of UNTRUSTED |
Blijft de NAS werken tijdens een volledige run?
In een volledige run geeft CPUhound zijn threads realtime prioriteit. Shares, apps en virtuele machines reageren dan traag of lopen in een time-out tot de run klaar is. Op een CPU met 4 threads of minder blijft één CPU vrij.
Voeg --quiesce none toe als de NAS moet blijven reageren. Andere programma’s kunnen dan CPU-tijd nemen, en het oordeel kan CONTENDED zijn.
CPUhound stopt niet wanneer de CPU heet wordt. De CPU vertraagt zichzelf bij zijn eigen grens. CPUhound legt de hoogste temperatuur en de kloksnelheid vast, en het oordeel is THROTTLED.
Als een run eindigt zonder op te ruimen, gebruikt de volgende run geen realtime prioriteit.
Waar het oordeel op berust
Tijdens elke fase leest CPUhound vijf waarden uit Linux. Vier daarvan hebben een grens.
Wachttijd in de run-queue
Tijd waarin een thread van CPUhound klaar was om te draaien terwijl een ander programma zijn CPU had.
Grens: Meer dan 5 % van de CPU-tijd van de thread: CONTENDED. Met realtime threads meer dan 10 %.
Onvrijwillige wisselingen
Hoe vaak het systeem de CPU van een thread van CPUhound afnam.
Grens: Geen; getoond naast de wachttijd
Steal time
CPU-tijd die een hypervisor aan andere gasten gaf, als de NAS zelf als virtuele machine draait.
Grens: Meer dan 0,5 s CPU-tijd in de run: CONTENDED
Kloksnelheid
De frequentie van elke CPU, elke 0,1 s gelezen en vergeleken met zijn eigen hoogste waarde in dezelfde fase.
Grens: Onder 90 % van die waarde: THROTTLED
Temperatuur
De heetste CPU-sensor die Linux meldt.
Grens: 95 °C of meer: THROTTLED
Een NAS met te veel ander werk en een NAS die te heet is, voelen allebei traag. De oplossingen verschillen: minder belasting, of betere koeling. Daarom noemt het oordeel wat er gebeurde.
In een volledige run kijkt het oordeel naar dezelfde 4 rondes als de score. Eén korte piek van een ander programma beslist het niet.
Wat elk oordeel betekent
Het dashboard toont het oordeel in zijn paneel Trust, met de reden op één regel. De app StorageDiag toont dezelfde oordelen.
- CLEAN
Geen grens overschreden: de wachttijd bleef onder de grens, de klok hield stand en de CPU bleef onder 95 °C.
De getallen beschrijven deze CPU. Vergelijk ze met runs van dezelfde versie van CPUhound.
- CONTENDED
Andere programma’s of een hypervisor namen meer CPU-tijd dan de grens. De getallen zijn lager dan wat de CPU kan.
Stop wat de NAS gebruikt, zoals back-ups, scrubs of virtuele machines, en voer de test opnieuw uit.
- THROTTLED
Een kloksnelheid zakte onder 90 % van zijn piek, of de CPU bereikte 95 °C. De getallen tonen wat de NAS volhoudt met zijn eigen koeling.
Als ze lager zijn dan je verwacht, controleer dan de ventilatoren, de stoffilters en de kamertemperatuur.
- UNTRUSTED
Allebei tegelijk: andere programma’s namen CPU-tijd, en de CPU werd heet of zijn kloksnelheid zakte. De getallen beschrijven niet alleen de CPU.
Stop de belasting, laat de NAS afkoelen en voer de test opnieuw uit.
- INDICATIVE
Elke snelle meting. Ook een volledige run die CLEAN zou zijn, maar waarvan de rondes nooit dichter dan 5 % bij elkaar kwamen.
Voer voor een score de volledige benchmark uit op een NAS die niets anders doet.
Exitcodes, voor scripts: 2 UNTRUSTED, 1 de run startte niet, 0 elk ander oordeel.
Waarom het resultaat een tabel is
Elke deeltest heeft zijn eigen eenheid: Mops, Mflops, MB/s of Mderef (geheugenleesacties per seconde). Eén getal zou verbergen welk deel van de CPU traag is.
Daarom is het resultaat de tabel: elke deeltest op één thread, op alle cores, en de schaling daartussen. De schaling is de snelheid op alle cores gedeeld door de snelheid op één thread maal het aantal CPU’s.
Een volledige run toont ook de CPH-index, voor één thread en voor alle cores. Die is 1000 keer het meetkundig gemiddelde van 8 deeltests, elk gedeeld door een vaste referentiesnelheid. Een CPU met de referentiesnelheden scoort 1000.
Bij een meetkundig gemiddelde verhoogt een deeltest die twee keer zo snel wordt de index met hetzelfde aandeel, welke deeltest het ook is. De deeltests met speciale instructies tellen niet mee in de index, zodat elke CPU op dezelfde code wordt beoordeeld.
- 1 501één thread
- 8 615alle 12 threads
De deeltests, gemeten
13 deeltests van een volledige run met CPUhound 0.1.1 op een QNAP NAS met een Intel Core i5-1235U: 2 performance- en 8 efficiency-cores, 12 threads. Elke balk toont hoeveel keer meer werk alle 12 threads deden dan één thread. Wijs een balk aan om te zien wat de deeltest doet.
- Gewone code, in de CPH-index
- Speciale instructies
- 12 threads
Toon de getallen als tabel
| Deeltest | Instructies | Eenheid | Eén thread | Alle cores | × | Schaling | Wat hij doet |
|---|---|---|---|---|---|---|---|
int_scalar | base | Mops | 1 233,8 | 8 401,2 | 6,8 | 57 % | Vermenigvuldigen, optellen, XOR en roteren van gehele getallen, in een keten waarin elke stap de vorige nodig heeft. |
fp_scalar | base | Mflops | 1 143,0 | 8 939,5 | 7,8 | 65 % | Vermenigvuldigen en optellen met drijvende komma, in een keten waarin elke stap de vorige nodig heeft. |
branch | base | Mops | 268,3 | 1 547,6 | 5,8 | 48 % | Willekeurige keuzes uit 8 wegen, zoals een interpreter ze maakt, zodat de CPU de sprongen niet kan voorspellen. |
ptr_chase | base | Mderef | 38,8 | 221,4 | 5,7 | 48 % | Volgt een willekeurige keten van pointers door 16 MiB, zodat de meeste leesacties de cache missen en naar het RAM gaan. |
sha256 | soft | MB/s | 348,2 | 1 981,6 | 5,7 | 47 % | SHA-256-controlesom van een blok van 64 KiB, in gewone code. |
crc32c | soft | MB/s | 1 392,2 | 11 642,5 | 8,4 | 70 % | CRC32C-controlesom van een blok van 64 KiB, in gewone code. |
lz4 | soft | MB/s | 804,6 | 3 503,9 | 4,4 | 36 % | Comprimeert 64 KiB tekst op de manier van LZ4. |
aes128ctr | soft | MB/s | 230,2 | 973,8 | 4,2 | 35 % | AES-128-versleuteling in CTR-modus van een blok van 64 KiB, in gewone code. |
vec_f32 | base | Mflops | 5 578,1 | 18 495,9 | 3,3 | 28 % | Vermenigvuldigen en optellen over 8192 drijvende-kommagetallen, met de basisvectorinstructies. |
vec_f32 | avx2 | Mflops | 13 360,8 | 36 246,3 | 2,7 | 23 % | Hetzelfde vermenigvuldigen en optellen met AVX2-instructies. |
crc32c | hw | MB/s | 10 379,0 | 73 468,7 | 7,1 | 59 % | CRC32C met de CRC32-instructie van de CPU. |
sha256 | sha-ni | MB/s | 1 948,2 | 7 149,1 | 3,7 | 31 % | SHA-256 met de SHA-instructies van de CPU (SHA-NI). |
aes128ctr | aes-ni | MB/s | 7 021,2 | 22 943,8 | 3,3 | 27 % | AES-128 met de AES-instructies van de CPU (AES-NI). |
Speciale instructies
Veel CPU’s hebben instructies voor controlesommen, versleuteling en vectorrekenen. CPUhound voert deze deeltests twee keer uit, in gewone code en met de instructie, en toont beide.
aes128ctr230,2 → 7 021,2 MB/scrc32c1 392,2 → 10 379,0 MB/ssha256348,2 → 1 948,2 MB/svec_f325 578,1 → 13 360,8 Mflops
Hoe een volledige run stabiel wordt
De CPH-index op alle cores na elke ronde van de schone volledige run. Vanaf ronde 4 vergelijkt CPUhound de laatste 4 rondes. In ronde 13 kwamen ze binnen 1,1 % overeen, en de run stopte.
Toon de getallen als tabel
| Ronde | CPH | verschil tussen de laatste 4 rondes |
|---|---|---|
| 1 | 9 690 | – |
| 2 | 9 489 | – |
| 3 | 10 288 | – |
| 4 | 8 726 | 16,3 % |
| 5 | 8 390 | 20,8 % |
| 6 | 9 014 | 21,4 % |
| 7 | 8 885 | 7,1 % |
| 8 | 8 642 | 7,1 % |
| 9 | 8 877 | 4,2 % |
| 10 | 8 595 | 3,3 % |
| 11 | 8 636 | 3,3 % |
| 12 | 8 569 | 3,6 % |
| 13 | 8 666 | 1,1 % |
Twee runs, opgenomen
CPUhound 0.1.1 op dezelfde NAS, in een terminal van 120 bij 32 tekens. De snelle meting eindigt na 1,3 s met INDICATIVE. De volledige run is de tweede run hierboven, 10 keer sneller afgespeeld: hij eindigt na 290 s met THROTTLED.
◆ CPUHOUND · CPU BENCHMARK 12th Gen Intel(R) Core(TM) i5-1235U · 10C/12T hybrid · PROBE 3 s 00:00:01 ╭ Machine ─────────────────────────────╮ ╭ Subtests ───────────────────────────────────────────────────────────────────╮│ 12th Gen Intel(R) Core(TM) i5-1235U │ │ SUBTEST ISA ST MT SCALING WAIT ││ Cores 2P+8E cores, 12 threads │ │ int_scalar base 1297.9 – single-thread only 0.0% ││ Clock 4400 MHz max │ │ fp_scalar base 1144.5 – single-thread only 0.0% ││ SSE4.2 AVX AVX2 AVX-512 │ │ sha256 soft 390.7 – single-thread only 0.0% ││ SHA-NI AES-NI │ │ sha256 sha-ni 2008.7 – single-thread only 0.0% ││ │ │ │╰──────────────────────────────────────╯ │ │╭ CPH index ───────────────────────────╮ │ ││ single-thread all cores │ │ ││ - - │ │ ││ │ │ ││ A probe has no index rounds. │ │ ││ │ │ ││ │ │ ││ │ │ │╰──────────────────────────────────────╯ │ │╭ Trust ───────────────────────────────╮ │ ││ ◆ INDICATIVE │ │ ││ Thermal 85 °C, clock x1.00 │ │ ││ runqueue wait 0.00%, freq stable, │ │ ││ thermal max 85.0°C [probe: 3s │ │ ││ capability reading, not a benchmark] │ │ ││ │ │ ││ │ │ ││ │ │ ││ │ │ ││ │ │ │╰──────────────────────────────────────╯ ╰─────────────────────────────────────────────────────────────────────────────╯ INDICATIVE · 4 subtests in 1.3 s q quit t 16 colours
Via SSH uitvoeren
Meld je via SSH als beheerder aan op de NAS en voer deze commando’s uit. Ze downloaden het programma voor de processor van jouw NAS.
# op de NAS, via SSH a=$(uname -m) # uname meldt armv7l; het programma heet armhf (oudere ARM: armel) [ "$a" = armv7l ] && a=armhf wget https://qnaputilities.com/pub/cpuhound/bin/cpuhound-cli-$a chmod +x cpuhound-cli-$a ./cpuhound-cli-$a --ui2
Het programma vraagt om bevestiging vóór de volledige run. Druk op q om een run eerder te stoppen; het resultaat verschijnt toch. t wisselt tussen 256 en 16 kleuren. CPUhound installeert niets. Om het te verwijderen, wis je het bestand.
Veelgebruikte commando’s
./cpuhound-cli-$a --ui2- Vraagt om bevestiging en voert daarna de volledige benchmark uit in het dashboard.
./cpuhound-cli-$a --probe --ui2- De snelle meting: die eindigt 3 seconden na de start.
./cpuhound-cli-$a --ui2 --yes- De volledige benchmark zonder de vraag.
./cpuhound-cli-$a --ui2 --quiesce none- De volledige benchmark met normale prioriteit. De NAS blijft reageren, en het oordeel kan CONTENDED zijn.
./cpuhound-cli-$a --ui2 --cpus 0-3- Meet alleen CPU 0 tot en met 3.
./cpuhound-cli-$a --ui2 --subtests int_scalar,sha256- Voert alleen de genoemde deeltests uit.
./cpuhound-cli-$a --yes --json- De volledige benchmark zonder dashboard: één JSON-object per regel, voor scripts.
./cpuhound-cli-$a --ui- Het dashboard in 16 kleuren, voor een terminal zonder 256 kleuren.
./cpuhound-cli-$a --help- Toont alle opties.
Downloaden
Het programma voor x86_64, aarch64, armhf en armel. Elk bestand is het hele programma.
Grenzen
- Een snelle meting meet één thread gedurende ongeveer een seconde. Ze toont wat de CPU kan, niet wat hij onder belasting volhoudt.
- Een volledige run met realtime threads vertraagt de NAS tot ongeveer 5 minuten lang. Start hem wanneer niemand de NAS gebruikt, of voeg
--quiesce nonetoe. - CPUhound meet snelheid. Het zoekt geen fouten in de CPU of het RAM. Gebruik MemHound voor het RAM.
- De snelheden op één thread komen alleen van CPU 0.
- Vergelijk getallen alleen tussen runs van dezelfde versie van CPUhound. De getallen hangen af van hoe het programma gecompileerd is.
- Als Linux geen temperatuursensor voor de CPU meldt, ziet het oordeel alleen de kloksnelheid.