Waarom bevindingen van lage ernst meer zeggen over uw audit dan kritieke bugs Veel auditbedrijven richten hun verkoopargument op het aantal gevonden hoge bevindingen, alsof dit aantal niet gewoon ruis is zonder context: eerdere audits, peer reviews, testdekking, codecomplexiteit, aantal regels en vele andere metrics. Het is de laagste vorm van verkooptechniek, niet anders dan het vergelijken van bijvoorbeeld de kwaliteit van USB-sticks aan de hand van hun lengte in millimeters. Om een alternatief te tonen, moeten we eerst de juistheid van verschillende ondersteunende claims bevestigen: - De kans op onopzettelijke buginjectie heeft geen bias naar hogere impact (ontwikkelaars zijn niet roekelozer in code met hoge inzet, meestal het tegenovergestelde). - Dezelfde uitgebreide methodologieën die worden gebruikt om fouten van verschillende ernstniveaus te ontdekken, zouden ook hoge ernstproblemen ontdekken (het tegenovergestelde geldt niet). - Er zijn veel hogere vereisten voor een willekeurige bug om als hoge ernst te kwalificeren (vaak zou het achter onbereikbare voorwaarden moeten zitten, of niet-kritische functionaliteit raken). - Uit de basisstatistiek: een hogere steekproeffrequentie correleert met een lagere verwachte afwijking/variantie en dus een nauwkeurigere meting. Laten we een auditrapport definiëren als het resultaat van het bemonsteren van de kwaliteit van een codebase. We concluderen dat het verwachte werkelijke (geen missers) aantal hoge bevindingen veel lager is dan lage bevindingen, en de verwachte afwijking daaromheen veel hoger is (vanwege de kleinere steekproef). Met andere woorden, het aantal hoge bevindingen zegt ons heel weinig over het aantal gemiste hoge bevindingen. Dus verrassend genoeg is een rapport van 1 hoge, 10 lage bevindingen geruststellender dan een rapport van 10 hoge, 1 lage bevinding, alles gelijk. Hoewel in feite de overgrote meerderheid van de verkopers de laatste zou verkiezen als een indicatie van kwaliteit. Het punt is dat een hoge-frequentiemetric een beter hulpmiddel is om lage-frequentie-uitkomsten te meten. Web3-bouwers, de volgende keer dat bedrijven u hun Crit/Hoge tellingen en X miljarden $ beveiligde lijn voorhouden, weet u waar u zich moet concentreren om naar het ware signaal te zoeken. Web3-auditors, erken dat er geen consistente geheime formule is om alle hoge bevindingen te vinden zonder ook naar de lage te zoeken - elke lage die niet volledig is onderzocht is een potentiële hoge - en geef uw beste aandacht aan elke enkele regel. Uw klant zal u dankbaar zijn.