Varför vi inte bryr oss om galax s7 riktmärken

Har du hört den om killen som blev upphetsad över den otestade processorens benchmarkprestanda i en okontrollerad miljö som är på väg mot en tillkännagivande telefon som inte kunde vara redo för produktion och officiell testning ännu? Det är en riktig knälapper, du kommer att älska det.

Det är den tiden på året, när vi börjar få det stadiga sminket med information om telefoner som vi kommer att höra om i en officiell kapacitet under nästa månad eller två. Av uppenbara skäl är Samsung Galaxy S7 högt på listan över saker som folk vill höra mer om. Det leder till en hel del obekräftade rapporter, suddiga kamläckor och vridning av händerna om vad allt betyder. Framför allt vi har riktmärken, den mest värdelösa informationen vi kunde få om outlöst hårdvara med helt nya processorer.

Sanningen är de flesta smartphone-riktmärken är meningslösa, men tidigt oavslutade och inofficiella riktmärken är dubbelt så. Här är en snabb titt på varför.

Vi är inte nära att se färdiga produkter än

Eventuella riktmärken vi kommer att se dyka upp de närmaste veckorna kommer från två platser. Vi ser antingen de Samsung-tillverkade Snapdragon 820-utvecklarbrädorna eller oavslutade prototyper av Samsung Galaxy S7. Ingen av dessa kommer att ge dig någonstans nära de resultat du får köra benchmarking-apparna på din detaljhandeln när det är dags att köpa telefonen. Dessa referensnummer för pre-release har aldrig matchat resultaten från release-enheter, och de kommer aldrig att göra det.

Vanligt och enkelt, dessa resultat säger ingenting.

Utvecklarbrädor behöver ofta inte redovisa för att de har batteriström eller behöver vara medvetna om saker som temperatur. Dessa kit är byggda för utvecklare för att snabbt optimera sin programvara för de nya bearbetningsarkitekturerna eller underliggande programverktyg som Qualcomm erbjuder i år för saker som bättre bildhantering i kameror eller bättre ljudstöd. Benchmarks på utvecklartavlan ger dig inte riktigt en bred uppfattning om vad dessa chips är kapabla för, eftersom ofta gånger OS som körs på dem inte är särskilt väl optimerad till att börja med. Vanligt och enkelt, dessa resultat säger ingenting.

Förproduktionsenheter indikerar inte heller den verkliga upplevelsen. Dessa versioner av telefoner kör ofta oavslutad programvara, eller saknas uppblåsta appar som säkerhetsprogramvara som saktar ner telefoner bara genom att köra i bakgrunden. Prototyperna är ofta närmare verkligheten än dev-kit, men ändå tillräckligt långt borta från den verkliga världsupplevelsen som de inte är värda att ta på allvar.

Kort sagt, tills vi ser siffror på detaljhandelsenheter, säg bara nej.

Benchmarks manipuleras ofta ändå

Under de senaste åren har vi sett rapport efter rapport från tillverkare av riktmärke-apper för tillverkare som blir lite skuggiga med hur deras telefoner interagerar med dessa prestationsbedömningsappar. Vi har sett en speciell kod som ökar processorklockhastigheten endast när ett riktmärke körs, vilket leder till nummer som inte är någonstans nära den verkliga världsupplevelsen för dessa telefoner. Samsung är ingen ängel här - och detsamma gäller för andra - det hände vid mer än ett tillfälle och av vilken anledning många användare inte verkar bry sig.

Varför bli glada över riktmärken när det finns upprepade fall där tillverkare skriver kod för att öka antalet på ett sätt som inte återspeglar den verkliga användningen på dessa telefoner? Vi vet alla att anledningen till att de flesta användare använder riktmärken är att tävla med andra telefoner där ute som om deras telefoner är i någon slags konstig digital starkman-tävling, men vad är poängen när informationen inte är verklig?

Allt som verkligen är viktigt är hur telefonen - oavsett om det är Galaxy S7 eller något annat - presterar när den är i din hand och gör de saker du vill att den ska göra, och om benchmarking-appar inte kan mäta detta exakt eftersom tillverkarna fudderar resultat då behöver vi bättre sätt att mäta prestanda i den verkliga världen.

Programvaran du installerar när du använder telefonen är viktig

Att se riktmärken som någon annan publicerar från sin Galaxy S7, även om det är en detaljhandelsversion och även om det inte finns någon mjukvara för att fudge resultat, kommer fortfarande inte att säga exakt hur upplevelsen kommer att bli när du har flyttat in till din egen Galaxy S7. En telefon som är fräsch ut ur rutan med inget annat än aktieapparna kommer att fungera annorlunda när du har laddat alla dina appar och börjat använda dem. App-cache, körningsprocesser och till och med åtkomst till data från extern lagring kommer alla att påverka telefonens totala prestanda.

Benchmarks visar hur saker kommer att se ut när du försöker pressa telefonen till dess gränser.

Det här betyder inte att riktmärken under tillräckligt många förhållanden är helt värdelösa, det betyder bara att du fortfarande inte riktigt ser hela bilden. Och det kommer du inte, eftersom det verkligen inte finns något sätt för riktmärken att ge dig en god uppfattning om hur din telefon kommer att bete sig när den är i din hand och används av dig. Vad du får från riktmärken, när de kommer från detaljhandelsenheter utan mjukvara för prestandaförändring, är en oskarp blick på taket för potentiell prestanda. Du kan se hur saker kommer att se ut när du försöker pressa telefonen till dess gränser, vilket bara kommer att hända med resurskrävande spel eller ha kul med kamerainställningarna. Du får inte riktigt känsla för mycket av något annat.

Inget av detta är att säga att du inte borde bli upphetsad över Samsung Galaxy S7. Vi såg mycket imponerande saker från Samsung under det senaste året, och om rykten om tre telefoner på väg till världen med detta varumärke på en gång visar sig vara sant kommer det att bli ännu mer anledning att uppmärksamma hur dessa telefoner prestera så att du bäst kan avgöra vilken upplevelse som är den för dig. Vad det betyder är att riktmärken inte kommer att erbjuda dig den information du vill ha på något pålitligt sätt, och det bästa du kan göra just nu är att vänta på att dessa telefoner börjar komma till människor som kan visa dig hur dessa telefoner beter sig i den verkliga världen.