Galaxy Note 7-riktmärken och nördar som älskar att hata dem

Trots att han har genomgått ett stort återkallande för närvarande är Galaxy Note 7 fortfarande en av de bästa telefonerna på marknaden. Och det finns något djupt i hjärtat av varje smartphone-nörd som blinkar varje gång de äger en telefon som någon med någon myndighetsmakt kallar "det bästa" och försvarar det uttalandet på ett sätt som de håller med om.

Not 7 fans hade den känslan tagits bort från dem nyligen av de smarta människorna på XDA-utvecklare. Genom en kombination av "verkliga världen" tester, riktmärken och systemövervakningsverktyg berättade XDA-författarna en berättelse om stammande prestanda som tycktes visa att denna glänsande nya telefon inte på något sätt inte förtjänade utrymmet högst upp många tekniska granskare har placerat den.

Det är en rolig läsning, särskilt om du bara förstår vad du läser. Innan du överväger att slänga din Note 7 tillbaka till butiken den kom från med den hemlagade katapulten, finns det några saker du bör veta om riktmärken och "verkliga världen" -test.

Benchmark-appar är meningslösa

Om du använder en benchmark-app för att berätta hur bra eller fruktansvärt din telefon presterar, får du ingenting någonstans nära en komplett bild. Benchmark-appar var tidigare bra för felsökning, existerande så att du kunde se om det hade skett någon form av prestandaförluster över tid eller skador på din utrustning. Idag implementerar många tillverkare specialkoder som tvingar den hårdvaran att prestera över de typiska trösklarna när en benchmark-app används, vilket oåterkalleligt ändrar resultaten. Du mäter en version av hårdvaran som telefonen annars inte ger dig åtkomst till, så du får ingenting annat än ett försök till högsta poäng när du kör benchmark-appar idag.

Om du ser en Note 7 fungera var som helst nära så smidigt som en Nexus 6P, överväg hur många fler saker som Note 7 gör.

Dessa prestandaförändringar av programvaruändringar leder till en mycket större problem. När du jämför en Galaxy Note 7 med en Moto Z Droid Edition och en Nexus 6P, jämför du tre olika upplevelser som aldrig kommer att göra samma sak samtidigt. Samsung och Lenovo har båda bakgrundsuppgifter som inte kan replikeras på Nexus 6P. Funktioner som inte kan inaktiveras för att få en 1: 1-jämförelse av programvaruprestanda. Om du ser en Note 7 fungera var som helst nära så smidigt som en Nexus 6P, överväg hur många fler saker som Note 7 gör. Ännu bättre, titta på den oerhört noggrannare Anandtech-granskningen av Note 7-prestanda när den jämför med alla andra högpresterande telefoner och se hur den regelbundet överträffar Nexus 6P.

Det finns värde i att testa för saker som tappade ramar, och att rapportera om de tappade ramarna i sammanhang är en viktig sak att göra när ditt mål är att utbilda och informera potentiella köpare. Det är svårt att säga att det var vad som hände med presentationen från XDA, med tanke på bristen på sammanhang eller korrekt jämförelse. Släpper Note 7 mer eller mindre ramar än Galaxy S7 eller S7 Edge? Kan det vara en fråga exklusiv för Snapdragon-varianten av den här modellen? Händer detta eftersom Samsungs nya Grace UI rusade ut och kunde fixas i en framtida uppdatering? Ingen av dessa frågor besvaras, eftersom målet inte var att informera.

Cherry plockning i den "verkliga världen"

Inte länge efter att XDA publicerade sina resultat försökte ett inlägg från The Verges Vlad Savov att tillämpa viss verklighet på den första Internetexplosionen. I detta Vladitorial påpekades att några av resultaten från XDA inte riktigt var fynd. Specifikt att påstå att en skillnad på 200 mil när det gäller att starta appar var ett exempel på "pinsamt resultat" är dumt och inte representativt för hur människor faktiskt använder smartphones. XDA sköt tillbaka med mer data för att försöka stärka sin position. Motargumentet, att en fördröjning på 200 ms skulle lägga till en telefon över tiden på ett sådant sätt att en Note 7-användare skulle ta tag i en Nexus 6P och bli förvånad över hur mycket snabbare den "känns" upprätthålls av GIFs som visar dessa prestationsskillnader.

Det som är fascinerande med denna demonstration är körsbärsplockningen. Samsungs programvara är långt ifrån perfekt; faktiskt, efter att ha avinstallerat 13 appar från min glänsande nya Verizon Note 7 och hittat åtta till som jag inte kan inaktivera, vill jag sönder störa mina med en hammare just nu. Sitter den telefonen bredvid min nyligen Nougat-fyllda Nexus 6P, finns det absolut aspekter av denna Note 7 som är påvisbart snabbare. Kameran startar till exempel rutinmässigt en hel sekund snabbare. Det vore inte svårt att körsbär plocka ett halvt dussin exempel, GIF dem upp och skriva något som ser ut som bevis på hur överlägsen Note 7 är Nexus 6P.

Saken är att det inte är hur verklig testning fungerar. Poängen med verklig testning, som namnet antyder, är att erbjuda prestandaexempel på hur hela telefonen fungerar som om en "genomsnittlig" användare kommer att använda telefonen. Att använda dessa data för att jämföra en upplevelse med en annan är svårt, istället för att erbjuda en 1: 1-jämförelse av programvara eftersom den fungerar som du erbjuder en 1: 1-jämförelse av upplevelsen, hur du använder telefonerna känns som. Att visa hur en delningsmeny laddas, särskilt när dessa telefoner helt klart inte är inställda på samma sätt med samma appar, passar inte riktigt den beskrivningen. Om du naturligtvis inte driver en annan berättelse.

Bättre verktyg och faktisk analys

Den verkliga bristen i allt detta är ett felaktigt antagande om att Samsungs Note 7 och Googles Nexus 6P är byggda för samma syfte. Vanligt och enkelt, det är de inte. Googles Nexus-upplevelse har utvecklats från ren Developer Kit till en demonstration av Android Open Source-projektet med en handfull extra. Samsungs telefoner har inte startat med AOSP på länge, och det finns ingen anledning för företaget att överväga en annan väg just nu.

Samsung-telefoner är Android-baserade, inte Android.

Samsung-telefoner är Android-baserade, inte Android. Som ett resultat är Samsung-telefoner optimerade på vilket sätt de anser vara viktigast. Just nu är dessa optimeringar för att leverera unika Samsung-funktioner, som Samsungs kamera, Samsung Pay och de unika S Pen-funktionerna. Android, med vilket jag menar operativsystemet, prioriterar inte dessa saker. I de senaste utgåvorna har det varit fokus på saker som batteriförbrukning när du inte använder telefonen, säkerhet hela tiden och ett konsekvent 60FPS användargränssnitt. Det är svårt att hävda att någon av dessa saker inte är viktiga, men varken Samsungs Android eller Googles Android prioriterar alla dessa saker.

Verkligen, vad detta kommer till är vad du som användarplats prioriterar. Om du vill ha den säkraste telefonen med ett snyggt, obegränsat gränssnitt, vill du förmodligen att Google och HTC kommer att meddela snart. Om du bryr dig om en fantastisk kamera och mjukvara byggd för att erbjuda dig massor av funktioner du kanske eller kanske inte använder, är Samsungs Galaxy Note 7 svårt att slå just nu. Att försöka göra anspråk på not 7 är på något sätt underpresterande eftersom den inte uppför sig som en telefon, den var inte byggd för att bete sig som är löjlig, oavsett hur du snävt försöker du lägga in berättelsen i riktmärken.