Under 2017, vad betyder jämförelse siffror ens ??

Uppdatering, mars 2017: Det här inlägget har uppdaterats med information om de senaste telefonerna och benchmarkteknikerna.

När det är dags för Samsung att visa oss en ny telefon, pratar om hårdvaran oundvikligen tar upp ämnet med riktmärken. Galaxy S8, Samsungs showcase-telefon för 2017, är inte annorlunda. Och som förväntat, bara genom att existera dessa nummer fick många människor prata om dem.

Siffrorna är i, men vad betyder de?

Vissa samtal om riktmärken är bara ledig prat. "Åh, cool! Snapdragon beräknar" grejer "i en benchmark-applikation om såväl som Exynos" är kul att prata om. det är en intressant konversation som leder till prat om hur en ny telefon kan uppfylla eller överträffa våra förväntningar eftersom den använder modern maskinvara för att göra coola saker. Det är därför de flesta av oss är här för att prata om saker som kör Android och hur vi kan använda dem för att berika våra liv.

Men vissa människor blir seriösa när det gäller riktvärden och anser att de är en viktig del av ett köpbeslut. Vi borde alla uppmuntra till detta eftersom det alltid är bra att ha folk upphetsade över något, men vi bör också prata om vad riktmärken verkligen betyder i det stora tingen. Ett sätt att försöka sätta saker i perspektiv är att jämföra riktmärkena för ett par nya processorer som Android-tillverkare kommer att köpa till Apples senaste.

För alla besatta över vilken CPU som är bättre för Galaxy S8. pic.twitter.com/28TTXdIDhW

- Jerry Hildenbrand (@gbhil) 17 mars 2017

Detta betyder inte att en iPhone som använder A10 automatiskt är en bättre upplevelse än en Galaxy S8 kommer att bli. Det finns så mycket mer som avgör vilket som är bättre, och majoriteten av det är användarinställningar. du gillar vad du gillar och jag gillar vad jag gillar. Siffror i en tweet kommer inte att förändra det och siffrorna betyder inte vad du kanske tror att de menar.

Hur dessa siffror kommer att bli

Benchmarks på mobiltelefoner jämför inte riktigt hårdvara, åtminstone inte som vi tror att de är. De har inte tillgång till själva hårdvaran eftersom de använder operativsystemets applikationslager. De har en tvättlista över saker de har med telefonen att göra via API: erna som exponeras av operativsystemet, sedan beräknar de hur bra den gjorde dem. Det finns ett mellanliggande skikt av ett slag att gå igenom för att komma till "hjärnorna" bakom operativsystemet, som är den del som styr hårdvaran direkt. Så en benchmark-app benchmarkar hårdvaran genom viss mjukvara.

Du kanske har hört iOS-människor prata om Metal- eller Android-människor prata om en NDK. Det här är sätt som applikationer kan gränssnitt mot hårdvaran genom det mellanliggande skiktet utan att behöva gå igenom hela programvarubunten. Lägg märke till att referensnumren för Samsungs Exynos 8895 och Qualcomms Snapdragon 835 är mycket nära varandra. De använder båda samma programvara och resultatskillnaderna mellan dem minimeras på grund av det.

Om du köper en telefon för att du vill köra riktmärken bör du förmodligen köpa en iPhone.

Apples "mellanlager" är bättre. Låt oss kasta det där precis där vi alla kan se det. Apple bygger sin egen processor med fokus på att göra vissa saker riktigt bra och bygger sedan programvara som drar nytta av det. Google måste bygga programvara som kan anpassas för att fungera med vad som helst. Det har gjort ett fantastiskt jobb och mjukvaran som driver en Android-telefon är en vacker sak som är oerhört komplicerad. Något som en benchmarking-app som använder Apples gränssnitt till hårdvaran har automatiskt en fördel jämfört med Android, oavsett vem som har byggt den, eftersom själva gränssnittet är mer strömlinjeformat och "snabbare" med iOS. Det händer eftersom hårdvaran och programvaran var designad för att fungera med varandra och inget annat.

Du benchmarkar telefonen som helhet, inte bara processorn. När det gäller att slå nummer på varje CPU-kärna gör iPhone 7 Plus det mycket bättre.

Låt oss titta på dessa kärnor i Apples A10-processor. Den saken är onekligen det bästa konsument-ARM-chipet som någonsin har utformats när det gäller råprestanda per kärna. Det beror på att hårdvaran var designad för att göra just det och programvaran var utformad för att använda den. Vi har pratat om ARM-arkitektur tidigare, och A10 är ett bra exempel på hur du kan skala ARM för att göra nästan vad du vill. Så är Qualcomm 835 och Exynos 8895, de var bara designade med olika kriterier i åtanke.

Skillnaden i jämförelseantal är inte en olycka

Vi jämför dem eftersom de alla finns i en telefon, men Apple är törstig att bygga en ARM-processor som kan driva en iPhone, en iPad och en MacBook. Qualcomm och Samsung bygger processorer för att sälja till andra företag för små mobila enheter. Qualcomm och Samsung kunde bygga en processor som utmärker sig i samma områden som A10 och skulle fungera bra för en Windows-bärbar dator. Qualcomm är faktiskt intresserad av att göra det och Snapdragon 835 är företagets första steg mot det målet.

Om några år kommer vi nu att se ett Snapdragon-chip som kan arbetas hårt nog för att köra en fullblåst bärbar dator och ändå vara tillräckligt effektiv för att kunna användas i en mobil enhet med ett litet batteri. Vi ser också fler chips som inte är lika kraftfulla, är ännu effektivare när det gäller batterianvändning och är mycket billigare. Dessa kommer att vara CPU: er som företag som tillverkar telefoner kommer att köpa.

När du tar ett verktyg som är utformat för att bara göra vissa saker i en viss ordning och se hur "snabba" de kan göras kommer A10 alltid att vinna. Det borde alltid vinna, och vi ska vilja att det alltid ska vinna. En CPU som är utformad för en 13-tums MacBook måste utföra enkelkärnberäkningar snabbare än en Exynos 8895. A10 är inte den CPU, men det är ett steg i den riktningen. Och Apple är ett teknikföretag som vi borde vilja göra riktigt coola saker för att driva teknik framåt precis som vi vill att Samsung eller Google eller Microsoft ska göra.

Qualcomm eller Samsung kan bygga en ARM-processor som är lika kraftfull som A10, men de har ingen anledning att göra det.

Det lilla snipet av en referenstavla som inte har något sammanhang som du ser ovan visar det viktigaste: Dessa nummer har liten betydelse för hur bra något som en telefon är att använda. Användarupplevelsen har lite med hårdvaran att göra eftersom hårdvaran har varit tillräckligt bra under ett tag nu. Innervärdena till en Galaxy S5 eller Nexus 7 eller Note 4 är mer än tillräckligt för att göra de saker vi förväntar oss att en telefon ska göra så länge programvaran är på väg att snus. Du behöver inte ta mitt ord om det, snubla bara över till XDA där människor som inte vill eller inte har råd att köpa något nyare har byggt anpassad programvara för var och en. Vi ber inte en telefon att göra något tillräckligt komplicerat för att behöva mer processorkraft än dessa enheter kan leverera.

Jag är övertygad om att även mobil VR skulle vara bra om företag brydde sig tillräckligt för att stödja Vulkan korrekt på sina äldre processorer. Vi kommer aldrig att veta eftersom de berörda företagen finns för att skapa nya saker och sälja dem till oss och det är där de fokuserar sin tid och sina pengar. Nya marker är inte bara utformade för att vara nya. De erbjuder alla små stegvisa ökningar i prestanda, säkerhet och effektivitet och de små ökningarna lägger till över tid. Just nu fokuserar inte Moore's Law på fyrdubbla prestanda i varje generation, utan fokuserar på att använda bättre tillverkningstekniker för att ge mer energieffektiva chips och prestandaförmåga är bara en naturlig utveckling.

Vad vi verkligen ser av dessa riktmärken

Vad vi kan ta bort från dessa riktvärderingar är att hur en CPU-kärna beräknar saker och fungerar med GPU-kärnor inte bryts. Siffror kan knasas lite snabbare med nyare hårdvara som var utformad för att vara mer energieffektiv. Hur en CPU-kärna kan knäcka ett nummer är inte längre flaskhalsen, så dessa små skillnader och ökningar kommer inte att märkas när du inte använder en benchmark-applikation. Nyare hårdvara kan vara bättre än förra året, och en processor kan vara bättre än en annan. Prestationsökningarna är verkliga, men de översätts inte till en märkbar skillnad när du använder dem och kommer inte om du hoppar över några generationer. Att gå från en Qualcomm S4 Pro till en Qualcomm 835 ger en ojämn prestanda som du kommer att märka direkt. Att gå från en Qualcomm 821 till en Qualcomm 835 går inte.

Galaxy S8 kommer att ge en användarupplevelse som är bättre än förra årets Galaxy S7. Många av oss här kommer att betrakta det som en bättre upplevelse än Apple erbjuder med iPhone 7 medan många kommer att känna det motsatta. Inget av detta beror på en jämförelsepoäng.