Finisci l’allenamento, guardi il polso e trovi un numero molto rassicurante nella sua precisione: 427 calorie bruciate. Quattrocentoventisette, mica “più o meno un po’”. Il problema è che quella cifra può avere parecchia più fantasia di quanto lasci intendere. Un nuovo studio pubblicato su PLOS One ha confrontato quattro smartwatch molto diffusi con una misurazione da laboratorio e ha trovato errori consistenti nella stima del dispendio energetico. Con una complicazione ulteriore: l’errore aumentava all’aumentare della percentuale di grasso corporeo.
Gli autori della Florida International University hanno messo alla prova Apple Watch Series 8, Garmin Forerunner 955, Samsung Galaxy Watch 5 e Fitbit Sense 2. Apple ha mostrato lo scarto medio più piccolo; Garmin e Samsung hanno sovrastimato sistematicamente le calorie. Fitbit ha restituito risultati molto più irregolari, compresi alcuni valori talmente estremi da dover essere trattati separatamente nell’analisi. Insomma, il numeretto sul display resta utile come indicazione. Come contabilità al centesimo del nostro metabolismo, decisamente meno.
Quattro smartwatch contro una macchina che misura il respiro
Il test ha coinvolto 58 adulti ispanici tra 18 e 50 anni, con un’età media di 23 anni: 31 donne e 27 uomini. Venticinque partecipanti avevano un indice di massa corporea pari o superiore a 30. Tutti hanno affrontato una breve sessione su una cyclette reclinata: cinque minuti di riposo, dieci minuti di esercizio alternando intervalli moderati e vigorosi, poi altri cinque minuti di recupero.
Ai polsi c’erano contemporaneamente i diversi dispositivi. A misurare il consumo energetico di riferimento era invece un COSMED K5, analizzatore metabolico che rileva ossigeno consumato e anidride carbonica prodotta attraverso il respiro. È la calorimetria indiretta: decisamente meno pratica da portare al supermercato, molto più adatta a capire quanta energia sta usando davvero il corpo.
Gli smartwatch devono arrivare allo stesso risultato facendo un giro molto più lungo. Il sensore ottico sotto la cassa usa la fotopletismografia per stimare la frequenza cardiaca; accelerometri e altri sensori registrano il movimento; il software combina poi questi segnali con informazioni personali come età, sesso, altezza e peso. Il risultato finale passa attraverso algoritmi proprietari che i ricercatori, naturalmente, non possono aprire per vedere cosa succede dentro.
E qualche ingranaggio, almeno durante questo test, ha scricchiolato.
Apple sbaglia meno, Garmin e Samsung tendono ad aggiungere calorie
Dopo i controlli di qualità, erano utilizzabili 52 misurazioni per Apple, 51 per Garmin, 50 per Samsung e 44 per Fitbit. Lo scarto medio rispetto alla calorimetria è stato di circa 21,6 calorie in eccesso per Apple, 68,6 per Garmin e 56,8 per Samsung. In tutti e tre i casi la sovrastima media era statisticamente significativa, secondo i risultati pubblicati dai ricercatori.
Su un protocollo così breve, quasi 69 calorie regalate dal polso non sono esattamente spiccioli metabolici.
Fitbit merita una parentesi tutta sua. Eliminando i risultati considerati implausibili, lo scarto medio scendeva a sole 3,1 calorie e non risultava statisticamente significativo. Peccato che sette misurazioni, circa il 13% delle prove Fitbit, superassero del 450% il valore rilevato dal sistema di laboratorio. Una sessione non ha prodotto alcuna stima. Lasciando dentro anche gli outlier, il bias medio saliva a 128,6 calorie. Una media apparentemente ottima, quindi, nascondeva una dispersione tutt’altro che tranquillizzante.
Guardando l’errore percentuale assoluto, cioè quanto la stima si allontanava dal valore di riferimento senza badare alla direzione dello scarto, le mediane dei quattro dispositivi si collocavano grossomodo tra il 15 e il 25%. Nessuno dei quattro, durante questa prova, ha quindi trasformato il polso in un laboratorio metabolico.
Più saliva il grasso corporeo, più peggioravano le stime
Il risultato più interessante riguarda però chi indossava l’orologio. Nei modelli statistici, una maggiore percentuale di grasso corporeo era associata a errori più grandi in tutti e quattro i marchi, anche se l’aumento cambiava da dispositivo a dispositivo.
Gli autori indicano diverse possibili spiegazioni, senza poter stabilire quale sia responsabile del risultato. Il tessuto adiposo e il movimento dei tessuti attorno al polso possono influire sulla qualità del segnale ottico; anche gli algoritmi potrebbero essere stati sviluppati su campioni che rappresentano meno bene alcuni tipi di corpo. La loro struttura è però proprietaria, quindi attribuire l’errore a una causa precisa sarebbe andare oltre i dati disponibili.
Lo studio cercava anche un possibile effetto del colore della pelle. Non ne ha trovato uno statisticamente robusto, ma qui la cautela deve stare appiccicata al risultato: tutti i partecipanti appartenevano ai fototipi Fitzpatrick III, IV o V e soltanto quattro erano classificati nel tipo V. Gli stessi ricercatori avvertono che il campione non permette di chiudere la questione.
Non significa che lo smartwatch sia inutile
Lo studio misura una situazione molto precisa: una sola sessione, su cyclette reclinata, in laboratorio e su un campione giovane e specifico. Non sappiamo se gli stessi errori compaiano correndo, camminando, sollevando pesi o durante un’intera giornata. Inoltre la modalità allenamento degli orologi è rimasta attiva anche durante i cinque minuti iniziali di riposo e quelli finali di recupero, elemento indicato tra i limiti dagli stessi autori. I risultati non possono quindi essere trasferiti automaticamente a ogni smartwatch, attività o persona.
C’è però un precedente piuttosto ingombrante. Già nel 2017 uno studio pubblicato sul Journal of Personalized Medicine e coordinato da ricercatori della Stanford University aveva testato sette dispositivi da polso su 60 persone: la frequenza cardiaca veniva generalmente rilevata abbastanza bene, mentre la stima del dispendio energetico era molto più debole. Anche Stanford, presentando i risultati, sottolineava che perfino il dispositivo migliore mostrava allora un errore medio del 27%. Modelli e algoritmi sono cambiati parecchio da allora. Il problema delle calorie, evidentemente, non è evaporato insieme alle vecchie generazioni di smartwatch.
Jason Kostrna, autore principale del nuovo lavoro, ha sintetizzato la conseguenza pratica in modo piuttosto semplice: quel numero non va trattato come una misurazione esatta. Anche la Florida International University richiama l’attenzione soprattutto sul rischio di usarlo per decidere quanto mangiare o per costruire con precisione matematica un deficit calorico.
Lo smartwatch può continuare a raccontare se ci siamo mossi di più o di meno, seguire l’andamento degli allenamenti e restituire tendenze personali utili. Gli stessi autori riconoscono che un errore sul valore assoluto non esclude la possibilità di seguire cambiamenti relativi nel tempo. Quelle 427 calorie, però, meritano qualche decimale in meno nella nostra fiducia. Il display è preciso. Il metabolismo, purtroppo per chi ama i conti tondi, continua a essere molto meno collaborativo.