Анируд Региди

Обновление: после нашего отчета UL Benchmarks провели собственное расследование и исключен из списка Oppo Find X и Oppo F7 из списка тестов 3DMark. Это особенно тяжелый удар для Find X, поскольку телефон был указан под номером 4 в рейтинге 3DMark Slingshot.

Будете ли вы когда-нибудь доверять компании, которая лжет вам в лицо, компании, которая использует ваше невежество, чтобы обмануть вас и заставить поверить в ложь? Какой бы ни была ваша политика в отношении такого поведения, после трех недель тестирования мы можем категорически заявить, что Huawei (и суббренд Honor) и Oppo (и суббренд Realme) обманывают эталонные тесты и были в течение некоторого времени. Эти выдуманные фигуры используются для продвигать и продавать свои телефоны ,

Huawei и Oppo являются нет незнакомцев к полемике и в прошлом уже несколько раз останавливались именно для таких выходок. Обе компании не являются первыми компаниями, обманутыми Samsung а также OnePlus (неудивительно, что OnePlus, связанный с Oppo) был пойман, делая то же самое. В отличие от Huawei и Oppo, Samsung и OnePlus по крайней мере достаточно уважали свои сообщества, чтобы прекратить это делать.

Huawei, Honor, Oppo и Realme были пойманы на обмане в тестах. Изображение: Tech2 / Anirudh Regidi

Может показаться, что мы делаем большое дело из чего-то незначительного. Кто заботится о тестах, верно? Но тот факт, что эти компании готовы лгать нам, так последовательно и настойчиво, является симптомом более глубокой проблемы в структуре компании. Если они лгут об этом, о чем еще они лгут? Что еще более важно, что еще они будут лгать в будущем?

Почему мы используем тесты

Это может быть лучше всего объяснено на примере. Скажем, вы пытаетесь выбрать между Google Pixel 2 и Samsung Galaxy Note 9 , Помимо особенностей, как сравнить два? Телефоны буквально разнесены.

Pixel 2 работает на чипе Snapdragon 835 компании Qualcomm с 4 ГБ ОЗУ и 128 ГБ. Note 9 работает под управлением Samsung Exynos 9810, 6 ГБ оперативной памяти и 128 ГБ. Один из них имеет 5-дюймовый дисплей FHD +, а другой - 6,4-дюймовый QHD +.

Означает ли использование компанией Google меньшего дисплея с меньшим разрешением на Pixel 2, что позволяет увеличить время автономной работы, несмотря на использование батареи меньшего размера? Является ли новая платформа Samsung Exynos лучше, чем прошлогодний флагман Snapdragon?

Если два разных рецензента используют телефоны, их опыт может быть очень разным. Например, я провожу большую часть своего времени, слушая подкасты или читая книги в приложении Kindle . Мой коллега проводит свое время в Instagramming и Tweeting. Наш опыт в отношении производительности и времени автономной работы будет очень разным. Если бы вы спросили нас о телефонах, у нас было бы два разных описания.

Это где тесты приходят.

Прежде чем мы углубимся в это, нужно отметить одну вещь: контрольные показатели никогда не были и никогда не будут показателем реальной производительности. Однако хороший ориентир всегда будет показателем относительной эффективности.

Возьмите Note 9 и Pixel 2 снова. Глядя на наш лист тестов, я вижу, что Note 9 набрал 10 часов 42 минуты в тесте PCMark 8 на время автономной работы 2.0 и 837,9 в модуле Car Chase (на экране) в GFXBench . В тех же тестах Pixel 2 набирает 8 часов 51 минуту и ​​1135.

Так как наши тесты показали, что PCMark 8 и GFXBench являются надежным показателем для времени автономной работы и игровой производительности соответственно, я могу сразу ожидать, что Note 9 предложит примерно на 20 процентов больше времени автономной работы, чем Pixel 2, но на 35 процентов хуже игровой производительности при родное разрешение телефона .

Ни один из этих тестов не является гарантией того, что в PUBG Mobile вы увидите 12 часов автономной работы или 60 кадров в секунду , но оба результата дают мне данные для справки при вынесении рекомендаций.

Самое главное, ориентиры не предназначены для среднего человека. Если человек не понимает возможности и ограничения эталонного теста, нет смысла ссылаться на них. Что означает 4000 на GeekBench 4 ? Имеет ли значение, что у iPad Pro результаты выше, чем у 12-дюймового MacBook? Оценка 5000 лучше, чем 4000, да, но для большинства людей это просто число.

Рецензенты заботятся об этих тестах, потому что они помогают нам лучше понять ограничения телефона или устройства. Это помогает сообщать наши обзоры и помогает нам точно отрегулировать наш вердикт, что, в свою очередь, помогает нашим читателям принять разумное решение о покупке.

Тем не менее, я делал это годами. Моя работа - понять, что означают тесты. Вам, как обычному потребителю, не нужно знать или заботиться о критериях. Хорошо, если вы это сделаете, но это не должно быть необходимостью. Вам не нужно докторскую степень в аэродинамике, чтобы наслаждаться автоспортом.

Зачем обманывать?

К сожалению, некоторые недобросовестные производители смартфонов рады воспользоваться нашим невежеством, чтобы попытаться продать нам свою продукцию. Телефон, набравший 250 000 в AnTuTu, лучше, чем тот, который набрал 240 000, верно? Ты не инженер. Вы не понимаете нюансов дизайна чипсета и интеграции ОС. Все, что вы видите, это число, и вам дано понять, что «чем больше, тем лучше». Почему бы вам не взять «более быстрый» телефон?

Такие компании, как Huawei и Oppo, которых мы знаем наверняка, обманывают на эталонных тестах, рекламировали эталонные показатели при попытке продать свои телефоны. Oppo, например, хочет убедить нас в том, что его телефоны на базе MediaTek P60 (например, F7) лучше, чем его аналоги на Snapdragon 660. Теперь мы знаем, что Оппо обманывал ,

Kirin 970 от Huawei, который питает свои P20 Pro и Honor 10, выполняет вдвое меньше, чем Snapdragon 845 от Qualcomm (представлен в OnePlus 6, Poco F1). Snapdragon 845 в Oppo Find X на самом деле работает намного хуже, чем Snapdragon 845 в OnePlus 6, но, поскольку Oppo обманывает, они, кажется, работают по номиналу.

Huawei P20 Pro и Oppo Find X - прекрасные телефоны. Один устанавливает новые стандарты производительности камеры, а другой настолько хорош, что заставляет iPhone от 999 долларов выглядеть устаревшим. Их производительность в реальных условиях всегда была более чем достаточной для среднего пользователя и никогда не была основным моментом продукта.

Оценки в желтом цвете представляют фактическую производительность телефонов.

Ни одной компании не нужно было обманывать, чтобы продавать эти телефоны. Они все равно решили это сделать.

Как именно они обманывают?

Huawei а также Oppo оба заявили, что они не нацелены на тестирование приложений как таковых. Они говорят, что используют «ИИ», который интеллектуально сканирует программы и регулирует производительность в зависимости от спроса. Это явно ложно ,

Эти компании просто нацелены на эталонные приложения по имени. Если приложение называется «AnTuTu» или «3DMark» или названо в честь любого другого целевого приложения для тестирования производительности, эти телефоны автоматически переключаются в режим экстремальной производительности. В то же время, если приложение для сравнения не называется AnTuTu или 3DMark или не названо в честь какого-либо другого целевого приложения для сравнения, телефоны не переключаются в этот режим экстремальной производительности и работают нормально.

Если бы эти телефоны использовали «AI» и разумно управляли производительностью, название приложения не имело бы значения. В довершение всего, телефоны обманывают так сильно, когда мошенничество, что производительность переводится на небезопасный уровень. В некоторых случаях телефоны были такими горячими, что мы не могли их удержать. В любой другой ситуации мы бы предположили, что телефоны были повреждены и находятся на грани взрыва.

Твои глаза не обманывают тебя. Это действительно сообщаемая температура батареи 61 ° C.

Результаты: неприятный сюрприз

Мы ожидали, что Huawei / Honor и Oppo / Realme изменят тестам, и это именно то, что мы наблюдали. Однако чего мы не ожидали, так это длины, на которую эти компании пошли бы, чтобы обмануть, и полное игнорирование того, что они продемонстрировали бы для безопасности пользователя или устройства.

Скажем так, три телефона стали такими горячими, что потенциально Ожоги 1-й степени и, может быть, даже взрыв батареи ,

Если вы заинтересованы, вы найдете описание нашего тестового процесса в конце статьи. На данный момент, вот краткий обзор степени мошенничества, обнаруженного в пяти устройствах, которые были обнаружены как мошенничество:

Честь 10: повышение 92,23%

Huawei P20 Pro: 76,43% больше

Realme 1: 45,63% прироста

Realme 2: повышение на 60,86 %

Oppo Find X: повышение на 36,82%

Как вы можете видеть, Huawei / Honor так сильно нагружают свои телефоны, что почти удваивают показатели производительности. Как мы позже обнаружили, эта экстремальная производительность достигается по экстремальной цене.

Результаты других телефонов в тесте были в пределах 5 процентов от их базовых показателей. К ним относятся Samsung Galaxy Note 9, OnePlus 6, Redmi Note 5 Pro, Poco F1 и Nokia 7 Plus.

Телефоны, которые не обманывают, не показывают заметной разницы между частным приложением и общедоступным приложением.

Второй этап тестирования, который включает только мошеннические телефоны, был разработан, чтобы подчеркнуть тепловые пределы устройств. TL; Версия DR заключается в том, что телефоны нагреваются под нагрузкой, мы хотели посмотреть, насколько они нагреваются, тем более что при мошенничестве телефоны работают горячее, чем должны.

Мы запустили одни и те же тесты в 10-ти кратном цикле и отметили температуру. Во всех случаях телефоны обманули при запуске.

Насколько значительный? Как звучат 76 ° C на процессоре и 60 ° C на аккумуляторе? Мой разогнанный ПК дома не достигает 76 ° C.

При мошенничестве некоторые телефоны становятся смехотворно горячими.

Realme 1 и 2 казались недостаточно мощными, чтобы перегреваться, но они становились нестабильными под нагрузкой. Realme 2 несколько раз падал и, наконец, сдался.

Более вопиющие из читеров, Honor 10 и Oppo Find X, постоянно работали при температуре выше 60 ° C, а их батареи - при температуре выше 50 ° C. Я не могу подчеркнуть, насколько это опасно.

При 45 ° C вы можете получить ожоги первой степени на коже. При температуре 50 ° C клей, удерживающий ваш телефон, начнет таять. Это также верхний предел безопасной рабочей температуры литий-ионного аккумулятора.

Почему это важно

Huawei и Oppo, а также все, кто изменяет, но не входит в этот список:

1. Ложь о производительности своей продукции.
2. Либо с риском для устройств клиентов, либо, что еще хуже, они не знают о таких рисках.

Обман на бенчмарках не имеет ничего общего с бенчмарками, все дело в маркетинге и обмане среднего покупателя в том, чтобы купить неутешительный продукт.

Если вы не Apple, телефоны продаются за счет своих функций: «Зарядите батарею до 100 процентов за 10 минут», «Обработка искусственного интеллекта на 50 процентов быстрее», «В три раза лучшая игровая производительность».

Мы не наивны. Мы знаем, что большая часть этого является маркетингом, но нельзя отрицать, что маркетинг также оказывает влияние. Как еще ИИ превратился в модное слово?

Для кого-то совершенно понятно, что кто-то хочет чего-то самого лучшего, и мы проведем сравнение по любой метрике, которая нам доступна, независимо от того, понимаем мы ее или нет.

Воспользоваться этим невежеством и попыткой обмануть нас в покупке чего-либо - очень закулисный способ ведения бизнеса. В довершение всего, у Huawei и Oppo есть пытался выдать свои действия за «ИИ» на работе и даже раскрутить это в позитив. Это, честно говоря, оскорбительно шутливое оправдание.

Очевидно, что у этих компаний очень низкое мнение о своей клиентской базе. Я думаю, что пора мы относились к ним с таким же презрением.

Примечание редактора: 21 сентября мы представили наши результаты и часть наших данных компаниям Huawei, Honor, Oppo и Realme в ожидании ответа. Мы еще не получили ответа ни от одной из участвующих компаний. Все исходные данные испытаний были переданы в UL Benchmarks. Теперь они будут проводить независимое расследование.

Как мы тестировали

Во-первых, мы обратились к UL Benchmarks, создателям популярных инструментов для бенчмаркинга PCMark и 3DMark . Компания имела недавно сообщалось об обмане Huawei на отметках ( после отчета AnandTech ) и уже исключил все телефоны Huawei.

Тесты UL были достаточно любезны, чтобы подключить нас к закрытой версии 3DMark для использования в наших тестах. Эта частная версия приложения идентична версии 3DMark для Play Store - который любой может скачать бесплатно - во всех отношениях, кроме как по названию.

Наш план состоял в том, чтобы проверить производительность ассортимента телефонов с помощью этого частного приложения и определить, какие производители телефонов обманывают тесты.

В итоге мы остановились на списке из десяти устройств от семи разных брендов. Этот список выглядит следующим образом:

• Честь 10
• Huawei P20 Pro
• Nokia 7 Plus
• OnePlus 6
• Oppo Find X
• Pocophone Poco F1
• Realme 1
• Realme 2
• Redmi Note 5 Pro
• Samsung Galaxy Note 9

Нам также хотелось бы включить Vivo в этот список, но мы не могли заставить работать закрытую версию 3DMark на телефонах и должны были игнорировать устройства.

Подготовка телефонов: Все телефоны сначала были стерты и восстановлены до заводских настроек. После сброса мы вошли в Play Store и запустили все обновления. Все доступные на тот момент обновления ОС также были установлены.

Мы не вмешивались в какие-либо вредоносные программы, которые могли или не могли присутствовать на телефонах, поскольку мы хотели протестировать эти телефоны, так как производитель предполагал, что они будут использоваться. Все параметры управления питанием также были оставлены по умолчанию.

Обновления после установки были отключены на время тестирования.

Затем мы отключили все уведомления и автоматические обновления и зарядили телефоны до 100 процентов.

Затем телефонам давали отдыхать в течение целого часа, чтобы дать им возможность остыть до температуры холостого хода.

Затем мы установили только частную версию 3DMark и провели тесты, чтобы определить базовую производительность всех устройств. Все фоновые приложения были, конечно, удалены из памяти.

Когда мы закончили тестирование с помощью частного приложения, я установил версию приложения Play Store и повторил тесты точно таким же образом.

Тестирование производительности: первая часть теста была просто сфокусирована на сырой производительности этих телефонов. Для этого теста я выбрал модули 3DMark Slingshot и Slingshot Extreme ES 3.1. Slingshot и Slingshot Extreme - графически интенсивные тесты, которые имитируют игровую производительность.

Каждый тест проводился три раза с интервалом в 5 минут. Среднее значение трех прогонов было записано в таблице.

Тепловое регулирование. Смартфоны могут обеспечить высокую производительность в течение нескольких секунд, возможно, до минуты или более. После этого их чипсеты становятся слишком горячими, а производительность снижается до более устойчивого уровня. Такие функции, как «жидкостное охлаждение», о которых говорят такие компании, как Samsung и Xiaomi, действительно помогают продлить продолжительность этого всплеска.

Это полезно для повседневной работы, поскольку для выполнения таких задач, как съемка видео, открытие браузера и т. Д., Требуется всего несколько секунд максимальной мощности, чтобы казаться отзывчивым.

В более интенсивных задачах, таких как игры, необходимо проверять производительность при постоянной нагрузке. Чтобы смоделировать такие условия, мы запустили тесты в цикле для 10 прогонов. В отличие от тестов производительности, между каждым прогоном не было разрыва.

Мы выполнили два набора тестов, один с частным приложением и один с общедоступным приложением. Конечно, телефон был заряжен до 100 процентов и позволил остыть до температуры холостого хода, прежде чем переключать тесты.

Температурные и эксплуатационные показатели были отмечены для продолжительности прогонов. Температура батареи наблюдалась, но не отмечалась, если не было чего-то необычного.

Этот тест проводился только на телефонах, которые были обнаружены как мошенники, потому что мы хотели определить, как долго они смогут поддерживать свои экстремальные уровни производительности.

Анализ: Как только у нас были все данные, мы ввели их в электронную таблицу и начали наш анализ. В первую очередь нас интересовали сравнения с базовой производительностью, измеренной с помощью частного приложения. Где бы ни было сомнение, мы повторно запускали тесты для проверки.

В общей сложности мы провели в среднем 70 тестов на мошеннический телефон и около 20 тестов на каждый, который не был мошенническим.

Мы бы с удовольствием поделились необработанными данными со всеми, но UL Benchmarks попросили сохранить название частного приложения, ну, в общем, частного. Необработанные данные покажут название приложения.

Как упоминалось ранее, все необработанные данные были отправлены в тесты UL для анализа.

Tech2 теперь на WhatsApp. Чтобы узнать все о новейших технологиях и науке, подпишитесь на наши сервисы WhatsApp. Просто иди в Tech2.com/Whatsapp и нажмите кнопку «Подписаться».

Похожие