Beta Testing Made Simple with TestFlight
TestFlight makes it easy to invite users to test your apps and App Clips and collect valuable feedback before releasing your apps on the App Store. You can invite up to 10,000 testers using just their email address or by sharing a public link.
Overview
Take advantage of TestFlight by uploading a beta build of your app or App Clip to App Store Connect. Testers will use the TestFlight app to install your app and provide feedback. TestFlight supports apps for iOS, iPadOS, macOS, tvOS, watchOS, and iMessage, as well as automatic updates to ensure that testers always test the latest available build. Up to 100 apps can be tested at a time, internally or externally, and multiple builds can be tested simultaneously. Builds remain active for 90 days after upload.
Internal testers
You can designate up to 100 members of your team who hold the Account Holder, Admin, App Manager, Developer, or Marketing role as beta testers. You can also create multiple groups and add different builds to each one, depending on which features you want each group to focus on. While you iterate on your app, each member can quickly test beta builds on up to 30 devices and access all of your beta builds available for testing.
External testers and groups
Invite up to 10,000 external testers using their email addresses or by enabling and sharing a public link, which creates an open invitation for anyone to test your app. Simply create a group of testers and add the builds you’d like them to test. You can also create multiple groups and add different builds to each one, depending on which features you want them to focus on. Before testing can begin, the first build of your app must be approved by TestFlight App Review. This build is automatically sent for review when you add it to a group.
Using email to invite testers
If you know a tester’s email address, you can email them an invitation with a link to install your app and start testing. If you have an existing set of external testers or specific people you’d like to invite to test, email can be an effective way to share beta versions of your app.
Using public links to invite testers
Public links are an effective way to connect with people who can test your app if you don’t have an established group of testers. No contact information is needed. Simply go to your app’s TestFlight page, click an existing group, and click Enable Public Link. You can then copy the link and share it on social media, messaging platforms, email campaigns, and more. Remember not to localize the TestFlight name or create TestFlight badges to promote your app.
You can also limit the number of testers that can join using the public link. If the group limit is reached, or if you disable your public link, a message will notify anyone trying to join that your beta is no longer accepting new testers. To ensure a good user experience, be thoughtful about where you share your public link and when it may be appropriate to remove it.
Test information
When sharing your app with external testers, you’ll need to let them know what to test and any other important information relevant to testing. Provide these details on your app’s Test Information page in App Store Connect. You should also provide an email address that you monitor so you can receive and respond to feedback from testers. Test information is optional when distributing your app to internal testers.
Getting feedback
With the TestFlight app for iOS, iPadOS, and macOS, testers can send feedback directly from your app simply by taking a screenshot. They can also provide additional context about an app crash immediately after it occurs. You can view this feedback by going to your app’s TestFlight page in App Store Connect, and clicking Crashes or Screenshots in the Feedback section. Feedback from testers on iOS 12 or earlier, tvOS, or watchOS will be sent to the email address you provide in Test Information.
TestFlight app
When testers are invited to beta test your app, they’re prompted to install the TestFlight app from the App Store on their iPhone, iPad, iPod touch, Mac, or Apple TV if they don’t already have it installed. The TestFlight app makes installing betas simple, and you don’t need to keep track of UDIDs or provisioning profiles.
Documentation and help
For step-by-step instructions on creating groups, inviting testers, and adding builds in TestFlight, read App Store Connect Help.
Submit
Prepare your apps and metadata for submission to the App Store.
Promote
Get marketing guidance and tools to help you promote your app on the App Store.
Contact us
Have a question or request? We can help by phone or email.
Сервисы дистрибуции мобильных приложений для iOS. Часть 1: TestFlight
С каждым годом становится всё очевиднее, что для распространения тестовых версий iOS-приложений нужны специализированные сервисы. Это актуально не только для компаний, занимающихся разработкой приложений в “промышленных масштабах”, но и для инди-разработчиков. Причины: увеличение количества устройств с “нестандартным”/”не кратным” размером экрана, отличия в архитектуре центрального и графических процессоров — всё то, что раньше было повседневностью для разработки под Android, теперь становится справедливым и для iOS.
Исторически самым популярным сервисом дистрибуции являлся TestFlight — практически идеал, как в техническом отношении, так и в юзабилити. Однако, после приобретения компанией Apple в начале 2014 года, сервис претерпел ряд неоднозначных изменений, которые с одной стороны сказались негативно на его позиции лидера, а с другой дали шанс альтернативным сервисам побороться за первое место и предложить как минимум равноценную замену, а может быть и что-то более удобное и функциональное.
В своей серии статей я собираюсь поделиться результатами сравнения нескольких сервисов дистрибуции и в результате помочь другим, кто стоит перед таким же вопросом выбора.
Система оценки: сервисы будут оценены по 10-балльной шкале по каждому из разделов (Регистрация и интеграция, Основной функционал, Дополнительный функционал, Continuous Integration). Суммарная оценка позволит определить победителя (итоговое заключение войдет в последнюю часть обзора).
TestFlight от Apple
Регистрация и интеграция
Пользователи из группы Admin обладают теми же правами, что и пользователи группы Technical, а также могут добавлять новых пользователей в список Internal Testers.
На данный момент установка или использование какого-либо специализированного SDK не требуется.
Основной функционал
Если сравнивать новую версию TestFlight с тем, что было доступно разработчикам ранее в рамках стандартных сервисов Apple, то она, в чем-то, несомненно, является шагом вперед. Так, например, количество тестеров увеличено с условных 100 до 1125 (из которых 100 — это доступные и раньше устройства для AdHoc распространения, 25 — это внутренние тестировщики (Internal Testers), а 1000 — внешние (External Testers)), причем если ранее привязка осуществлялась к устройству, то теперь уникальным идентификатором является Apple ID, а значит каждый тестер может проверить работу приложения на всех доступных ему (и, конечно, поддерживаемых приложением) устройствах.
Примечание (от 15 июня 2015): количество устройств, доступных при использовании AdHoc provision profiles с с 8 июня 2015 года было изменено со 100 суммарно, на 100 на каждое семейство устройств (изменение произошло после объявления на WWDC об объединении всех developers programs в одну).
Разница между внутренними и внешними тестировщиками заключается в дополнительном шаге, который добавляется во втором случае: тестовая версия приложения должна быть отправлена для обзора и одобрена специалистами Apple (Beta App Review). Причем первоначальный обзор будет проводиться более тщательно, а все последнующие могут проходить быстрее (но не обязательно). Это, конечно, накладывает определенные ограничения на процесс разработки и требует дополнительного планирования фаз тестирования приложения, с учетом неопределенности сроков прохождения обзора (как и в случае с обычным обзором приложений перед публикацие в AppStore, при отказе в публикации, повторная заявка рассматривается снова в порядке очереди).
Однако есть и некоторые уникальные возможности: так, например, клиент сервиса (приложение TestFlight) единственный, кто наверняка знает статус установки тестовой версии, альтернативные решения попросту не имеют возможности использовать системные функцие, позволяющие реализовать подобное.
Примечание: статус установки — смена индикации процесса установки, привычная пользователям AppStore. Когда поочередно статус меняется Get — Install — Installing — Open. В других сервисах дистрибуции эта цепочка выглядит так: Install — Installing — Install — приложения попросту не знают результат, был ли установлен тестовый дистрибутив или нет. В случае же с Apple TestFlight цепочка имеет привычный вид: Install — Installing — Open.
Иконка обновленного приложения TestFlight (правильнее будет сказать, что это абсолютно новое native приложение, разработанное в Apple). Ниже пример иконки тестовой версии приложения — оранжевая “точка” позволяет определить, что это не версия из AppStore.
“Страховка” Apple от обвинений в распространении спама.
Apple не разрешает загрузку дистрибутивов без изменения версии или номера сборки.
Достаточно лаконичная и понятная страница администрирования версий приложения для тестирования.
Письмо-приглашение для участия в тестировании, HTML-форматирование не слишком оптимизировано для мобильных платформ (справедливости ради, хочу отметить, что приложение Mail отображает такие письма корректно, но письма от других сервисов отображаются нормально и в OWA).
Приложение TestFlight: информация о доступном для тестирования приложении.
Приложение TestFlight единственное умеет определять результат установки тестовой версии (кнопка Install поменялась на Open) — преимущество, полученное с переходом к Apple.
Письмо с отправленным из приложения TestFlight отзывом. Кроме скудного форматирования и невозможности добавить вложения, можно отметить еще один недостаток: отправленные отзывы попадают только в почтовый ящик, в iTunes Connect эта информация не сохраняется и недоступна.
Резюмируя, можно сказать, что обновленная версия TestFlight просто работает. В данный момент она не имеет особых конкурентных преимуществ (речь идёт о функционале, а не неоспоримом преимуществе — принадлежности компании Apple, которое пока в большей мере является потенциалом).
Дополнительный функционал
На данный момент, к сожалению, компания Apple берет только числом, а не умением. Из явного преимущества можно отметить разве что гораздо большее количество бета-тестеров, которое можно задействовать для внешнего тестирования: на порядок больше, чем у всех остальных альтернативных решений (причина ясна: компания сама контролирует условия распространения приложений и имеет преимущество перед решениями третьих сторон).
Обновление (5 мая 2015): с релизом Xcode 6.3 разработчикам стал доступен Crashes Organizer. Новый функционал, несомненно, хороший признак того, что Apple продолжает развивать свои сервисы, но, к сожалению, компания всё ещё отстаёт от других сервисов:
When you open the Crashes organizer, Xcode begins refreshing the crash reports for your apps. Xcode downloads the top crash reports—crash reports with the most number of occurrences on unique devices—that occurred during the past two weeks. However, there may be up to a three day delay between when you first distribute your app and when crash reports are available in Xcode.
Три дня задержки и период архивного доступа в две недели выглядит несколько обескураживающе.
Continuous Integration
Примечание: описанные далее нюансы использования сервисов как части непрерывной интеграции (continuous integration) в данном обзоре подразумевают, что она будет делаться на основе решения, предлагаемого компание Apple. То есть при помощи Mac OS X Server и Xcode bots — подробно на организации такой интеграции я не буду останавливаться, возможно это станет темой для отдельной статьи. Желающие могут ознакомиться с темой самостоятельно, например, обратившись к официальному руководству от Apple.
Каким бы странным это не казалось, но на данный момент не существует возможности для публикации приложений в Apple TestFlight в автоматическом режиме. Я надеюсь, что этот большой недостаток будет исправлен компанией в одном из ближайших крупных обновлений Xcode, тем более что в оригинальном TestFlight такая возможность имелась.
Итого суммарная оценка по всем разделам: 15 баллов.
Процесс бета-тестирования с помощью TestFlight
Как известно, бета-тестирование – один из методов приемочного тестирования, что выполняется клиентской базой. Его цель – дать клиентам возможность оценить свою степень удовлетворенности проектом.
Так, пользователи проверяют функционал продукта, удобство в эксплуатации, качество и совместимость с другими приложениями. Процедура бета-тестирования в основном выполняется сразу после окончания альфа-тестирования.
В ходе тестирования и по его результатам формируется определенный опыт работы с программой, подаются запросы на отзывы касательно ее дизайнерского оформления, функциональных возможностей и самого интерфейса.
Данные характеристики позволяют дать качественную оценку готовому продукту, поскольку для процедуры бета-тестирования дается предрелизная функционирующая версия приложения со всем возможным набором функций.
Существует два типа бета-тестирования:
Преимущества бета-тестирования
Стоит выделить ряд основных преимуществ применения процедуры такой проверки:
Бета-тестирование с помощью TestFlight
Чтобы доступ к данным программы для бета-тестирования был удобным, следует использовать соответственные сервисы. Рассмотрим одно из самых популярных приложений для такого типа тестирования, выпущенное компанией Apple. Речь пойдет о TestFlight.
TestFlight – это официальная программа, разработанная компанией Apple для iOS-устройств, с целью их открытого бета-тестирования. Данный продукт способствует упрощению процедуры сбора кодов устройств, поддающихся тестированию (UDID).
С помощью TestFlight очень просто можно пригласить пользователей оценить новые программы для iOS, watchOS и tvOS, которых еще нет в App Store.
Через данный продукт распространяются программы, поддающиеся тестированию для версий iOS от 8.0 и выше, поскольку сейчас iOS-девайсов с версиями, старее указанной, практически нет.
Огромным преимуществом TestFlight является то, что сервис бесплатный. Более того, по словам разработчиков, его основной функционал будет в бесплатном доступе и дальше.
Главные функции сервиса TestFlight:
Сервис TestFlight делает процесс тестирования бета-версий новых продуктов удобным и понятным.
Шаги работы с TestFlight
Алгоритм проверки бета-версии приложений:
Сервис TestFlight служит не только для тестирования бета-версий программ. Его также используют для отправки версий программы тестировщикам, заключившим контракт с заказчиками.
Таким образом
Для данного типа тестирования есть большое количество сервисов. Однако, если нужно тестировать программу для iOS-устройства, TestFlight – лучшее решение.
Этот сервис официальный, достаточно простой и понятный в использовании, располагает хорошим функционалом для успешного взаимодействия между заказчиками и конечными пользователями.
С помощью TestFlight разработчики могут оценить приоритетность багов или необходимость доработки функциональной стороны приложения, изучив отзывы тестировщиков. Все это способствует значительному улучшению качества программного обеспечения.
Каждому по тысяче: еще раз о Testflight
Трудно отыскать iOS-разработчика, никогда не пользовавшегося для тестирования своих приложений сервисом TestFlight, или хотя бы не слышавшего о нем. Его популярность в феврале этого года подтвердила сама Apple, купив компанию Burstly, благодаря которой в свое время появился TestFlight.
Как известно, Apple не из тех, кто бросает деньги на ветер — 9 сентября Apple представила TestFlight в App Store уже под своим брендом.
До прошлой недели некоторые разработчики могли пользоваться сервисом, скачав приложение, после релиза iOS 8.1 сделала инструментом общедоступным, значительно расширив при этом количество бета-тестеров, которых каждый девелопер может пригласить, разослав им через iTunes Connect приглашения со своего email-адреса.
На сайте Developer Center открылся специальный раздел TestFlight, который официально стал частью инструментария для разработки iOS-приложений и основным ресурсом для бета-тестеров, где они могут прямо из приложения скачивать новые билды тестируемых игр и приложений, и отправлять отчеты. Основные отличия от TestFlight, которым мы пользовались и год, и два назад:
Получив инвайт для бета-тестирования приложения в TestFlight и используя ссылку, тестеры скачивают официальное приложение сервиса из App Store, минуя этапы поиска и отсылки разработчику UDID девайса для участия в тестировании и последующей установки специального профиля на свое устройство. О появлении нового билда тестируемого приложения также уведомит TestFlight (ранее для этой цели использовались сообщения по e-mail).
Разработчик может одновременно тестировать до 10 различных приложений. При загрузке бета-сборки из Xcode добавляем и имена и email будущих тестеров, которых приглашаем в iTunes Connect. Инструкции по подготовке беты и настройки листа тестеров в видеотуториале – здесь и здесь.
Тестеры делятся на две группы: внутренние (25 членов команды и особо доверенных лиц с более широкими техническими полномочиями, каждый может использовать до 10 устройств) и внешние – все остальные.
Как только разработчик счел приложение готовым для внешнего тестирования, он приглашает до 1000 новых тестеров. Возможность открыть тысяче сторонних бета-тестеров доступ к приложению разработчик получает после прохождения Beta App Review, подтверждающего соответствие испытываемой программы App Store Review Guidelines – то есть правила те же, что и для публикаций пользовательских версий приложений. Для тестирования своими силами, разработчик не обязан посылать приложение на Beta App Review.
Чем больше тестеров – тем лучше. Теперь можно тестировать программы с помощью не только довольно узкого круга искушенных экспертов, но и широкой пользовательский аудитории, каждый из которой со своей колокольни способен подсказать то, чего вашему приложению, возможно, как раз остро недостает.
И еще немного про сервис тестирования iOS-приложений Test Flight
Спасибо Shmatlay за сегодняшний обзор сервиса Test Flight.
Поскольку в нашей компании мы им тоже пользуемся и достаточно активно, не могу не вставить свои пять копеек по поводу указанного сервиса, основываясь на опыте его эксплуатации.
Если кто-то пропустил указанный пост, кратко поясню, что Test Flight — это сервис, упрощающий тестирование приложений для iOS-устройств путем облегчения процесса сбора кодов тестовых устройств (UDID-ов), а также путем более легкого распространения подписанных для тестеров билдов Вашего приложения. Ну и плюс, можно видеть, сколько раз приложение запускали, сколько раз оно падало, а также получать некоторую отладочную информацию.
1. Прежде всего, для работы большей части описанных выше плюшек необходимо установить TestFlight SDK, который представляет собой библиотечку для введения в Ваше приложение возможностей расширенного логирования и прочего добра. Процесс установки совершенно не сложный и подробно описан вот тут.
2. Для распространения своих приложений между пользователями необходимо будет получить ad-hoc distribution profile, либо если разработки приложения ведется с использованием корпоративной учетки, соответствующий ей [enterprise] distribution profile (не помню, как он точно называется). Следовательно, UDID-ы устройств придется руками брать из писем потенциальных-бетатестеров, идти на сайт developer.apple.com, и регистрировать их для подписи ad-hoc приложения. Тут, к сожалению, от этого никуда уйти не удалось.
3. Как показала практика, приложения, в которых TestFlight SDK не был внедрен, но которые были подписаны UDID-ами тестеров прекрасно рассылаются через сервис тестерам с упомянутыми UDID-ами, так что если Вы по какой-либо причине не хотите, чтобы в Вашем приложении был чужой код (привет, TestFlight SDK!), то вполне можете этот самый SDK не внедрять — тестеры все равно смогут использовать Ваши приложения путем загрузки через сервис.
4. Обращаю особое внимание на то, что посредством ad-hoc распространения приложений и тестирования ad-hoc сборок Вы можете использовать не более 100 UDID-ов в год для приложений подписанных учетной записью индивидуального разработчика. Это напоминание будет полезно для тех, кто планирует выпустить более 3-4 приложений за [проплаченный за 100 долларов] год и широко тестировать их среди народных масс. Эппловское ограничение в 100 устройств при использовании сервиса никуда не девается! (Хотя, полагаю, что это и так всем понятно, но мало ли)
6. Внедрение SDK увеличивает размер билда приложения примерно на 300 Кб. Если вдруг по какой-то немыслимой причине для Вас настолько критичен размер приложения — имейте это в виду (автор этих строк как-то раз добился увеличения размера дистрибутива билда своего приложения вдвое, всего лишь внедрив TestFlight SDK).
7. В некоторых случаях (автору этих строк не удалось понять, в каких именно) сервис заменяет Вашу иконку приложения собственным значком. Впрочем, склонен считать, что в моем случае в этом виноваты, скорее всего, мои кривые руки.
8. Некоторые пользователи обладают более чем одним устройством с iOS, при этом регистрируют в сервисе только одно из них после получения письма с инвайтом в тестирование, а потом недоумевают, почему на другом (других) iOS-устройствах приложение не запускается. В этом случае (опять же совершенно очевидное положение, но практика показывает, что есть люди, не до конца понимающие это) пользователю необходимо объяснить, что ему придется зайти на сайт Test Flight (или открыть письмо с инвайтом) на каждом устройстве, которое он хочет пометить как тестовое.
9. В целом, сервис оставляет после использования весьма приятное впечатление, позволяя оперативно собирать UDID-ы и рассылать билды приложений. К этим двум основным вещам прикручены еще управление списками проектов (aka команд тестировщиков/чего-либо-еще), возможность видеть, кто из тестировщиков получил письмо с инвайтом, кто его прочитал, кто установил приложение и все в таком духе. Кстати о том, кто установил приложение. Установкой приложения считается момент начала загрузки приложения с сервера TestFlight. Если после этого установка приложения зависнет, завершится аварийно, либо произойдет еще что-то, выходящее из ряда вон (вроде вторжения пришельцев с Проксимы Центавра), у Вас в админке будет складываться полное впечатление, что пользователь приложение установил штатно. Не далее как сегодня был случай, когда на один iPhone приложение не хотело ставится (даже не загружалось), а на другой вставало отлично. Однако, это я тоже склонен списывать на собственные кривые руки.
10. Помимо iOS других платформ пока не поддерживается.
11. Сервис бесплатный и обещает, что базовый функционал, доступный сегодня, будет бесплатен всегда.
Ну что же, спасибо за внимание, если возникнут какие-то вопросы по работе с Test Flight, их смело можно задавать в комментариях, постараюсь (постараемся) на них ответить.