Мы работаем над новым веб-фреймворком, который интегрируется с React и Node.js, а также является языком. Как вы, наверное, понимаете, нелегко заставить людей использовать новую технологию, особенно пока она находится в альфа-версии. С другой стороны, без пользователей и их отзывов невозможно понять, что строить.

Вот почему мы запустили программу альфа-тестирования для Wasp — вот что мы узнали и что пошло как хорошо, так и плохо на этом пути.

Описание изображения


«Конечно, я знаю об Осе! Я просто еще не дошел до того, чтобы попробовать это».

Хотя мы попали на первую полосу HN несколько раз и вот-вот наберут 2000 звезд на GitHub, по-прежнему существует большая разница между человеком, поставившим звездочку в репозитории, и тем, кто на самом деле сядет и что-то с ним создаст.

Пообщавшись с людьми, мы поняли, что многие из них слышали об Wasp, думали, что это отличная идея, но не пробовали. Это были основные причины:

  • нужно найти 30 минут, чтобы пройти наш учебник по созданию приложения Todo — «Я сейчас занят, но я сделаю это на следующей неделе».
  • создание простейшего приложения todo не так уж и увлекательно
  • не имея идеи, что еще построить
  • «продукт все еще находится в альфа-версии, поэтому я добавлю его в закладки на потом»

Это все очевидные и понятные причины. Должен признаться, я почти такой же, может быть, даже хуже, когда дело доходит до пробовать что-то новое/непроверенное. Это просто не является приоритетом, и без толчка, который поможет мне преодолеть все эти возражения, у меня обычно нет стимула доводить дело до конца.

Осознав все это, мы поняли, что нужно дать людям повод попробовать Wasp. в настоящее времяпотому что именно тогда нам был нужен отзыв, а не на следующей неделе.


Добро пожаловать в программу альфа-тестирования Wasp!

Описание изображения Нам было слишком весело здесьно фанаты Портала поймут.

Мы быстро создали страницу приема для альфа-тестеров в Notion (вы можете увидеть ее здесь) и начал делиться им. Чтобы противостоять препятствиям, о которых мы упоминали выше, мы сократили программу по времени («это происходит сейчас, и у вас есть 48 часов, чтобы закончить, как только вы начнете») и пообещали футболку всем, кто пройдет обучение и заполнит отзыв. форма.

Описание изображения CTA со страницы приема

Вскоре начали поступать первые заявки! Для каждого нового кандидата мы будем отслеживать инструкции о том, как успешно пройти Программу Альфа-тестирования:

  • заполнить вступительную форму (многолетний опыт, предпочтительный стек и т. д.)
  • пройти наш учебник «Создать приложение Todo»
  • заполните форму обратной связи — что было хорошо, что плохо и т.д.

Описание изображения Люди действительно уважительно относились к этому сроку и вежливо просили продлить его, если не успевали.

Но вскоре после этого мы получили следующее сообщение в Твиттере:

Описание изображения

Мы очень испугались, что соберем массу людей, прилагающих минимальные усилия, чтобы попробовать Wasp только для того, чтобы получить бесплатную добычу, оставив нас с пустыми руками и ничему не научившись! С другой стороны, у нас не было большого выбора, поскольку мы не определили заранее «минимально необходимое качество» обратной связи.

К счастью, в итоге проблема была не в этом, даже наоборот — мы получили всплеск заявок, но только часть из них завершили программу, а те, которые справились, оставили действительно качественные отзывы!


Как это было — тестовый профиль и обратная связь


Профиль тестировщика

Мы получили 210 заявок и 53 из них завершили программу — процент выполнения 25%.

Мы также опросили соискателей об их предпочтительном стеке, многолетнем опыте программирования и т. д.:

Описание изображения Да, мы любим каламбуры.


Отзыв

В форме обратной связи оценивался общий опыт тестировщиков с Wasp. Мы спросили их, что они считают лучшим и худшим в работе с Wasp, а также о следующих функциях, которые они хотели бы видеть.

Описание изображения


Плохие части

Больше всего нашим тестерам не хватало полноценной IDE и поддержки TypeScript. Оба они находятся в бета-версии, но в то время поддерживался только JS. Кроме того, были некоторые проблемы с установкой Windows (которая еще не полностью поддерживается — лучше всего использовать ее через WSL).

Описание изображения

Мы уже знали, что поддержка TypeScript является важной функцией, но не имели точного представления о том, насколько — отзывы были действительно полезными и помогли нам расставить приоритеты в нашем незавершенном бета-тестировании.


Хорошие части

Любимой частью тестировщиков был опыт работы с батареями, особенно модель авторизации.

Описание изображения


Постмортем: что пошло не так


Нет порога качества обратной связи

Описание изображения

Мы не ставили никаких ограничений на форму обратной связи, например, минимальную длину обратной связи. Это привело к тому, что примерно 15%-20% ответов были отдельными словами, как показано выше. Я не уверен, есть ли эффективный способ избежать этого или просто статистика, с которой можно жить.


Использование свободной текстовой формы для сбора адресов

Раньше нам и в голову не приходило, что проверка адресов может быть такой важной частью доставки, но оказалось, что это так. Кажется, что есть много способов указать адрес, некоторые из которых отличаются от того, что ожидает наше почтовое отделение, в результате чего несколько отправлений возвращаются.

Идеальным решением было бы использование специализированного поля «адрес» в опросе, которое автоматически проверяло бы его, но оказалось, что в Typeform (которую мы использовали) эта функция еще не реализована, хотя очень просили.

Описание изображения

Описание изображения


Неочевидное преимущество программы альфа-тестирования

Что пошло хорошо, так это то, что мы получили много высококачественных отзывов, которые направляли и укрепляли наш план на предстоящую бета-версию.

Другим большим преимуществом является то, что мы, наконец, решили проблему «выглядит круто, но, возможно, я попробую позже». В целом, наше использование значительно увеличилось во время программы, но даже после ее окончания базовый уровень значительно увеличился. Это был эффект второго порядка, которого мы не предвидели.

Насколько мы понимаем, как только люди, наконец, попробовали его, часть из них почувствовала его ценность на собственном опыте и решила продолжать использовать его и в других проектах.

Описание изображения


Резюме и дальнейшие действия: бета-версия

Общий вывод из нашей программы альфа-тестирования заключается в том, что это была достойная работа, которая позволила получить ценные отзывы и положительно повлияла на общее использование. Двигаясь вперед, мы постараемся сосредоточиться на обеспечении более качественной обратной связи и расстановке приоритетов в общении один на один, чтобы убедиться, что мы полностью понимаем, что беспокоит пользователей Wasp и что мы можем улучшить. Также может быть полезно проводить тестирование небольшими партиями, чтобы мы не были перегружены ответами и могли сосредоточиться на отдельных тестировщиках — это то, что мы могли бы попробовать в бета-версии.

Как уже упоминалось, следующая остановка — Бета! Выходит 27 ноября — подпишите здесь чтобы получить уведомление.