• анализ причин роста мобильного рынка;
• анализ рынков iPhone и Android;
• статистика изменения по пользователям мобильного интернета;
• статистика по использованию мобильных устройств в разных условиях (например, пользователи в равной степени используют телефон для голосовых разговоров и мобильного интернета и развлечений. В то время как для других телефонов преобладают голосовые звонки);

Майл Келли в блоге Quick Testing Tips привёл правильные идеи для стресс тестирования. Как всегда, вроде бы всё на поверхности, но стоит собрать вместе разрозненные части и открывается что-то новое.

А предыдущие выпуски можно почитать тут: 4, 3, 2, 1.

Тут опять всё упирается в то, что как такового четкого определения, что входит, а что не входит в исследовательское тестирование нет. Есть определение, которое дал Кем Канер (тот самый, который вообще придумал термин Exploratory Testing).

“Exploratory software testing is a style of software testing that emphasizes the personal freedom and responsibility of the individual tester to continually optimize the value of her work by treating test-related learning, test design, test execution, and test result interpretation as mutually supportive activities that run in parallel throughout the project.”

И вроде как это не противоречит работе Виттакера (тестирование на основе ), к тому же сами Канер и Бах определяли исследовательское тестирование как некое расширение, которое может быть использовано для любого существующего метода тестирования,  а не методологию (The Nature of Exploratory Testing, PDF, слайд 10).

Всё в общем то в порядке, но есть проблема – реально разницу между исследовательских тестированием от Канера и Баха и тем что предлагают многие (многие многие) другие специалисты могут увидеть и понять не очень много людей, потому что сейчас с этим направлением происходит тоже самое, что и с usability. Фактически всё сведено к тому, что реального опыта и теоретических знаний в головах пока не очень много, в результате каждый волен интерпретировать и опираться не на существующий опыт и сложившуюся, местами внешне сложную, теорию, а на своё собственное мнение, и впаривать что угодно окружающим о невероятной эффективности (или сложности)  этого подхода к тестированию (тайно намекая на свою исключительность). А по сути, получается, что большая часть людей, говорящих об исследовательском, на самом деле, говорят об обыкновенном ручном тестировании (потому как нажимание кнопок, пусть даже трижды продуманное – не является исследовательским тестированием).

Хочу отметить, что технические возможности пристально разглядывали мои сотрудники (Лиля и Ира), а я лишь ковылял вслед за ними, всего лишь их подбадривая и горячо надеясь в полезность кубика.

Но при близком рассмотрении CubicTest разочаровал (хотя концепция неплоха, но подвела текущая реализация). Он плохо подходит для создания сложных тестов. Есть проблемы с рекордером — запись возможна только в Firefox и Opera, не все элементы определяются корректно. Проблемы с использованием переменных в тестах, например зациклить тест для прохода сценария по одному тест кейсу, но с разными параметрами в текущей версии (1.9.6) не получится. Такую поддержку обещают в будущем. Единственная возможность перевести тесты в Selenium — это экспорт тестов в скрипты, совместимые с Selenium, но даже после этого для запуска теста в Selenium RC его нужно шлифовать руками. Существует теоретическая возможность интеграции CubicTest в Selenium Grid, но у нас этого не получилось.

Но есть и плюсы, которые делают CubicTest отличным инструментом для обучения неопытных тестировщиков и составления простых функциональных тестов. А также для общения с заказчиком, для получения User Story.

Плюс 1. Визуальное представление тестов, операций, связей между тестами и элементов страниц. Ошибки и удачные проходы условий при выполнении теста тоже подсвечиваются прямо в редакторе.

Плюс 2. Возможность расширять тестовые наборы с помощью Java (но не залезать внутрь существующего теста).

Плюс 3. Создание прототипа HTML по тесту (на лицо попытка адаптации к TDD или User Story). Сама идея мне очень даже понравилась, остаётся только проверить её на профпригодность.

Код генерируется чистенький (судя по всему из одного темплейта, просто подставляются новые элементы), с использованием li, div, css и js. Есть несогласованность языковых настроек, по умолчанию HTML создаётся с кодировкой ISO-8859-1, хотя из Eclipse, в моей инсталляции, приходит Cp1251 (эта же кодировка используется при записи тестов).

Теоретически этот прототип можно использовать для дальнейшей разработки, либо для показа заказчику, на этапе проектирования.

Плюс 4. Обилие поддерживаемых браузеров и режимов их работы (всего семь) и возможность указывать профайлы для Firefox и Opera.

*firefox -> Firefox (chrome mode)
*opera -> Opera
*googlechrome -> Google Chrome
*iexplore -> Internet Explorer (HTA mode)
*safari -> Safari
*pifirefox -> Firefox - Proxy injection mode
*piiexplore -> Internet Explorer - Proxy injection mode

Proxy Injection Mode достался от Selenium. HTA (HTML Application?) у меня просто отказался работать, IE8 упорно валился с ошибками в JS.

Плюс 5. При записи теста в Recorder Plugin прямо на странице указывать какие элементы нужно проверять, условия автоматически добавятся в тест.

Плюс 6. Интеграция с Maven.

Об использовании CubicTest, еще можно поспорить, но познакомить с ним тестировщиков web приложений точно стоит, вполне возможно, что найдутся такие рутинные операции, которые CubicTest позволит очень быстро автоматизировать и вынести за пределы ручной переборки.

CubicTest приятный инструмент для тех, кто занимается функциональным тестированием веб-страниц. Самостоятельной версии нет и для его использования потребуется Eclipse (я использовал Galileo). Тесты в итоге можно экспортировать либо в скрипты Selenium Core, либо в скрипты Watir, а можно никуда не экспортировать и запускать из Eclipse. В документации особо указывается, что с CubicTest можно протестировать всё, что основано на HTML, но Java апплеты и Flash ему не по зубам (какой сюрприз).

Но, обо всём по-порядку.

Установка

Установка CubicTest в Galileo, проще, чем описано на странице с инструкциями по установке (там используется старая версия Eclipse). Отчасти потому, что требуемые компоненты уже содержатся в Eclipse.

1. В Eclipse откройте меню Help > Install New Software

2. В новом окне в поле Work with нужно ввести http://boss.bekk.no/cubictest/update/ и нажать Add. После этого в списке доступных программ появится краткий список Web Testing Tool (в моём случае всего один).

3. Напротив CubicTest нужно поставить галочку и нажать Finish. После этого инсталятор проверит зависимости и выдаст список на загрузку и установку после чего нужно будет перегрузить Eclipse.

С установкой всё.

Создание проекта.

Ничего необычного нет, есть только несколько специфичных опций.

1. Выбор точки отсчёта (Startpoint)

Точка отсчёта это откуда начинается тест. Есть три варианта (v 1.9.6):

• URL - привязываемся к реальной страничке.
• Extension - привязываемся к страничке (или шагу) из другого теста
• Sub test - тест нельзя будет запустить самостоятельно, он может быть только частью другого теста.

После этого будут только вопросы о том, добавлять ли CubicTest и Selenium в classpath. Тут уже личное дело каждого.

Так же в каждом проекте по умолчанию создаётся файл test-project.properties, в нём хранится информация о том, какой браузер и в каком режиме использовать для тестов. Google Chrome поддерживается изначально и никаких танцев с бубном не потребуется.

Концепция.

Проще пока не придумали.

В CubicTest реализовано несколько сущностей, которые и позволяют эффективно создавать тесты с помощью визуального редактора:

Наборы тестов (test suites) – наборы отдельных тестов (tests), собранных в логическую группу и взаимодействующих (прямо или косвенно) друг с другом.

Тесты (tests) – собственно тесты, описание последовательностей действий и состояний web приложения.

Страницы (page) и Состояния (states) – страницы или состояния. Например, если на тестируемой странице ввести текст, то это измени её состояние и добавит state в test.

Транзакции (transactions) и взаимодействие с пользователем (user interactions). Взаимодействие с пользователем – это те действия, которые совершаются на страницы – клики, ввод текста, выбор элементов списка. Несколько таких действий – это транзакция, которая меняет состояние (state) страницы (page).

Элементы страницы (Page elements) – это сущности представляющие элементы html, которые присутствуют или не присутствуют на странице. Через них осуществляется взаимодействие с пользователем (user interactions) и они используются для проверок.

Контекст (Context) – это элементы разметки одним махом – div, table (tr, td), span. Логически же это представление вложенности в DOM дереве, а их использование позволяет тестировать эквивалентные значения в разных частях HTML документа.

Идентификаторы (Itentifiers) – это свойства, по которым можно найти контекст и определить элемент на страницы. Идентификаторов не мало, часть из – атрибуты элементов, а часть HTML теги. В зависимости от элемента страницы набор идентификаторов раз и с помощью комбинаций элементов и контекста можно задавать элменты достаточно гибко. При исполнении теста CubicTest автоматически строит XPath по выставленным идентификаторам.

Точка отсчета (Start point) и расширения (Extentions) – об этом уже говорилось чуть выше. Это точки откуда начинается тест – web страница или другой тест.

Виртуальные страницы (Commons) – это страницы почти как настоящие, но на самом деле не существуюющие. Содержащиеся на них элементы можно использовать для проверок на разных страницах (что то вроде Data Module в Delphi).

Сабтесты (Sub Tests) – практически любой тест может быть включен в состав другого теста и будет выполнен в соответствии с порядком подключения.

Из всего этого складывается довольно простая матрёшка:

На этом я пока закончу и в продолжении расскажу уже о сами принципы и подходах к написанию тестов веб приложений с помощью CubicTest.

На страницах где AJAX не используется всё более менее хорошо. Как только появляется часто меняющиеся части или ссылки на внешний контент тут же начинаются проблемы, которые не всегда получается понять. Так мы некоторое время мучались с тем, что при помощь Java Script в IETester не подгружались внешние страницы внутрь загруженной.

В результате оказалось дешевле доставить памяти и установить VM с нужными операционками и браузерами.  Этим удалось добиться не только адекватного рендеринга, но и возможности достаточно точно увидеть производительность приложения и ситуации при которых приложение оттормаживается.

Раньше я считал использование коллекций браузеров очень удачным решением, но поработав с ними решение своё изменил. Это решение только для ленивых или для “бедных”, лучше ставить VM. Тем более, что сейчас это не проблема, нужно только побольше памяти (мне хватило 2х ГБ) и небольшое упорство при чтении документации по настройке виртуалки (в основном сеть).

Я решил использовать Virtual PC от Microsoft. На которой было создано несколько виртуальных машин XP и Vista с разными версиями браузеров. Файлы созданных VM к железу не привязаны и их можно клонировать как угодно, а так же сохранять разные состояния “замораживая” таким образом особые условия для повторения ошибок.

Впрочем я это знал и несколько лет назад, но просто ленился разобраться в настройках VM, а оказалось, что от оптимального решения меня отделяло прочтение пяти страничек из встроенного хелпа.

Xenu’s Link Sleuth

Древний инструмент для проверки ссылок на сайте. Различает ссылки и почтовые адреса, оценки наличия страниц идут по HTTP кодам (то есть если запрашиваемой страницы нет, но сервер не возвращает ошибку 404, то Xenu посчитает, что страница есть. Поддерживаются ссылки в JavaScript, подробнее об этом написал Франк Виссер – “Checking Links with Xenu: Handling javascript links“. Полный список возможностей и ограничений доступен на официальной странице и информации там предостаточно. Последнее обновление в Декабре 2008.

WWW Consortium предоставляет целый ряд сервисов для проверки соответствия страниц стандартам (Полный список тут: W3C QA Toolbox ):
- W3C Markup Validation – проверка html (в том числе и пятой версии), xhtml, svg (формат график в XML), smil (язык представления, отображения и синхронизации медиа объектов. Объекты описываются в виде XML), mathml (язык для представления и вычисления математических формул в веб).

- W3C CSS Validation – проверка CSS. Валидатор может работать с CSS внутри HTML. Можно сделать проверку на соответствие определенному стандарту. Кроме стандратных уровней CSS можно проверить на соответствие Mobile CSS (базирующийся на CSS 2.1), TV/ATSC (CSS с учётом правил отображения и ограничений телевизионных устройств), а также правилам стилей в SVG.

- W3C mobileOK Checker – Проверка, насколько хорошо раметка страницы адаптирована для отображения на мобильных устройствах. Проверяется валидность (XHTML), размеры элементов и объемы данных, использование CSS и скриптов.

Для тестирования страниц в браузере существуют разнообразные плагины для Firefox и Safari.

Скачать: install-ietester-v0.3.exe

Тоже самое, по смыслу, время от времени говорил мне мой руководитель. Он не мог понять чем конкретно занимается мой депортамент, в какой последовательности и для чего. Оспаривать то, что работы делается много он не мог, но при этом и имел полное право не понимать, что же всё-таки делается.
На картинке выше четыре стиля отчета, использовавшиеся в разные промежутки времени (с 2006 года по начало 2009). Красная черта – это отметка страницы А4.

Первый отчет был предельно краток: “на проекте таком то сделали это и это, движемся в таком то направлении”. При этом текст основного отчета составлялся из того, что писали подчиненные (та еще каторга, сколько не напоминай, кто-нибудь да забудет. Да и литературным даром никто не обладал).

Название проекта

Что было сделано и какие проблемы встретились. Обычным человеческим языком.

Имена участников

Он не давал связи с реальными задачами в трекинговой системе и было не понятно, что делал каждый конкретный участник. Пораскинув мозгами и переборов лень подчиненных получилось сделать второй отчет на основе записей в Jira. Отчет содержал название задачи и ссылку на трекинг.

Имя

Задача 1 (под назавание ссылка)

Задача 2 (ссылка)

Он получился длиннее первого в несколько раз и хотя теперь можно было получить представление о том, что делал человек, понять, что происходит на проекте было сложнее, по самому отчету, нужно было идти в Jira и делать выборку. Так же он дополнялся страницами в Wiki (Confluence) по каждому проекту. Такие страницы описывали, как раз что происходит с проектом и конкретное участие сотрудников. Но на них надо было заходить специально. Лень руководства победила формат отчета, за год так и не получилось приучить сначала смотреть к Confluence, а потом спрашивать.

Путь от такого отчета к автоматической сборке занял больше года и все недовольства удавалось отбивать предложением указать формат отчета четко. Удачное решение пришло в голову после обнаружений RPC сервиса в трекинговой системе. За несколько дней была написана программа и придумана реструктуризация, которая позволила бы генерировать любые отчеты по существующим данным. В Jira было задействовано всё от компонент, до кастомных полей. Третий отчет был огромен. На картинке лишь пятая часть. Он вытаскивал из задачи название, описание и worklog, складывал всё вместе и сортировал по людям. Страницы в Confluence по прежнему были, но теперь состояние проектов и информацию о работе людей можно было получить прямо из отчета. Да и моё участие в написании отчета сократилось до финального ревью и выкидывания лишниго. И того, за место 2 часов отчет готовился за 10 – 15 минут.

Но и это было плохо. Слишком много информации. Слишком! Чтобы найти что-то интересующее требовалось просмотреть очень много не нужного. Притензий уже не высказывалось, но в голову пришла другая идея, реализация которой стала возможной благодаря проведению ежедневных митингов. Не смотря на то, что это снова затраты времени на отчеты, это хорошо. Во-первых, мне всё равно приходится собирать и анализировать информацию за неделю, для обзора за неделю. Во-вторых, это позволяет разбить информацию и по людям и по проектам.

На первый лист идёт информация по проектам, дальше по людям.

Предварительная программа доступна тут: http://it-conf.ru/ru/content/97.htm

Регистрация зрителей тут: http://it-conf.ru/confreg/index.htm