Система тестирования ПО на основе виртуальных машин

← →
sysdmg4 © (2015-01-14 23:04) [0]

Добрый вечер

В связи с постоянной тратой более 50 % времени на тесты разработанного ПО ( часто тесты это просмотр корректного лога в 10 - 15 виртуалках после каждого билда - что очень чильно утомляет ) возникла мысль автоматиззировать тестирование с помощью написания автоматических тестов и использования виртуальных машин

Например сейчс используется порядка 12 виртуальных машин для ручного тестирования ( с откатами на снапшоты и пр )

Часто надо задавать дополнительные параметры например запуск программы с правами юзера / гостя и пр
Устанавливать различное программное обеспечение для проверки совместимости и пр

Понятное дело что на разработку хорошего автоматизированного тестрования будет потрачено много времени ( думаю от года так как проект большой и делать возможно буду один )

В связи с чем вопросы

- Есть ли другие методы тестирования о которых я незнаю и тестирую все функции программ вручную на большом числе виртуальных машин ?

- Есть ли уже готовые системы для автоматизированного тестирования ? Скажем с дополнительными настраиваемыми фишками ( как то - развернуть на виртуальной машине сначала кучу софта для проверки совместимости, потом запустить нужный мне софт, при этом все записать на видео, собрать логи из DebugViewer"a (кстати ни кто не знает как реализовать аналог на delphi ? - перехватывать сообщения отправляемые debugmessage) и сформировать читаемый отчет из всего этого )

На данный момент нашел такой
http://remoteinstall.codeplex.com/wikipage?title=Screenshots&referringTitle=Home

Но он не подходит по многим причинам ( хочется свои фишк с блекджеком и барынями ) в том числе проблема в том что реализация на C# который я не знаю

Все необходимое железо для тестирования имеется ( отдельный сервер с мощными комплектующими и пр )

Для автоматизации управления виртуальными машинами предполагается использовать вот эти библиотеки http://www.codeproject.com/Articles/31961/Automating-VMWare-Tasks-in-C-with-the-VIX-API

Жаль что на С# опять же но есть собранные dll + хорошая документация по работе с ними

Если создавать свое ПО для тестов то понятное дело не только для себя - а делать из этого некий сервис ( те работа достаточно долгая )

Какие советы можете дать по данным вопросам ?

← →
Кто б сомневался © (2015-01-14 23:13) [1]

Обычно на реальной машине тестят, используя образы системного диска, проги типа Norton Ghost Solution (лучше), Acronis. Тем более если будет автоматизация, это все дико тормозить будет на виртуалке, особенно в тестах на совместимость с другими популярными прогами (их обычно все ставят на одну ось, вместе с тестируемым).

← →
Кто б сомневался © (2015-01-14 23:17) [2]

Ну это для большого объема тестов, если для себя и тесты простые, то VM удобно.

← →
sysdmg4 © (2015-01-14 23:21) [3]

> это все дико тормозить будет на виртуалке, особенно в тестах на совместимость с другими популярными прогами (их обычно все ставят на одну ось, вместе с тестируемым)

Отчасти вы правы
Но есть некоторые моменты - например сейчас у меня 20 разновидностей OS установлено и я в процессе установки и настройки понял что нужно еще добавить разные варианты те если это XP то обязательно

- XP Pro x32
- XP Pro x64
- Xp Home x32
- XP Media Center 2005 x32

и это только те которые вспомнил я ( думаю XP вариантов развертки есть еще штук 5 как минимум ) В итоге набегает порядка 30 - 40 вариантов
Из которых нужно проводить тестирование с разным установленым ПО ( хотя бы тупо без сервис пака и с сервис паком или с IE7 и IE9 )

Те можно все это вручную делать конечно но задача как раз и стоит чтобы все это автоматизировать и сократить время разработки

> это все дико тормозить будет на виртуалке

Не будет - как я уже писал выше железо достаточно мощное - те можно выделять на каждую виртуалку по 2-5 гб озу и все это будет работать на SSD ( либо перенос при старте либо что лучше SSD кеш )

← →
sysdmg4 © (2015-01-14 23:23) [4]

> Ну это для большого объема тестов, если для себя и тесты простые, то VM удобно.

В том то и вопрос - что писать планируется не только для себя а для сообщества ( либо OpenSource либо сервис платный - если что то хорошее будет получатся )

Те с одной стороны помочь людям тестировать автоматизированно их софт с другой окупить время разработки и железо которое будет использоватся в работе 24/7 + траффик

← →
Кто б сомневался © (2015-01-14 23:27) [5]

Имхо нафига
- Xp Home x32 тестить.
Ставишь максимальные редакции да и все.
Тестить под конкретными редакциями надо когда юзеры пишут про баги. Ну или когда времени полно :)

← →
Кто б сомневался © (2015-01-14 23:32) [6]

> Те с одной стороны помочь людям тестировать автоматизированно
> их софт

Непонял, как это? Удаленное тестирование чтоли? А смысл?
А вдруг кто-то использует QTP или Ranorex или свой фрэймворк?

← →
sysdmg5 © (2015-01-14 23:49) [7]

> Ставишь максимальные редакции да и все.

Есть очень много машин особенно в бывшем СНГ которые работают например только на win2000 и уже не тянут даже XP ... как с ними быть ?

> Непонял, как это? Удаленное тестирование чтоли? А смысл?
А вдруг кто-то использует QTP или Ranorex или свой фрэймворк?

Сервис подразумевает удаленное тестирование
Фраемворк можно ставить автоматически перед стартом теста

← →
Kilkennycat © (2015-01-14 23:57) [8]

от софта нехило зависит. я не могу тестировать на виртуалке - неккоректно работает USB, а у меня сейчас все вокруг USB вращается. Наверняка еще куча железа на виртуалке не так себя ведет, в том числе специфичные фишки разного семейства процессоров.

← →
Кто б сомневался © (2015-01-15 00:18) [9]

> Сервис подразумевает удаленное тестирование
> Фраемворк можно ставить автоматически перед стартом теста

Понятно. Просто я смысла в этом не вижу. Тот кто тестирует свои программы, тому проще у себя виртуалку поставить.
Те кто может писать скрипты автоматизации под свою прогу, врядли будут использовать удаленное тестирование да еще на чужой машине.
Т.к. реальную производительность не замеришь.
Компании по крупнее нанимают своих тестеров - свой тестлаб.

Другое дело сделать контору по тестированию, которая будет проводить полный тест жизненного цикла проги - но здесь в основном руками придется тестить.

← →
Кто б сомневался © (2015-01-15 00:31) [10]

> Те кто может писать скрипты автоматизации под свою прогу,
> врядли будут использовать удаленное тестирование да еще
> на чужой машине.

Потому что скрипты во время написания надо отлаживать. А это проще (и быстрее) делать на реальной машине, плюс скрипты по разному работают в зависимости от оси и антивирусов итп. А смысл после отладки заливать все на другую машину и там опять париться с их настройкой, да еще удаленно?

← →
mailch © (2015-01-15 05:56) [11]

Удалено модератором

← →
VICTOR_ © (2015-01-15 16:19) [12]

Тестировать ПО нужно на последних Service Pack. Кто имеет лицензионное - и так их имеет. Кто нелицензионное - тоже нет проблемы поставить. Этим убирается уже часть вариантов по тестированию. По поводу напр. 2000 - если есть платежеспособная клиентура с непиратской 2000 - то да нужно тестировать. Иначе просто XP и выше.

← →
VICTOR_ © (2015-01-15 16:27) [13]

Далее Home Basic/ Home Premium - по сути одно и тоже. В 99.99 - хватит тестирования одной. Professional/Ultimate- по сути одно и тоже. В 99.99 - хватит тестирования одной.
Гость / Обычный пользователь / Администратор - тут по сути хватает тестирования на Professional.
Еще важны (обязательно отдельное тестирование)
-серверная / несерверная ОС
-x32 / x64
Тут может быть много специфики

← →
VICTOR_ © (2015-01-15 16:30) [14]

Далее важно тестировать
- отдельно XP
- отдельно Windows Vista / 7 / 8
У них много принципиально разного.

> mailch © (15.01.15 05:56) [11]
>
> Виртуалки уже давно не тормозят.

Rly? Я и не знал ;)
Использую последний Vmware - она тормозит по сравнению с реальной ОС, виртуалка от какой компании не тормозит? Может я не знаю чего-то?

а при чем здесь последний вмваре, если тормоза виртуалки зависят от поддержки процом виртуализации и количества памяти у тебя?

> кгшзх © (15.01.15 17:22) [16]
>>а при чем здесь последний вмваре, если тормоза виртуалки зависят от поддержки >>процом виртуализации и количества памяти у тебя?

Ну значит еще не все идеально. Графическая производительность заметно медленнее чем на реальной оси это видно обычными такими глазами.

> Графическая производительность заметно медленнее чем на
> реальной оси это видно обычными такими глазами.

Попробуй поработать с отладчиком Delphi под виртуалкой, я уж не говорю про такие тормоза как в QTP при написании теста. Все работает с задержкой - т.н. тормоза ,которые злят юзеров в последнее время. :)

> Попробуй поработать с отладчиком Delphi под виртуозкой

Все зависит от того какая ось и какой дистрибутив delphi

например на виртуалке XP и на ней delphi 7 - ничего не тормозит ( виртуозке выделено 1 гб озу )

Если же виртуалка 8.0 - 8.1 и на ней XE6 или VC 2010 то да тормоза видно прям визуально - при этом без разницы сколько памяти давать - 3-4 гб не исправляют ситуацию

Те все зависит от конкретных решений

Ну и да вирттуалки и пр все с SSD работает

По сути тебе нужно организовать сборку, запуск тестов и анализ результатов.

Нужно ставить Jenkins (можно и другие системы Continuous Integration, но Jenkins бесплатный), который будет запускать jobs на slave nodes.
Slave node могут быть на виртуалках.
Результаты нужно тоже проверять автоматически и слать письма при fail тестах.
Это примерная схема современного автоматизированного тестирования.
Обычно CI и строит всё автоматом после коммитов от девелоперов, потом запускает тесты и если всё хорошо может даже релизить автоматом.

Собственно моя работа заключается в автоматизации тестирования. Но у нас масштабы другие, тебе следует начинать с простого.

Система тестирования ПО на основе виртуальных машин - нужен совет Найти похожие ветки