Не умею я дела до конца доводить. Написал утилиту: вводишь в настройки путь, откуда брать дистрибутив, путь куда его ставить, путь к базе данных, которую обновлять при установке, помечаешь галками в списке сценарии для тестов, которые нужно запускать автоматически, сохраняешь настройки и нажимаешь “начать тестирование” – она выводит сообщение “сам тестируй” и закрывается.