Дженкинс проверяет сборку JMeter как успешную, хотя на самом деле она не удалась.

У меня похожая проблема, которая блокирует меня. Мне нужно запустить тесты JMeter с Jenkins. Но Дженкинс проверяет сборку JMeter как успешную, хотя на самом деле она не удалась. Интересно, что я делаю неправильно, чтобы jmeter не возвращал ошибку, когда утверждение терпит неудачу. Я запускаю пакетный сценарий Windows, вызывающий jMeter. Вот как:

КОМАНДНАЯ СТРОКА

cd C:\apache-jmeter-3.1\bin
jmeter -n -c -t C:\Users\maria\Desktop\Automation\WIP\Test-page.jmx -l C:\Users\maria\Desktop\Automation\WIP\Test-page.xml


И сохраняет результаты в формате.xml для проверки отчета с помощью подключаемого модуля Performance (v 2.0) и Jenkins ver. 2.32.1

КОНСОЛЬ

Created the tree successfully using C:\Users\maria\Desktop\Automation\WIP\Test-page.jmx
Starting the test @ Fri Dec 30 11:05:58 GMT 2016 (1483095958952)
Waiting for possible Shutdown/StopTestNow/Heapdump message on port 4445
summary = 1 in 00:00:00 = 3.1/s Avg: 206 Min: 206 Max: 206 Err: 1 (100.00%)
Tidying up... @ Fri Dec 30 11:05:59 GMT 2016 (1483095959326)
... end of run
Performance: Recording JMeter reports 'C:\Users\maria\Desktop\Automation\WIP\Test-page.xml'
Performance: Parsing JMeter report file 'C:\Jenkins\jobs\Test demo\builds\3\performance-reports\JMeter\Test-page.xml'.
Performance: Percentage of errors greater or equal than 0% sets the build as unstable
Performance: Percentage of errors greater or equal than 0% sets the build as failure
Finished: SUCCESS


Как видите, у меня 1 ошибка. Но плагин Performance настраивает сборку на успех.

PLUGIN SETTINGS
настройки плагина производительности

Свойства Jmeter

jmeter.save.saveservice.assertion_results=all
jmeter.save.saveservice.output_format=xml
jmeter.save.saveservice.response_data=true


ТЕСТ-СЛУЧАЙ
Test-page.jmx

Попытки, которые я пробовал и не работали для меня:

1. старая версия плагина производительности (v 1.11 и v.16)


2. формат.jtl


3. .xml


4. .csv


5. добавление "echo" в командную строку в конце


6. параметрjmeter.save.saveservice.response_data=true

Закончились идеи, как заставить плагин производительности считать ошибки и поднимать флаг «Failed»:(

Решение проблемы

Установите «Использовать пороги ошибок для одной сборки» с 0 на 1.

Это должно означать, что сборка jenkins завершится ошибкой, если в вашем тестовом примере JMeter будет хотя бы 1 ошибка, где 0 игнорирует количество ошибок (если я правильно это помню).