Помимо старенького JMeter и де-факто стандарта для мира JVM Gatling, узнал на днях еще о существовании Siege. Если для первых двух надо что-то писать/настраивать, то для тестирования чего-то не очень сложного "по-быренькому" siege — отличный вариант, потому что он консольный и все параметры передаются аргументами. Пример команды:

siege -c10 -t60s --content-type "application/json" --header="Connection: Keep-Alive" -b 'https://example.com POST {"some": 0, "payload": "10"}'

Она будет бомбить 10 "пользователями" в течение 1 минуты указанный адрес с нужными заголовками.

А вообще всяких утилит для нагрузочного тестирования довольно много, сравнение можно посмотреть тут.