Ich habe keine Ahnung wie Bots mit Status 400 umgehen.
Ich weiß es genau: Jeder Bot reagiert darauf so wie der Programmierer es wissentlich oder unbedacht vorgesehen hat.
Geschmackssache, außer bei 204 (No Content). Kein Content wird weder codiert noch hat dieses Nichts einen Mime-Type.
Also ich denke, man sollte wenistens das Hauptmenu zeigen. Also text/html.
Den Status 204 No Content
und dann auch nur irgendwas als Payload zu senden ist widersprüchlich. Ich verwende das bei Brut-Force-Geschichten um den ausgehenden Datenverkehr zu minimieren. Geht es weiter landet je nach meinen Rechten auf dem System die Adresse in der .htaccess oder in der Blocklist der Firewall.