=> Die Pfeil-Grafik muss mit JavaScript ausgetauscht werden.
Nein. Man kommt ganz ohne Javascript aus. Ich würde eine CSS-Lösung vorschlagen, die (beispielhaft) auf folgendem Markup aufbaut:
<ol class="accordion">
<li>
<input type="checkbox" id="acc1"><label for="acc1">Abschnittsüberschrift</label>
<div>
Mehr Text. Viel mehr Text. Oder Bilder. Oder sonstwas.
</div>
</li>
...
</ol>
Das klingt ganz nach einem Fall für das [details-Element](http://www.w3.org/TR/html51/interactive-elements.html#the-details-element). In Chrome wird es sogar schon mit besagtem Pfeil dargetellt.
~~~html
<ul class="accordion">
<li>
<details>
<summary>Abschnittsüberschrift</summary>
<div>
Mehr Text. Viel mehr Text. Oder Bilder. Oder sonstwas.
</div>
</details>
</li>
</ul>