Function soll überprüfen, ob layer bereits geöffnet ist und ....

[Struppi]

aber wie kann ich denn mit Variablen überprüfen, ob ein Element hidden oder visible ist?

Gar nicht, du solltst dir nur merken, welches Element geöffnet ist.

Grob in etwa so:

var offen  
function anzeigen(layer) {  
    var el = document.getElementById(layer);  
    if(el) el.style.display = 'block'; else alert('Fehler');  
    if(offen) offen.style.display = 'none';  
    offen = el;  
}  

Struppi.