mySQL-JOIN: Entweder nur einmal, oder keinmal.

[split.s]

Habe eine Datenbank mit Benutzern.

Dazu gibts zwei Tabellen in die ich gerne joinen würde.
Das sieht etwa so aus:

SELECT
 users.id
FROM
 users LEFT OUTER JOIN tab2 ON tab2.userId = users.id
   LEFT OUTER JOIN tab3 ON tab3.userId = users.id

WHERE
... ?

Mein Problem: Ich bin nicht gut genug in Joins. Gesucht ist folgendes Konstrukt:

Der Benutzer darf nur in einer der beiden gejointen Tabellen vorkommen, aber nicht in beiden gleichzeitig! Natürlich kann er auch in keiner von beiden vorkommen.

Wie würde man sowas formulieren?

LG