Rechner ohne USB-Geräte starten, dann
sudo tail -f -n0 /var/log/kern.log | grep usb
(Das SOLL erst einmal nichts anzeigen!)
und sodann einen USB-Stick an allen Anschlüssen durchstecken, neue Zeilen beobachten...
Da kann man sehen, welche Buchse woran hängt. ggf. mit den Ausgaben von lsusb
(nach jedem Einstecken) vergleichen.