Hallo,
jQuery und Prototype funktionieren beide nebeneinander, wenn du jQuery.noConflict() direkt nach der jQuery-Einbindung aufrufst:
http://docs.jquery.com/Using_jQuery_with_Other_Libraries
Aber du solltest wirklich mal suchen, ob du nicht beides für ein Framework findest (z.B. Lightbox durch Thickbox ersetzen, was auf jQuery basiert).
Mathias