Der Index wird dann also um Faktor 200 größer, und der Indexer wird wesentlich langsamer
Das verstehe ich jetzt aber nicht so ganz: Es sollen ja nicht mehr die kompletten Postings abgelegt werden sondern nur noch links darauf.
Die 10000 (oder wieviele auch immer) Indexdateien werden natürlich etwas mehr Platz beanspruchen als die alte Indexdatei - Faktor 3-4 dürfte es schon sein, aber Faktor 200 scheint mir etwas zu hoch gegriffen...
Diese zusätzliche Indirektion hatte ich Deinem ersten Ansatz nicht entnommen - und sie kostet ja nun mal auch einige hundert fopen() pro Suchvorgang, statt dem bisherigen linearen Lesen einer einzigen Inedxdatei.
In einem anderen Posting dieses Threads habe ich das mal durchgerechnet - und kam ebenfalls auf Faktor 3-5 für den kompletten Indexbaum.