Das ist so nicht richtig, wie eine Suche nach »Schweizer Seiten« mit der angesprochenen Topleveldomain zeigt. Wahrscheinlicher ist, dass Google durch statistische Analysen versucht, der Seite ein Land zuzuordnen. Anhaltspunkte erster Wahl könnten Top-Level-Domain oder auch der Serverstandort sein.
die erklärung, die mir dazu einfallen würde, wäre wenn, dann, dass entweder sämtliche links von überwiegend ch seiten darauf verlinken oder eine ch domain dorthin weiterleitet.
ob das site argument vorrang hat, weiß ich nicht.
trotzdem würde ich empfehlen, eine ch tld zu verwenden.