X Window Systém bol pôvodne vytvorený tak, aby pracoval transparentne cez sieť. Jeden veľký server by skutočne bežal X programy, ale tie by sa zobrazovali na rôznych klientských strojich inde v sieti. Schopnosť zobrazovať programy na vzdialenej obrazovke môže byť veľkou výhodou. Hlavnou nevýhodou tohoto sieťového konceptu je to, že je menej bezpečný, než bežanie aplikácií na lokálnom stroji, a spotrebuje veľa z priepustnosti siete. Táto téma je rozdiskutovaná neskôr v sekcii nazvanej Exportovanie displejov.
Aj keď bežíte X na svojom vlastnom stroji, stále máte čo do činenia s modelom klient-server. Server je časť špecifická pre video-kartu. Keď ste konfigurovali X a povedali ste aký druh video karty máte, tak ste vlastne vraveli, aký server program sa má použiť. Klientská časť sú všetky ostatné programy, ktoré bežíte pod X. Špeciálny klient, zvaný správca okien, je zodpovedný za vzhľad a výzor tej ktorej X relácie. Správca okien je podrobnejšie diskutovaný nižšie.
Úlohou správcu okien je postarať sa o vykresľovanie okien na obrazovke s programami v nich, rovnako ako aj spracovanie vstupu od myši a klávesnice. Prví správcovia okien robili len to a takmer nič viac. Dnešní správcovia okien sú oveľa komplikovanejšie programy, ktoré sú prispôsobiteľné toľkými spôsobmi, koľkými si len viete predstaviť. Majú všelijaké možné nastavenia, ktoré umožňujú zmeniť výzor vašej pracovnej plochy tak, aby sa nepodobala na nič iné.
Mať niekoľkých správcov okien skutočne oddeľuje Linux od Windows na desktop-e. Pod Windows-ami máte jedno základné oknové prostredie. Pod Linux-om môžete bežať jeden z mnohých rôznych správcov okien, každý s rôznym výzorom a rôznymi vlastnosťami. Niektorí ľudia to nazývajú slabosťou, pretože neexistuje konzistentný výzor. Naopak väčšina Linux-ových užívateľov by to nazvala silnou stránkou, pretože si môžete svoj systém nakonfigurovať do takej miery do akej chcete.