Miejscowi kupcy obawiali się ponadto, że po wybudowaniu połączenia kolejowego mieszkańcy miasta zaczną jeździć na zakupy do Olsztyna. Ostatecznie dworzec obsługujący Pasym zbudowano 3,5 km od centrum, na gruntach Dybowa. Początkowo planowano nadać mu nazwę tej wsi, jednak ostatecznie zdecydowano się na nazwę Pasym (niem. Passenheim), mimo że teren, na którym znajdowała się stacja, nie należał wówczas do miasta. Jednym z powodów takiej lokalizacji dworca była również odnoga Jeziora Kalwa.
Dworzec otwarto w 1883 roku, a mieszkańcy Pasymia szybko przyzwyczaili się do obecności kolei. W pobliżu oddalonej od miasta stacji powstało z czasem kilka budynków. Obok znajdował się tartak A. Wegnera. W 1930 roku szczycieński przedsiębiorca Willy Grzella otworzył w pobliżu fabrykę cegieł wapienno-piaskowych, która działa do dziś.
Od 1901 roku restaurację na dworcu dzierżawił Schweinsberg z Olsztyna. Przed I wojną światową prowadził ją Arthur Scharffenorth.
Początkowo gości przyjeżdżających do miasta dowożono hotelową bryczką z restauracji „Deutsches Haus” lub dyliżansem pocztowym. Z czasem te skromne środki transportu przestały wystarczać. W latach W latach 30. XX wieku, zimą, osoby przyjeżdżające pociągiem do Pasymia dowożono autobusami, zwłaszcza do leżących na drugim końcu Jeziora Kalwa Rudzisk. Miasto posiadało dwa autobusy, które kursowały wahadłowo. Natomiast w sezonie letnim między Rudziskami, Pasymiem i stacją kolejową kursowały dwie łodzie motorowe.






