Im Kirchenlagerbuch wird die Straße als „Schafstraße“ bezeichnet (1787). Das erste Haus in dieser Straße war die zweite Pfarre, das Haus Ecke Süderstraße / Schäferstraße (heute Landeskirchliche Gemeinschaft). Hier hatte der Küster seine Wohnung. Dieses Haus wurde erstmals in einer Schenkungsurkunde 1484 erwähnt. Es diente auch dem Organisten und dem Kirchendiener als Wohnstätte; es wurde 1891 gründlich umgebaut. Heute erinnert in diesem Haus nichts mehr an die ursprüngliche Küsterwohnung. Das zweite Haus in dieser Straße war das Pfarrwitwenhaus. Nach der Reformation wurde im Landtagsabschied von 1572 ein solches Haus von jedem Kirchspiel gefordert. Erst 1805 wurde dieses Haus, welches vorher ständig vermietet war, von der Witwe des Pastor Pape bewohnt. 1862 wurde das Pfarrwitwenhaus an den Schlachtermeister Röhrs verkauft. Dieser ließ es 1885 abreißen und durch einen Neubau ersetzen. 1910 entstand an gleicher Stelle ein großes Geschäftshaus, welches 1945 bis auf die Grundmauern niederbrannte. Gleich nach dem Krieg baute Röhrs die stehengebliebenen Mauerreste zu einem eingeschossigen Wohn- und Geschäftshaus aus. Heute befindet sich in dem Gebäude das DRK. Das Küsterhaus und das Pfarrwitwenhaus waren fast 200 Jahre die einzigen Wohngebäude in der Schäferstraße.
Am 18. Und 19. April 1945 wurden in der Schäferstraße einige Häuser zerstört. Nach dem Krieg konnten diese Lücken nur langsam wieder geschlossen werden. Die damalige Spar- und Darlehnskasse (heute Volksbank) baute 1956 ihr neues Bankgebäude auf dem Trümmergrundstück des Viehhändlers Leverenz. Die letzte Kriegslücke wurde erst 1986 durch den Neubau des Arztpaares Wolff geschlossen. Die ehemaligen Hausplätze von Schneider und Wohlberg sind heute ein Teil der Grünanlage an der Visselquelle. Am Standort der 1972 abgebrochenen Jugendherberge befindet sich heute ein Parkplatz. Von den einstmals 22 Häusern in der Schäferstraße stehen heute noch 13. Sie sind modern und sauber angelegt und geben der Schäferstraße ein frisches Gesicht.