Das Rittergut stellt den Ursprung des Dorfes Silberstraße dar. Dabei geht das Rittergut auf ein früheres Gut zurück, das bereits im Jahr 1251 unter dem Namen "Arme Ruh" oder auch "Zur armen Ruh" urkundlich erwähnt wurde. Alles was zuvor war liegt im Dunkeln der Geschichte. Die Namensänderung in Silberstraße erfolgte vermutlich zwischen 1470 und 1479 aufgrund der Lage des Dorfes an der gleichnamigen Handelsstraße. In dieser Zeit war Kunz von Uttenhofen Besitzer des Gutes. 1551 ist dort ein Vorwerk nachweisbar. In den folgenden Jahrzehnten wechselte das Rittergut wechselte das Rittrgut häufig den Besitzer. Bis heute sind 46 Eigentümer bekannt. 

1905 wurde das Herrenhaus errichtet

1606 taucht das Land erstmals als Rittergut in den erhaltenen Unterlagen auf. 1801 brannte das Rittergut ab und wurde nach dem Brand wieder neu aufgebaut. 1899 erfolgte unter dem Besitzer Ernst Gustav Alfred Dautzenberg der Abriss des alten Rittergutes. An seiner Stelle wurde das heutige Herrenhaus errichtet. Nach dem Zweiten Weltkrieg und der Enteignung wurde die Immobilie Gemeindeeigentum. Das Herrenhaus diente zu DDR-Zeiten als Wohnhaus. Nach der Wende stand das Gebäude lange leer, was der Bausubstanz erherblich schadete. An Kaufinteressenten hat es nicht gemangelt. Nur kam es nie zu einem Abschluss. Auch ein Hotel Garni sollte ins Rittergut einziehen. Doch als der Lärmpegel der B 93 bekannt wurde zog der Investor seine Pläne zurück. 

Stadtrat beschloss 2010 die Versteigerung

2010 beschloss der Stadtrat die Immobilie versteigern zu lassen. 19.000 Euro war das Mindestgebot bei der Deutschen Grundstücksauktion am 11. Dezember 2010. Doch auch hier wollte das Rittergut niemand haben. Auch bei einer weiteren Auktion, Mindestgebot 5000 Euro, fand sich kein Käufer. Dann die Hoffnung: Das stark sanierungsbedürftige und teils einsturzgefährdete Rittergut wurde 2011 für 18.000 Euro an ein Ehepaar aus Tennesse (USA) verkauft. Im Gebäude sollten Wohnungen und eine Pension entstehen. Das Rittergut hatten die Rentner im Internet entdeckt und sich nach eigenen Angaben sofort in die Immobilie verliebt. Doch die Bürokratie und unter anderem fehlende Krankenversicherungen ließen das Vorhaben scheitern. Mitte 2015 erfolgte ein weiterer Verkauf. Wieder waren Umbauten geplant, die an die Optik von 1905 anschließen sollten. Insbesondere das Interieur soll an diese Zeit erinnern.