Haus Herbede ist wohl die älteste Burganlage auf Wittener Stadtgebiet. Seit dem 12. Jahrhundert als Platz urkundlich erwähnt, war sie durch Jahrhunderte Gerichtsherrensitz.

Seit 1311 bis 1809 übte die Familie von Elverfeldt das Gerichtsherrenamt aus. Die Burg blieb bis 1922 im Eigentum der Familie.

Die Burg weist mehrere Bauphasen auf, so dass sie nicht so einheitlich ist, wie sie sich durch die homogene Dachform darstellt. Der älteste Teil ist der zur Straße hin orientierte Südflügel, der sich aus zwei Giebelhäusern aus dem 15. Jh. und Anfang 16. Jh. zusammensetzt. Der Nordflügel mit dem Saal (16. Jh.) stand ursprünglich als frei stehender Baukörper und war an der Westecke mit einem Rundturm flankiert. Der Ostflügel mit der Küche wurde Mitte des 16. Jh. zwischen Nord- und Südflügel gestellt, so dass eine Dreiflügelanlage entstanden war. Erst im 17. Jh. wurde die Westfront mit dem Portal zur Vierflügelanlage geschlossen. Im 18. Jh. erhielt diese Baugruppe das einheitliche abgewalmte Dach.

Vor allem die Fenstererker und im Inneren die Kamine im Saal und in der Küche sind bemerkenswert. Der Innenhof zeigt einen Brunnen und wird geschmückt von einer aufwendig gestalteten Fensterwand mit korinthischen Säulen und einem Figuren- und Wappenrelief und Inschriftfeld, das auf 1576 datiert ist und von Konrad von Elverfeldt als Bauherr und seiner Gemahlin Berta von Schell berichtet.

Im Vorburgbereich konnte durch archäologische Grabungen nachgewiesen werden, dass sich in der nördlichen Ecke der Vorburgmauer ein Wohnzwecken  dienendes Gebäude befunden haben muss.

Auch der südliche Teil der heutigen Vorburg dürfte bebaut gewesen sein zu einer Zeit, als es zwei Herren auf Haus Herbede gab. Später wurden die Vorburggebäude zu wirtschaftlichen oder handwerklichen Zwecken umgenutzt. Der Brunnen zeugt noch von der Wasserversorgung der Vorburggebäude.

Haus Herbede beherbergt heute eine öffentliche Begegnungsstätte mit Kunst- und Kulturveranstaltungen und ein Restaurant. In der Vorburg bieten in neu errichteten, an die Innenmauer angelehnten kleinen Ateliergebäuden Künstler ihre Werke zum Kauf an.