Die „Strohhutfabrik“ wie sie im Volksmund genannt wurde, gründeten im Jahr 1872 Carl Otto Wolber aus Schramberg und Matthäus Pfaff aus Seelbach. Sie ersteigerten das kleine Strohhutgeschäft von Johann Georg Armbruster, das aufgegeben war und einst im Papier- und Schreibwarengroßhandel Ebner untergebracht war. Das Geschäft der Firma Wolber & Pfaff wurde in den ehemaligen Klostergebäuden angesiedelt. Diese Gebäude waren für handwerkliche Fertigungen von Hüten und Mützen geeignet. Die später immer mehr erforderliche maschinelle Herstellung erfordert ständige Um- und Erweiterungsbauten.

Nach dem Zweiten Weltkrieg war der Wiederbeginn von Wolber & Pfaff schwierig. Erst nach der Währungsreform lief es wieder besser. Erhard und Paul Pfaff führten die Geschäfte. Die Firma entwickelte sich prächtig und beim 100jährigen Bestehen im Jahr 1972 waren 280 Arbeitskräfte beschäftigt.

Billigimporte und die abgesagte Fastnacht (Golfkrieg 1991) brachte das Unternehmen wiederum in Schwierigkeiten. 1992 erfolgte der Umzug in das Industriegebiet Ost. Alle Anstrengungen nutzten nicht. Golfkrieg und Billigimporte hatten dauerhaft Spuren hinterlassen. 1997, im Jahr des 125. Geburtstags, ging Wolber & Pfaff in Insolvenz.