Il castello, simbolo di Soliera, fu costruito intorno al XII secolo a scopo difensivo. Vista la sua posizione strategica tra Modena e Carpi, fu conteso nei secoli fra le nobili famiglie dei Pio e degli Este e fu oggetto di molti interventi, che lo trasformarono da disadorna fortezza in dimora signorile.
Nel Seicento gli Este elevarono Soliera a marchesato e concessero il castello alla famiglia Campori, che gli diede il proprio nome e ne rimase feudataria fino al 1796.
I Campori rimasero proprietari per altri due secoli. Dal 1990 il castello è di proprietà del Comune, che da allora lo ha più volte restaurato. L’intervento più recente è stato fatto per riparare i danni provocati dal terremoto del 2012.

Al piano terra si trovano la Biblioteca Campori e la Sala Consiliare, dove si riunisce il Consiglio Comunale e si svolgono incontri ed eventi.
In un sottotetto dal 2018 trova posto l’Acetaia Comunale, con l’aceto prodotto da uve del territorio solierese.

Sempre dal 2018, il Castello Campori è diventato Castello dell’Arte: nel piano nobile è stata allestita una sede tutta nuova per mostre ed esposizioni. Arte contemporanea e fotografia sono le forme espressive a cui si intende rivolgere la proposta del Castello, che ha preso il via con la mostra Intra moenia. Collezioni Cattelani: una raccolta di opere di artisti di primo piano nel dell’arte contemporanea italiana e internazionale. Nel 2019 ha invece ospitato la mostra fotografica a cura di TerraProject Photographers Un paese ci vuole.
A ottobre 2020 ha inaugurato la mostra di uno dei più grandi scultori viventi, le cui opere sono presenti in spazi aperti e collezioni pubbliche di tutto il mondo: Arnaldo Pomodoro · {sur}face. A ottobre 2021 ha aperto l’esposizione  Mauro Staccioli [re]action, dedicata uno dei principali esponenti della scultura ambientale. internazionale