Dankzij een gift van Majoor van Swieten werd in 1884 de Tuinbouwschool gesticht. Dit ter nagedachtenis aan zijn zoon Gerard Adriaan die op 21-jarige leeftijd overleed. Met deze school werd extra invulling gegeven aan de pijler scholing. Tot 1969 was in dit pand de oudste tuinbouwschool van Nederland gevestigd. In datzelfde jaar werd een nieuw, modern gebouw in gebruik genomen. In 2005 werd de Tuinbouwschool gesloten.

De Tuinbouwschool heeft gedurende 121 jaar op hoog niveau gefunctioneerd. Het was een begrip en Nederland en ver daarbuiten. Studenten, ook wel tuinhazen genoemd, werden geroemd om hun kennis van zaken, met name ook vanwege hun enorme praktijkkennis, opgedaan hier in de tuinen. A.C. Ide was de eerste directeur van de Tuinbouwschool. Het studentenwoningencomplex achter de tuinen, de A.C. Idehof is vernoemd naar deze eerste directeur. Omdat Frederiksoord niet bepaald centraal gelegen is hebben de tuinhazen in het verleden vaak in de kost gezeten bij bewoners van Frederiksoord en omgeving.

De tuinen van de Tuinbouwschool zijn nog altijd een begrip. Hoewel er al lange tijd geen groot onderhoud meer heeft plaatsgevonden, wordt er vanaf 2019 weer in de tuinen geïnvesteerd. Oud leraren en leerlingen zijn hierbij betrokken. De Stichting Weldadig Oord  heeft in samenwerking met de huidige eigenaar (De Vitaliteits Campus) de mooie ‘Van Swieten Tuinbouwschool’ wandelroute uitgezet.