La construction de stades dans les années 1940, sous le gouvernement de Vichy et après la Seconde Guerre mondiale, répond à un contexte politique particulier. Le sport est alors reconnu comme indispensable à la santé physique et encouragé par le général Pétain et ses ministres pour faire oublier la défaite face aux Allemands. Une charte des sports est adoptée à l’issue des lois du 20 décembre 1940 et du 19 novembre 1941. Des stades municipaux sont élevés dans les villes avec le financement de l’État
L’élément le plus caractéristique de ces stades est sans doute le portail, symétrique et monumental. C’est le parti pris architectural du stade de Casteljaloux. On le retrouve au stade de Marmande, aménagé quelques années auparavant. Dans les deux cas, le portail sert de signal au programme.
Le Stade municipal, qui est construit en 1947 près des anciennes usines de Lirac.
Les grandes tribunes du stade municipal de Casteljaloux sont élevées en 1966. Le stade, qui comprend à l’origine un seul terrain de jeux, s’est peu à peu agrandi avec l’aménagement de deux autres terrains, de nouvelles tribunes, de cours de tennis et d’un club house
