Le CISM a été fondé le 18 avril 1948 à Nice, en France, par cinq pays - la Belgique, le Danemark, la France, le Luxembourg et les Pays-Bas - alors qu'ils participaient à une compétition d'escrime. Même s'ils étaient tous européens, les cinq pays fondateurs envisageaient plutôt ce projet à l'échelle mondiale.

Ce désir qu'exprimaient les militaires de se rencontrer sur des terrains de jeu plutôt que sur un champ de bataille ne datait pas de 1948. En effet, tout juste après la Première Guerre mondiale en 1919, le Général John Pershing avait établi le Conseil des sports des forces alliées et avait organisé les premiers Jeux interalliés en France, auxquels avait pris part 18 pays représentant cinq continents. Mille cinq cents athlètes ont participé à 24 disciplines sportives différentes devant un grand nombre de spectateurs à Joinville, en banlieue de Paris.

Après la Deuxième Guerre mondiale, en mai 1946, le Colonel Debrus et le Major Mollet, qui comptaient parmi les fondateurs du CISM, ont ressuscité le Conseil des sports des forces alliées. Les 2es Jeux interalliés ont eu lieu à Berlin en 1946, cependant, seules des compétitions d'athlétisme avaient été organisées. Malheureusement, en raison de dissensions politiques, le Conseil des sports des forces alliées a été démantelé en 1947. Toutefois, l'idée a revu le jour l'année suivante avec la création du CISM et la naissance d'une vision globale.

Depuis sa fondation en 1948, l'universalité du CISM s'est de plus en plus réalisée grâce aux différents présidents et secrétaires généraux qui ont dirigé l'organisation au fil des ans. En 1950, l'Argentine et l'Égypte sont devenues membres du CISM, qui regroupait alors neuf pays européens. En 1951, se sont ajoutés les États-Unis, suivis en 1952 de l'Irak, du Liban, du Pakistan et de la Syrie.

Au cours des années, le nombre de membres a augmenté progressivement. Les troubles politiques connus à la fin des années 80, et plus particulièrement la tombée du mur de Berlin, ont donné un nouvel élan à l'expansion du CISM. En seulement quatre ans (1991-1995), 31 nouveaux pays sont devenus membres du CISM. Une telle progression a amené des organisations internationales comme le CIO à reconnaître le CISM.