L'histoire est celle d'un soldat de l'armée britannique ayant fait ses premières armes aux Indes et au cours de la guerre des Boers. Blimp (Roger Livesey) se rend en Allemagne avant la 1ère Guerre Mondiale pour raisons diplomatiques. Il est mêlé à une cabale qui le conduit à être défié en duel. Son antagoniste lui délègue un adversaire qu'il ne connait même pas. Les deux officiers se battent, sans se tuer, puis sont soignés dans le même hôpital. Ils tombent amoureux de la même femme, une anglaise jouée par Deborah Kerr.
Les deux soldats se lient d'amitiés, même si la femme qu'ils se disputent choisit d'épouser Théo Kretschmar-Schuldorff (joué par Anton Walbrook).
Le reste du film va s'attacher aux destins croisés des deux officiers, qui se rencontrent à nouveau au cours de la 1ère Guerre Mondiale. . Ils sont animés du même sens de l'honneur. Juste avant la 2e Guerre Mondiale, Théo quitte l'Allemagne nazie, pour se réfugier chez son ami Anglais. Blimp, toujours animé par des principes stricts, sur la manière de mener une guerre, ne se résout pas à considérer le combat à venir, contre le nazisme, comme une guerre d'une autre nature. Il ne veut pas transiger avec ses principes. Le destin se charge ensuite de lui administrer la preuve qu'il a tort. Sa conception de la guerre est alors définitivement remise en question... Des fins justes (comme la lutte contre Hitler) peuvent-elles parfois justifier des moyens qui dérogent au code de l'honneur ?
A titre anecdotique, la très belle Deborah Kerr joue dans le film 3 personnages qui ne se rencontrent jamais : l'épouse de Théo, l'infirmière de la 1e GM qui épousera Blimp, puis l'aide de camp de Blimp vieillissant (au cours de la 2e GM), dont le petit ami administrera la leçon final de réalisme et de pragmatisme militaire à Blimp.
Tourné en pleine 2e Guerre Mondiale, Colonel Blimp pose des questions essentielles sur le métier des armes, mais il les traite avec humour et émotion.