Mais en 1967, sa carrière scientifique est soudain compromise par son incorporation dans les troupes combattantes au Vietnam. Il reviendra un an plus tard de cette guerre, avec quelque deux cents blessures, dont une vingtaine jugées très graves, causées par l’explosion d’une mine et qui lui vaudront cinq mois d’hospitalisation.
C’est alors, qu’il écrit Au Service de la Guerre, un livre qui relate son expérience militaire et dont le succès l’incite à devenir écrivain. Il commence par publier de courtes histoires dans des revues de science-fiction, puis entreprend d’écrire un premier grand roman.
En 1974, paraît ainsi La Guerre éternelle qui transpose dans le futur, l’horreur apocalyptique qu’il a vécue au Vietnam. L’ouvrage devient un best-seller international et remporte deux des plus prestigieuses distinctions de la SF anglo-saxonne, le Prix Hugo et le Prix Nebula. Son auteur décide alors de mener conjointement deux carrières : l’une de professeur et l’autre de romancier. Il enseigne ainsi dans les plus importantes universités d’Amérique, dont celles de l’Iowa, du Michigan, du North Dakota et du Nord de la Floride, ainsi qu’au fameux Massachusetts Institut of Technology. Ses activités littéraires se concrétisent parallèlement par une succession de succès parmi lesquels Buying Time (publié en français sous le titre Immortalité à Vendre) qui sera le point de départ de la série BD Dallas Barr dessinée par Marvano.
Quand il n’est pas en vadrouille un peu partout dans le monde, participant aux conventions de SF ou à celles consacrées à son idole Ernest Hemingway, Joe Haldeman partage son existence entre ses maisons de Gainesville en Floride et de Cambridge dans le Massachusetts où il travaille à de nouveaux livres, de nouveaux scénarios et , après l’avoir adapté en BD pour Marvano, à une adaptation cinématographique de son roman La Guerre éternelle.
Marié depuis 1965, il a fait de son épouse Mary Gay Potter, l’un des personnages centraux de plusieurs de ses récits, dont celui de Libre à Jamais, sa toute nouvelle bande dessinée qu’illustre à présent son ami Marvano pour Dargaud.