Nato a Parigi, Le Tellier ha iniziato la sua carriera come giornalista scientifico, e si è unito Oulipo nel 1992. Come autore, è venuto all'attenzione generale nel 1998, con la pubblicazione in Francia del suo libro ‘'Les amnésiques n'ont rien vécu d'inoubliable'’, una raccolta di mille frasi molto brevi tutte inizia con ‘'Je pense que'’ (credo che). Il suo romanzo piuttosto complesso ‘'Le voleur de nostalgie'’ è un omaggio allo scrittore italiano Italo Calvino. Egli è anche uno dei Papous dans la tête, su la stazione radio francese culturale France Culture.
È anche l'autore di un biglietto quotidiano nel giornale ‘'Le Monde'’, su internet. Hervé Le Tellier è anche uno dei fondatori dell'"associazione degli Amici di Jean-Baptiste Botul" (''Association des Amis de Jean-Baptiste Botul'', o ''A2JB2''), presentata come ente che curerebbe la raccolta e la pubblicazione degli scritti di Botul.