Dans le New York des années quarante, Joseph Mitchell, un célèbre journaliste du New Yorker, fait la connaissance de Joe Gould. Ce personnage bohème est diplômé de Harvard et réside à Greenwich Village. Il y travaille à l'oeuvre de sa vie, l'Histoire Orale, une retranscription de tout ce qu'il entend au hasard de ses rencontres. Sans emploi, il dépend d'amis et de dons versés aux "Fonds Joe Gould" pour survivre.
La parution de l'article que Mitchell décide d'écrire sur lui pour le New Yorker apporte une certaine notoriété à Gould, compliquant ainsi leur relation. Désormais, Mitchell devra porter sur ses épaules le secret de Joe Gould