Paterson vit dans une ville qui porte le même nom que lui, dans l'Etat du New Jersey. La cité, qui a hébergé plusieurs écrivains, de William Carlos Williams à Allen Ginsberg, inspire également le jeune homme. Chauffeur de bus, Paterson est aussi un poète minimaliste, qui consigne tous ses textes dans un petit carnet. En dehors de cette activité, la vie de Paterson, qui boit tous les jours une bière dans le même bar avant de rentrer chez lui, est parfaitement réglée. Celle de son épouse, l'enthousiaste Laura, artiste particulièrement inventive, s'articule autour du noir et du blanc, qu'elle décline dans toutes ses créations..