Figlio del grande Sir William, nacque a Slough il 7 marzo 1792. Diplomato a Cambridge nel 1813, intraprese dapprima lo studio del dirittoi; ma già a partire dal 1808 aveva iniziato ad aiutare l'illustre ma anziano genitore nel suo lavoro, e ne rivide e ampliò l'opera.

Nel 1834 si recò in Sudafrica, dove per quattro anni catalogò le nebulose e gli ammassi stellari del cielo australe. Tornò a Londra nel 1838 e smise praticamente di occuparsi di astronomia, a parte il lungo lavoro di messa a punto della "telescopic survey" del cielo australe, che vide la luce soltanto nel 1847.

Altri interessi di John Herschel furono la chimica e la fotografia (a lui si devono i termini fotografici "positivo" e "negativo", e mise a punto diverse nuove tecniche). Nel 1849 pubblicò il celeberrimo libro di divulgazione dell'astronomia "Outlines of Astronomy", che fu un incredibile successo editoriale.

Rispettato ed onorato come uno dei maggiori scienziati del suo tempo, John Herschel é uno dei pochi grandi astronomi di ogni tempo che non abbia mai ricevuto incarichi accademici o pubblici in genere (pur essendo membro onorario praticamente di tutte le accademie scientifiche del mondo!): riuscì invece sempre a vivere con i propri mezzi, in modo da occuparsi delle ricerche che più lo interessavano personalmente.

Morì l'11 maggio del 1871, carco di gloria e di onori, a Jawkhurst nel Kent.