1732年3月31日，海顿出生在奥地利偏僻的穷乡村——罗劳。父亲是一位车匠，会唱歌，但不识谱。海顿从小过着“鞭打胜于食物”的贫穷生活。他从奥地利民间音乐和教堂音乐中受到熏陶，对音乐非常喜爱。8岁时，他幸运地参加了维也纳童声唱诗班，并表现出非凡的音乐天才，写出了12个声部的大合唱，他活泼而淘气，有一次到宫廷去唱歌，竟好奇地爬到正在修建的高楼屋顶上玩耍，被女皇发现了，受到一顿训斥。
海顿17岁时，开始变声，不能再留在唱诗班，他自己也觉得在这里再也无所作为了，早就想另谋生路，但教会知道海顿的才能，无意放他走。海顿为了离开教会，竟在唱诗班练唱时，带剪刀剪掉前排人的头发，因而惹怒了教会，离开了唱诗班。
海顿29岁时，担任了欧洲最富有的贵族——保罗·安东·埃斯特哈奇公爵的宫廷副乐队长。安东公爵很赏识他，因海顿皮肤黑，公爵称他“阿拉伯人”。从此海顿有一个安定舒适、进行音乐创作的好环境。安东去世后，其弟尼古拉斯公爵继位。尼古拉斯公爵也很赏识海顿，且爱慕虚荣，以高昂的代价修建起一座豪华的宫殿，来炫耀自己的高雅、富有。宫殿远离市嚣，四周绿树、青山、沼泽环绕，幽静极了。公爵常举行音乐会以自娱，丝竹管弦，不绝于耳。
有一次到了圣诞节，公爵竟忘了让宫廷乐队告假回家。海顿为了提醒公爵，创作了着名的《告别交响曲》。
他两次去英国，在伦敦开音乐会，取得了巨大成功。他获得了牛津大学的博士学位，并创作了12首着名的《伦敦交响曲》。伦敦的旅行，使海顿大开眼界，提高了他对启蒙运动的认识。听了亨德尔的清唱剧后，他被宏伟的气魄，强劲有力而又美丽动听的旋律深深感动了。回国后他创作了两部清唱剧——《创世纪》和《四季》。
1809年，法军包围了维也纳城，在隆隆的炮声中，海顿静静地坐在钢琴旁激情地弹奏奥国国歌。他辛劳了一生，身体极度衰弱了，终于经受不住炮火的轰击，于1809年5月31日去世，遗体葬于维也纳近郊公墓。
11年后移葬埃斯特奇哈公爵宫邸墓地。
