在荷兰做了三年公使以后，1797年亚当斯又被任命为驻葡萄牙公使。他正在赶赴葡萄牙的路上，这项任命又出了意外。原来，在这个时候，他的父亲老亚当斯接替华盛顿成为了美国第二任总统。父亲当上了总统，小亚当斯也没有因此而升官，只是被改派为了驻普鲁士公使。
在欧洲担任外交职务时，在伦敦的一次短暂停留期间，亚当斯遇到了美国驻英公使的女儿露易莎·凯瑟琳·约翰逊，并与她结了婚。露易莎生性暴躁，又常年疾病缠身，婚后的25年里一直未能真正了解丈夫。
1801年，亚当斯夫妇带着孩子回到美国。这时老亚当斯总统已经卸任，亚当斯未能再获得外交官职位，只好回波士顿重执律师业。
没有干多久，亚当斯又立即投身政治舞台，当选马萨诸塞州参议员，进而进入美国参议院。同时，由于富有外交经验，他还被聘为哈佛学院修辞学和辩论学教授。这一时期，他成了国内政坛上最活跃的青年政治家之一，政治声望不断上升。
由于受父亲影响，亚当斯也加入了联邦党。虽然是联邦党人，亚当斯却对民主共和党身份的杰斐逊持支持态度。杰斐逊总统决定购买路易斯安那时，亚当斯投票支持；杰斐逊支持的《禁运法案》，小亚当斯也支持。
作为联邦党成员，却大力支持民主共和党的总统，亚当斯的这种行为自然不被联邦党人接受。于是，联邦党内开始谋划把亚当斯排挤出参议院。1808年，联邦党控制的马萨诸塞州举行议会选举，亚当斯竞选失败，被迫离开美国参议院，进入哈佛大学任教。
在联邦党人排挤了亚当斯之后，民主共和党人却向亚当斯伸出了友谊之手。1809年，麦迪逊成为美国总统后，任命亚当斯成为驻俄公使。
此时，亚当斯已经进入中年，他的思想更加成熟，外交经验丰富。更为重要的是，当时欧洲的大局就是和拿破仑作战，作为一个驻俄公使，亚当斯从心里对俄国对法国的抵制非常认同。
因为这种发自内心的认同感，亚当斯很快就和俄国沙皇亚历山大建立了很好的个人关系。凭借这个关系，亚当斯成功说服俄国，允许中立的美国船可以自由进入俄国港口。
1812年英美战争持续了一段时间以后，英美两国都不想再打下去了。1813年，麦迪逊总统指派亚当斯，率领一个代表团和英国进行谈判。谈判进行得十分艰苦，一直持续到1814年圣诞前夕，双方才达成《根特条约》，最终结束了英美战争。
这个条约虽然没有彻底解决英美关系问题，但它恢复了英美两国战前边界状态，让美国在一定程度上摆脱了英国的殖民压榨，这为美国的独立发展奠定了基础。
英美战争结束之后，亚当斯又被任命为驻英公使，1815年，他与英国签订了《贸易公约》，这为英美两国贸易正常化，乃至两国关系正常化都起到了重要作用。
亚当斯的外交才能在麦迪逊任总统期间得到了充分的发挥，这让下一任总统门罗也对亚当斯刮目相看。1817年，门罗总统任命小亚当斯担任国务卿。
亚当斯的国务卿做得非常成功，在任职期间，他和英国签订了《1818年公约》，让美国获得了加拿大海岸以外特定海域的捕鱼权；他与西班牙签订《亚当斯—欧尼斯条约》，以500万美元的代价，把西班牙控制的佛罗里达转让给美国。
亚当斯担任国务卿期间，尤其值得一提的是，他促进了“门罗主义”的形成。当时，英国建议美国和英国联合，不让其他欧洲国家插手美洲事务。当时，连威望很高的前总统杰斐逊，都建议门罗总统接受英国建议。
但亚当斯却主张不要接受英国建议，而是由美国单方面宣布，不让欧洲国家插手美洲事务。这样一来，就把英国也排挤在了美洲之外。门罗总统接受了亚当斯的这一主张，并逐渐发展成为了著名的“门罗主义”。
事后证明，亚当斯的这个建议确实更符合美国利益。后人认为，在“门罗主义”形成过程中，亚当斯的贡献实际上已经超过了门罗总统本人。
亚当斯的这段外交生涯是成功的，他也因此被后世评为“最有才华、成就最高的国务卿之一”“能干的外交官”。
