谢安不仅是东晋一位杰出的政治家，而且博学多才，风度优雅，为东晋名士之冠。江左重人物，风流学养特为士人所矜重，谢安在这些方面，都体现了优秀的素质。
玄学作为侨姓士族的文化标志在整个社会生活中占重要地位。对玄理的掌握和谈玄技巧成为一项重要的价值标准。谢安便精于玄道。二十来岁时，拜访名士王濛，与他清谈了很久，大受赞赏。曾与许询、支道林等人聚集在王濛家。谢安提议大家在一起言咏写怀，于是共解《渔父》。谢安看题，令众人解释，支道林先解，讲了七百余语，叙致精丽，才藻奇拔，众人无不称善。大家都各抒己见之后，谢安谈自己的见解，讲了万余语，才峰奇逸，萧然自得，在座的人，莫不钦服。许、王、支都是东晋有名的谈手，而皆服于谢安，可见谢安玄学知识的渊博和言谈的精炼。
谢安亦通儒家经典。宁康三年（375），孝武帝将讲孝经，谢安与弟谢万等人在宫廷侍读，中书郎车胤摘句，不懂的地方便问谢安兄弟，一而再，再而三，深感不安，便对袁宏说，“不问则德音有遗，多问则重劳二谢。”袁宏劝他不必担心，因为“明镜不疲于屡照。”意即谢安学识渊博，通经熟典，为人解答疑难不会有什么困难。
在文学方面，谢安也很有修养。能诗善文，才学华丽。早年在东山，“出则渔弋山水，入则言咏属文。”谢安诗作传世的有十来首。他曾写简文帝谥议，文理深得，为朝廷所采纳。桓温阅后，递给在座其他人看，并说：“这是安石碎金。”他闲居时，常与子侄们论文作诗，成了当时文坛佳活。
谢安和王羲之是非常好的朋友，同时和王献之也是非常好的朋友。谢安之王羲之小十多岁，比王献之大二十多岁。
谢安“工书善画”。他很喜欢顾恺之的画，称赞其画是“自生人以来未有也。”可见他对绘画有一定的爱好和鉴赏能力。曾经跟王羲之学草书，王羲之称赞他是“解书者”，说明他不仅会书法，而且懂书法理论，同时也有自己的欣赏能力。谢安的行书、隶书都写得很好。南朝羊欣所编《古来能书人名》及王僧虔《论书》等，都把谢安作为东晋书法家。
王献之一生都非常爱戴谢安，并在他的官府里做长史。一次，王献之称赞谢安潇洒，谢安回答说：“我不潇洒，只是身心比较顺畅罢了。”潇洒这个词，最早出于此。
谢安被誉为东晋风流领袖，他的一举一动，都左右着当时的社会风气。谢安有鼻疾，作洛下书生咏，声音浊浓，士人们爱其咏而不能及，甚至有人用手掩着鼻子来模仿其浊音。可见那时的偶像崇拜不亚于今天啊，谢安的“粉丝”可真不少。
如果谢安有经济头脑，利用偶像效应发财那是小菜小碟，只是他出身贵族，衣食无忧，不屑于此罢了。有一次，他的一个老乡回家没有费，只有五万把根本卖不出去的蒲葵扇，谢安得知以后，便从中抓了一把，平时与名流们交谈的时候，总是拿在手里，显得很悠然的样子。结果，不得了，人人效仿，建康居然掀起了一股蒲葵扇抢购风，五万把蒲葵扇不久倾销一空。谢安这个穷老乡，不但挣了盘缠，还发了笔不小的财，喜滋滋地回家去了。
也许是为了躲开这些尘世的滋扰，他后来索性就离开建康，去了风光旖旎的会稽，在东山的脚下，曹娥江边，筑室而居。官府征召他也不去，一下子隐居了近二十年。人们忧心忡忡地说：“安石不出，如何苍生何？”谢安不出山，天下苍生可怎么办哪！
