谢玄一生在军事方面最大的四个成就分别是组建北府兵、彭城大胜、淝水之战、北伐收复大量领土。从这四个方面来看，在两晋十六国时期谢玄虽然无法和慕容垂这种名将比，但比王猛桓温这些人还是要强出不少的。
首先是彭城之战，在此之前前秦刚刚啃下了襄阳城，兵锋正盛，一方面为了减轻西边的压力，另一方面是响应西线，东西并进，直取建康。
【且曰：“愿更遣重将攻淮南诸城，为征南棋劫之势，东西并进，丹杨不足平也。】
可见此战确实是形势危急，如果秦军再把东线的彭城攻破，那东晋可就真的危险了。此战的秦军主帅是自告奋勇的彭超，他在之前并没有什么突出的战绩，但很快就能看出来，他也是一员猛将。
七月，带着苻坚信任的都督东讨诸军事的彭超带领着俱难、毛盛、邵保还有浩浩荡荡的七万大军出发了，这时谢玄也带领着数万大军到了在泗汭，想去救彭城，。但谢玄没有立刻去救，而是虚张声势要派遣何谦等进军留城。彭超听闻后，果然上当，率军返回留城保护辎重。何谦迅速率军前进，解彭城之围。危在旦夕的彭城就这样被轻松解救，并且把彭城内的有生力量全部戒酒了出来，使彭超只得到了一个空城，谢玄获得了真正的胜利。但很快彭超就反应过来，率领大军继续进攻，这就让我们看出来彭超果然勇猛善战。
【超留其治中徐褒守彭城而复寇盱眙。俱难既陷淮阴，留邵保戍之，与超会师而南。晋将毛武生救魏兴，遣前锋督护赵福、将军袁虞等将水军一万，溯江而上。坚南巴校尉姜宇遣将张绍、仇生等水陆五千距之，战于南县，王师败绩。寻而韦钟攻陷魏兴，执太守吉挹。毛当与王显自襄阳而东，会攻淮南。彭超陷盱眙，获晋建威将军、高密内史毛璪之，遂攻晋幽州刺史田洛于三阿，去广陵百里，京都大震，临江列戍。】
彭超攻克了淮阴、魏兴、盱眙，并大败晋军。离广陵城不到百里了，京都大震。可见彭超锐不可当。这个时候彭超又获得了两万援军，【秦毛当、王显帅众二万自襄阳东会俱难、彭超攻淮南。】毛当可是猛将，彭超如虎添翼，兵力几乎达到了十万，随后取得了一系列的胜利。
毛当两万大军突然袭击有兵四万的堂邑，毛安之大败，并且史书记载【安之等惊溃】，这时只能让谢玄出战了，谢玄率领三万人大败秦军，后来又和田洛的军队合在一起，五万大军，向接近十万大军的彭超发动攻击，彭超再也没有之前的威风了，前后是四战四捷，杀的彭超仅以身免，斩杀前秦军接近十万。彭超回到前秦也只能自杀谢罪了，悔不该出此大话。
此战谢玄先是虚张声势解了彭城之围，把有生力量都给解救了出来，然后在彭超屡战屡捷，打的东晋京都大震的情况下，率领五万大军面对接近十万的彭超军四战四捷，斩杀数员大将，杀死前秦士兵几乎十万。此战大胜不但保住了建康城，还打出了晋军的威风，也是他展露头角的一场优秀战役。