匈奴之前被汉军打怕了，一听汉军进攻就惊惶逃跑，跑到西边正好又遇到汉军的联盟乌孙大军。一场激战后匈奴大败而归，常惠因此封为长罗侯。匈奴越想越觉得没面子，第二年冬天，再次发动突袭，不过这次不是袭击汉朝，而是选择邻居乌孙作为目标。结果这年下大雪，匈奴军队因为装备不够，光冻死的士兵就有不少，一场大战打下来，生还者还不到十分之一。再加上乌孙、乌桓与丁令乘胜攻击，匈奴此次出击损失惨重，全国损失五分之三的人口，养殖业也遭到重创，损失了一半，国力整体下降。
虽然打走匈奴，但实际问题仍然存在——不知道什么时候匈奴又会起兵侵犯边疆。为了拿下西域这块广袤的土地，汉宣帝想了很多办法。首先，他推行汉武帝时期在西域的屯田策略，即招募士兵前往边塞耕地、生活。屯田的士兵不仅能帮助解决军队的粮食补给问题，还可以成为稳定西域的重要力量。
公元前68年，宣帝派遣侍郎郑吉等人屯田渠犁，备好粮食，准备出兵攻打与匈奴结为联盟的车师国(现新疆吐鲁番一带)。第二年，郑吉成功完成任务，车师国成为汉朝的附属国，郑吉因功升为卫司马，兼任“护鄯善以西南道使者”，也就是西域都护的前身。之后的汉朝担任起了“纠纷调解员”的职责，成为西域各少数民族之间及内部矛盾的调解人。当乌孙内部发生****时，他派长期生活在乌孙、有丰富外交经验的冯缭为使节出使乌孙，帮他们解决内部的矛盾。
公元前64年，匈奴又一次跃跃欲试侵犯汉朝边境。这个匈奴虚闾权渠单于对归附汉朝的车师国一直贼心不死，不顾当时国内民不聊生，数次派兵侵扰车师。汉朝派使者校尉郑吉领兵七千前往车师国救援，没想到居然被匈奴大军围困。消息传到长安，汉宣帝立刻召赵充国进殿商量怎么去救郑吉。
说起赵充国，他原为陇西上邽（今甘肃天水）人，汉武帝时，随贰师将军李广利（李夫人长兄）出击匈奴，率七百壮士突出重围，被武帝拜为中郎，官居车骑将军长史。汉昭帝时，历任大将军（霍光）都尉、中郎将、水衡都尉、后将军，率军击败武都郡氐族的叛乱，并出击匈奴，俘虏西祁王。昭帝死后，赵充国与霍光等尊立汉宣帝，封营平侯。可以说他是老牌大将，非常熟悉匈奴和氐羌的习性。
赵充国认为，守护属国既是大汉作为联盟国的义务，也是既定国策，必须坚决执行。何况车师国土地肥美，又靠近匈奴，一旦被匈奴占领，汉朝也会不得安宁。所以他愿亲自领兵，攻打匈奴右地，这样一来不但可以缓解郑吉被围之急，还能迫使匈奴不再骚扰西域。
可是，本来挺好的计划却遭到了丞相魏相的坚决反对。魏相认为：匈奴已经很久没有侵扰汉朝了，汉朝要是出兵，那就是要对他们赶尽杀绝，是不仁不义。何况车师国只是一个小国，离汉朝又隔了千山万水，一趟出兵没有什么意义，反而会加重老百姓的负担。魏相还表示说，干脆把车师国的屯田兵全都撤回来，把西域全都让给匈奴，让他们在那儿好好过日子，就不会老想着要入侵汉朝了。
赵充国一听简直要气炸了。虽然匈奴最近运气是不太好，天灾人祸让他们的生活过得很艰难，但是汉朝眼下已经有能力负担得起这一战，这是一场只会赢不会输的战争啊。西域是匈奴最后一块奶酪，只要牢牢守住车师国，匈奴就再没有赋税收入，就会失去恢复战斗力的机会。难道经过这么多年艰难的战争后，居然要坐视匈奴恢复元气吗？不该打的仗当然不能打，但必须打的仗怎么可以因为眼前的一点小利益而放弃？最终，宣帝在赵充国与魏相间采取了折中方案：郑吉也要救，西域也要争，但车师国可以不要。就这样，汉朝派光禄大夫常惠率领酒泉、张掖两郡的精锐骑兵出车师北千余里，击退匈奴，然后将郑吉等七千官兵撤往车师以南千里的渠犁基地，接着又将车师政府与国民也尽数迁到了渠犁，把车师故地让给了匈奴。
公元前60年，西域的少数民族内部爆发矛盾，日逐王先贤掸与新任单于握衍朐鞮一直合不来，谁也不待见谁。日逐王先贤掸于是决定借助汉朝的力量来收拾握衍朐鞮，他带着数万人投降大汉，汉宣帝派郑吉带兵五万，前往渠犁、龟兹诸国去迎接他们，一直护送到长安。日逐王先贤掸投降汉朝后被封为归德侯，西域正式并入汉朝的版图，日逐王之前在西域设立的僮仆都尉一职被汉朝设置的西域都护一职代替，郑吉为第一任西域都护。这为匈奴和汉朝之间的关系翻开了新的一页。
平定了西域地区，汉宣帝也为丝绸之路作出了巨大的贡献，从此，天山南北成为中西交通的桥梁，西域各地和汉朝各方面联系日趋密切，丝绸、漆器通过丝绸之路走向了全世界。
当时，汉代去往丝绸之路的商队通常由政府官办，称为使节，实际是官办的贸易队伍。汉宣帝时代，每年都派出大批使团随带大量的牛羊、缯帛和黄金，用骆驼和驴作为运载工具，跋涉于沙漠、碱滩、草原和峡谷之间，和远方的塞人、大月氏人交换商货。这些汉朝商队跨越了阿姆河，进入里海北部、伊朗高原、美索不达米亚、叙利亚和北印度等地，他们中最远的到达了地中海滨的安提阿克，有的甚至还抵达了罗马，充当了汉朝的使者。
汉宣帝时代对丝绸之路的经营仅仅是一个开端，这一举动保护了东西文化交流的桥梁，使丝绸之路成为世界文化交融的大通道。在这条联结欧、亚、非三大洲的大道上，大流士、亚历山大王、汉武帝、汉宣帝、唐太宗和贵霜朝诸王、萨珊朝诸王、******教主、蒙古大汗们、帖木儿等都曾活跃一时。可以说，汉宣帝经营的丝绸之路是世界历史展开的主轴，打开了整个人类文化交融的通途大道。
强悍的山地步兵族——西羌
西汉时期，在繁忙的丝绸之路上，除了匈奴还有另一个让汉宣帝头痛的对手——西羌。西羌人当时主要集中在河西走廊一带活动，也是一个作风强悍的战斗民族。由于大漠自然资源贫乏，为了部落的生存，西羌人生性坚刚勇猛，常以战死为吉利，病终为不祥，并且艰忍耐寒，哪怕女人怀孕生孩子也从不避风雪，身体素质简直是强到令人发指。如果说匈奴是当时最强悍的草原骑兵，那么羌族就是当时最强悍的山地步兵。
汉昭帝时，汉朝为了进一步稳固帝国西陲的边防，于公元前81年在西羌河湟故地增设了“金城郡”，金城的意思是希望此地如金铸成，坚不可摧。治所在允吾（今甘肃永靖西北），辖今甘肃省兰州市以西、青海省青海湖以东的广大地区，并迁移了大量汉民过去生活，以壮大其力量。从此，湟水流域二十年太平无事，直到公元前62年，湟水两岸发生一场前所未有的巨乱。
这一年，汉宣帝派光禄大夫义渠安国（为义渠部落后裔）出使西羌，宣导汉朝的民族政策。西羌先零部落的酋豪便趁机向义渠安国提出了一个居心叵测的请求，想渡至湟水北面，那里自然资源丰富，生活更容易些。西羌自从迁徙到青海湖一带后，日子过得很艰苦，始终惦记河湟故地那一块美丽富饶的地方。他们保证，只要能让他们回到故乡，绝不侵扰农田，他们只是想在汉民弃耕的荒地上放羊牧马。义渠安国一听“家乡”这个字眼，立马觉得这是一个多么淳朴的要求啊，简直被感动得不行了。他二话不说，立刻答应了羌人的请求。然后回到长安向宣帝报告了这个情况。
