李广调为上谷太守，天天与小股犯边虏掠的匈奴交战，一马当先，射杀颇丰。典属国公孙昆邪哭着对汉景帝说：“李广的才气，天下无双，他自负，屡次与敌虏肉搏，恐怕有一天会失去他。”典属国相当于今天的外交部副部长，公孙昆邪对汉景帝这样说，应该有两个意思，一个是担心李广这样的人才会失去；另一个是提醒汉景帝，我们还不想与匈奴发生大规模战争，李广整天与匈奴小打小闹，这样下去会有爆发大规模战争的危险。
于是朝廷就调李广为上郡太守。后来又相继调到陇西、北地、雁门、代郡、云中等地为太守，李广依然都以奋力作战而出名。但来回调换、小打小闹、保民护边，李广也是很难立大功的。汉景帝以后的汉武帝，自然也子承父业，会时时顾忌李广这一历史的。勇猛善战的威名害了他。汉文帝十四年，匈奴大举入侵萧关，李广以良家子的身份从军抗击匈奴，因为精通骑马射箭，斩杀匈奴首级很多，就被升任为汉中郎。
李广曾经数次随从皇帝狩猎，格杀猛兽。汉文帝说：“可惜呀，你没遇到时机，假如让你生在高祖帝代，封个万户侯不在话下！”汉景帝时，李广因参与平叛七国之乱而大显勇名，以后又不断在边境各郡任太守，抗击匈奴袭扰，都以奋力作战让匈奴人畏惧。一次他做上郡太守时，匈奴三名射雕人射死了汉军几十名骑兵，李广就带着一百名骑兵分散开包抄三名射雕人，追上他们后，李广射死两个，俘虏一个，正要回去，却发现有数千匈奴骑兵赶来。
匈奴骑兵以为汉军在诱敌，不敢冒然进攻，就在前面不远的山上布阵。李广的骑兵们看到，很是惊慌，准备勒马逃回。李广却不让这样做，他说如果回跑，就会立即被匈奴人追上全被射死，现在只能假装诱敌，迷惑敌人了。于是他让所有人都下马解鞍，装作若无其事的样子。匈奴骑兵摸不清底细，布阵不动。这时有个骑白马的匈奴将军出阵监护他的兵卒，李广上马与十几名骑兵奔驰前去射杀了这个匈奴白马将军，然后又返回到他的骑兵中间，解下马鞍，命令士兵把马放开，随便躺卧。
一直到天黑时，匈奴兵始终觉得很奇怪，不敢出击。夜半时，匈奴兵还以为汉军有伏兵在旁边准备夜间袭击他们，就全部撤走了。李广他们也就安全地回到了营地。汉武帝元光六年（公元前129年），匈奴兴兵南下直指上谷（今河北省怀来县）。汉武帝分派四路出击：车骑将军卫青出上谷，骑将军公孙敖从代郡（治代县，今山西大同、河北蔚县一带），轻车将军公孙贺从云中（今内蒙古托克托东北），骁骑将军李广从雁门出兵。
四路将领各率一万骑兵，迎击匈奴。卫青首征，果敢冷静，深入险境，直捣匈奴祭天圣地龙城，并在龙城之战中，首虏700人，取得胜利。另外三路，两路失败，一路无功而还。这一次李广率军一万出击雁门，因李广威名，匈奴人就以重兵围攻李广，结果在兵力悬殊之下，李广战败被俘。匈奴单于早就听闻过李广的贤明，下令要活捉李广。
匈奴骑兵活捉了受伤的李广，让他躺在两匹马中间的网上押着回去。这样走了十多里，李广假装死去，偷偷看到旁边有一个匈奴骑兵骑着匹好马，就突然跃上那匹马，推翻胡儿，驱马向南跑了数十里，与所属部下回合，回到塞内。这时数百名匈奴骑兵追来，李广就用夺来的胡儿弓箭射杀追兵，终于摆脱了匈奴骑兵的追击。李广败逃回到汉朝，朝廷将李广交给官吏处置。
官吏认为李广损失重大，又被敌人活捉，应当斩首，后来李广就以家财赎为庶人。本来这次汉武帝就是要考核四人领兵打仗的能力，结果只有卫青首战绽露头角，取得了胜利，汉武帝就封卫青为关内侯。战法狭隘凭经验，以近战多败难以立功。正所谓艺高人胆大。李广身材高大，长臂，具有善射箭的天赋，就是子孙和其他人向他学习射箭，也都赶不上他。
李广寡言，不与人多说话，和别人在一起住，就在地上画作战阵图，射箭比射的面宽窄，输了罚酒喝。专门以射箭作游戏。带兵行军，遇到断粮缺水时，见了水，士兵不全喝到水，他不近水边，士兵不全吃上饭，他不尝一口饭。同时呢，李广治军简易，行军无严格队列、阵势，靠近水草丰盛的地方驻扎军队，停宿的地方人人都感到便利，晚上也不打更自卫，幕府简化各种文书簿册，仅远远地布置些哨兵，警戒松驰。
士卒们感激他的宽厚不苛，也安逸于他的驻兵简易不繁琐严格，都乐于在他手下当兵并甘心为他拼命。正如当时和他一样守边的名将程不识评论他说：“李广治军虽简便易行，一旦有敌人突然进犯，他就无法阻挡了。”也许是他的威名所致吧，他也很少造敌突袭。李广率军对敌，总是等到敌人来到几十步之内，箭能射中的距离后，才下令射击。
