第二年（616年），他升为右骁卫将军。突厥侵犯边塞，隋炀帝便让他和马邑郡守王仁恭一同北击突厥。但他们的兵马很少。李渊便选出擅长骑射的两千骑兵，吃住骑射仿效突厥兵，给突厥看他们闲暇时的射猎驰骋。李渊有另外挑选善于射箭的士兵作为埋伏。等和突厥兵遭遇时李渊便下令埋伏攻击，结果打败突厥，此事更让李渊的名声大振。
以前大家只知太原有一个李渊，可是此战之后，百姓却知道了天下有一将军叫做李渊，李渊可以说是步步为营，走得细致。
大业十三年（617年），李渊正式任太原留守、晋阳宫监，成为这一地区最高军政长官。李渊奉命率兵征讨历山飞贼甄翟儿，与甄翟儿遭遇在河西郡的雀鼠谷，李渊大获全胜。
在镇压农民起义的过程中，李渊招降纳叛，不断扩充自己的实力。如果李渊一早就谋反了，那他只能背负一个反贼的句号，却不能让天下人信服于他。李渊并没有这样做，而是明修栈道暗度陈仓，这也是李渊能活下来，更能取得伟业的原因。李渊之子李世民、李建成知隋必亡，暗中结交豪杰，招纳逃亡之人，网罗各种人才。父子两个人一个唱白脸，一个唱黑脸，把我们大地朝的国粹戏剧是发挥得淋漓尽致的。
天下英豪知李渊的名声慕名而来，可是如今乱世也不能只结交豪杰，逃亡之人未必并非是无用之材，只有把天下的英雄都聚集起来，宏图可成也。
两个儿子却不知道父亲的谋划，他是一个急于求成的人，看着自己的父亲的势力逐渐是壮大起来，两个儿子却也是着急起来。就他们看来父亲就是个温吞的性格，看着父亲不紧不慢的样子，两个儿子却也着急，并暗自谋划起来。
晋阳令、刘文静、晋阳宫监、裴寂都是李世民的密友，李世民就和晋阳县令刘文静密谋起兵。看官看到这里也就看明白了，仿佛一切的一切都是李世民谋划的，没有李建成什么事，不知者自然就认为李世民是起兵的。李世民是李家成事的关键人物，这太子之位自然就应该由他来坐，李建成只是一个坐享其成的小人而已。李世民越是想要遮掩看客们就越是觉得唐史太过的蹊跷，没有多少可信度，李世民的欲盖弥彰也让他光辉的形象受到后人的质疑。
起兵造反的计策确定后，李渊还不知情，李世民想实情相告，又担心李渊不听，看到这里就觉得好笑。李世民私下找到裴寂商议，裴寂就选了晋阳宫的几个美女，乘李渊喝醉酒之后，陪他过夜。然后，裴寂把李世民的谋划告诉了李渊，李渊大惊。裴寂说：“安排宫女侍奉，事情暴露后是要杀头的，我这么做就是为了要劝你下定决心起兵啊。”李世民乘机向李渊汇报了整个计划，李渊开始时坚决不同意，还表示要把李世民送去报官，李渊这戏演得真是高明，果然是一个老狐狸。