李靖出生于官宦之家，隋将韩擒虎的外甥。祖父李崇义曾任殷州刺史，封永康公；父李诠仕隋，官至赵郡太
守。李靖长得仪表魁伟，由于受家庭的熏陶，从小就有“文武才略”，又颇有进取之心，曾对父亲说：“大丈夫若遇主逢时，必当立功立事，以取富贵。”他的舅父韩擒虎是隋朝名将，每次与他谈论兵事，无不拍手称绝，并抚摩着他说：“可与论孙、吴之术者，惟斯人矣。” 李靖先任长安县功曹，后历任殿内直长、驾部员外郎。他的官职虽然卑微，但其才干却闻名于隋朝公卿之中，吏部尚书牛弘称赞他有“王佐之才”，隋朝大军事家、左仆射杨素也抚着坐床对他说：“卿终当坐此！”
大业（605—617）末年，李靖任马邑郡（治今山西朔县东）丞。这时，反隋暴政的农民斗争已风起云涌，河北窦建德，河南翟让、李密，江淮杜伏威、辅公祏等领导的三支主力军以摧枯拉朽之势，涤荡着隋朝的腐朽统治。身为隋朝太原留守的李渊也暗中招兵买马，伺机而动。李靖察觉了他的这一动机，遂“自锁上变”，将往江都，以告发此事。但当到了京城长安时，关中已经大乱，因道路阻塞而未能成行。不久，李渊于太原起兵（参见李渊太原起兵），并迅速攻占了长安（参见李渊攻取长安之战），俘获了李靖。李靖满腹经纶，壮志未酬，在临刑将要被斩时，大声疾呼：“公起义兵，本为天下除暴乱，不欲就大事，而以私怨斩壮士乎！”李渊欣赏他的言谈举动，李世民赞赏他的才识和胆气，因而获释。不久，被李世民召入幕府，用做三卫。