隋朝新立之时，太史上奏认为应当迁都，但是文帝因为刚刚登基，对此颇为踌躇。杨坚嫌弃台城地方狭小，而且宫中多有鬼妖，苏威曾劝其迁都，隋文帝没采纳，见太史如此上奏，隋文帝犹豫不决。这时，李穆上表支持迁都，杨坚看到李穆的表章，说：“天道圣明，已有祥瑞显示；太师是人民愿望所归，他提出这一请求，应该可行。”于是听从了李穆的意见。
一年后，隋文帝颁布诏书道：“礼仪制度为一般人而设，智慧超群的人不受此限制；法令律例用来约束小人，对君子不必用法来防范。太师、上柱国、申国公，气度深厚胸襟广大，名望高尚影响深远，在朝廷重臣中名列第一。职位最高，才能卓越，经历无数艰险，犹如钢铁百炼更精纯。如同伯玉一样没有过失，颜回没有异心，且性情清静开阔，本来不会与法律相关。但是圣王传下教诲，是为了表彰善人的。远离法律弘扬道德，是为了尊崇申国公的高龄和功德。从此以后，即使有罪过，只要不是谋反叛逆，纵然有一百个死罪，也不加审问。”
李穆在府第中去世，享年七十七岁，他在遗嘱中说道：“我承蒙国家大恩，年龄和官爵均已到极点，现在回归黄泉，无所遗憾。到最后我都不能陪天子圣驾到泰山和梁甫去封禅，所以不忍辞世，大概就是因为这一遗恨吧。”文帝下诏派遣黄门侍郎监护丧事，赐马四匹，粟麦二千斛，布绢一千匹，并还追赠李穆使持节都督冀、定、赵、相、瀛、毛、魏、卫、洛、怀十州诸军事冀州刺史，谥号为“明”，还赏赐他石椁、前后部羽葆鼓吹、鍂车京车，百官护送他的灵柩到城郭外。隋文帝下诏派遣太常卿牛弘携带哀册，用太牢之礼祭奠。