如今将那里的人迁徙，既伤当地人的心意，也令想要回来的人不敢复还。”曹操听了他的建议，没有移民。之前藏窜逃亡者果然都复出归化。
延康元年（220年），曹操去世，朝野危惧，司马懿管理丧葬诸事，内外肃然，并奉曹操梓宫回到邺城。同年，曹丕即魏王位，司马懿受封河津亭侯，转丞相长史。当时孙权正率军向西。朝臣们认为樊城、襄阳缺乏粮，不能抵御吴军，请召守将曹仁回驻宛城（今河南南阳宛城区）。司马懿则表示：“孙权刚刚打败关羽，正是他想和魏国结好的时候，一定不敢为患。襄阳是水陆交通要地，不能放弃。”曹丕没听其建议，命曹仁放火烧毁二城。后来孙权果然没来入侵。曹丕悔之不及。
辅政平乱
魏文帝黄初元年（220年）十一月，曹丕登皇帝位，史称魏文帝。曹丕登基后，任命司马懿为尚书，不久转督军、御史中丞，封安国乡侯。黄初二年（221年），免去督军官职，升任侍中、尚书右仆射。
黄初五年（224年），曹丕伐吴，临江观兵。司马懿奉命镇守许昌，并改封司马懿为向乡侯，转抚军、假节，领兵五千，加给事中、录尚书事。司马懿力辞不受，曹丕说：“朕夜以继日处理国家大事，没有须臾片刻的休息时间。如今册封你不是加以优荣，而是要你为我分忧。”
黄初六年（225年），曹丕再次大兴舟师伐吴，命司马懿留守许都，对内镇抚百姓，对外为大军提供军资。临行，曹丕下诏给司马懿说：“我深深地担心后勤和朝内之事，所以将这些大事委托给你。历史上曹参虽多有战功，但是萧何在后方的支持才更为重要。如今你留守后方，使我无西顾之忧，这可行吗！”之后曹丕由广陵（今江苏扬州广陵区）回师京都，又下诏对司马懿说：“我向东用兵孙权，你该总理京都洛阳的事情；我在洛阳，你则应当总理东征孙权的战事。”于是又命司马懿留镇许昌。
黄初七年（226年）五月，曹丕病重。临终时，令司马懿与中军大将军曹真、镇军大将军陈群、征东大将军曹休为辅政大臣。曹丕对太子曹说：“在这里的三位重臣，一定不要怀疑他们。”曹即位，改封司马懿为舞阳侯。孙权得知魏文帝去世后，于八月出兵攻魏。命诸葛瑾、张霸兵分两路进攻襄阳，亲自率军进攻江夏郡（治石阳县，即今武汉黄陂西南）。司马懿击退了孙权，又击败诸葛瑾，并斩杀张霸，斩首千余级。十二月，司马懿升任骠骑将军。
擒斩孟达
太和元年（227年）六月，魏明帝曹命司马懿驻扎宛城，加督荆、豫二州诸军事。蜀将孟达降魏时，魏待其甚厚，司马懿认为他言行倾巧，不可信任。但曹不听，任命孟达领新城（今湖北房县）太守。曹丕死后，孟