程昱当时之所以拒绝为刘岱效力，就是因为程昱相信自己的眼光，知道刘岱虽然是汉室宗亲，但是在如今这个混乱的时代，汉室宗亲的影响力大不如前，而且刘岱还是一个遇事不决，瞻前顾后的人，实在不是一个合适的主公，所以程昱选择了返回家乡，继续等待机会。
过了不久，刘岱就为黄巾军所杀，这时的曹操便趁机出发兵临兖州，在得知了程昱的消息之后，便辟召了程昱，而这一次的程昱却是毫不犹豫的一口答应了，因此在程昱将行之时，程昱的乡人十分疑惑，开口询问程昱道：“怎么你前后的行为相背如此？！”，而程昱却只是笑而不应，不过很明显的是，程昱十分看好曹操在这乱世之中的表现。
而程昱初至之时，曹操便跟他谈论大事，而且讨论的十分高兴，便以程昱为寿张令，而且在曹操征讨徐州的时候，也是下令让程昱与荀彧共同留守鄄城，由此可见曹操对当时的程昱与荀彧都是一样看重的。
还是那时张邈等部发动叛乱，迎接吕布进入了兖州，四周郡县云起响应，唯有鄄城、范县、东阿三地没有动摇。
之后不久，便有一个吕布军的降兵，向荀彧与程昱报告，陈宫想要带兵取东阿，又派泛嶷取范县，当时的吏民听到这个消息之后，都是十分恐惧的。
而当时的荀彧就告诉程昱道：“如今兖州作反，唯有此三城得以保全。陈宫等人以重兵临城，如果不能同心结力，三城必定不保，而您是吏民之望，如今回去向他们游说，一定可以成功！”
简单的来说，程昱当时在兖州的名气已经是无人能出其右，所以荀彧才会希望程昱能够出面安抚民心，保证在吕布军攻打这三座县城的时候，不会不战自败。
程昱于是先行返回了东阿，当时吕布军的泛嶷已在范县，这泛嶷是当时吕布手下的一名都伯，对于当时的吕布军而言，都伯已经算是吕布军中的高层官员了，也是吕布军派来说降范县的使者，可谓是吕布的脸面，结果范县的县令靳允在经过程昱的鼓励之后，便伏兵刺杀泛嶷，到了这会儿，范县就不可能再投降吕布了。
然后程昱又派遣了一支部队占住了仓亭津，陈宫手下的军队一时之间便不能渡河，这大大拖延了吕布军的行军速度，而当程昱来到东阿时，东阿令枣祗已经率吏民拒城坚守，又有兖州从事薛悌与程昱协谋，于是程昱便留守东阿，终于守住三城，以待曹操返回，而当曹操归还兖州，就曾经执程昱之手道：“若非程卿之力，吾无所归矣。”，之后曹操更是上表程昱为东平相，屯于范县。
而且就在这时，曹操得知了程昱所做的怪梦，于是便将程昱的名字，由“程立”改成了“程昱”。
到了兴平元年（也就是公元194年），曹操与吕布在濮阳进行交战，结果数度失利，不过因为当时的兖州全境又发生了蝗祸，曹操与吕布两边的部队都缺乏粮草，于是双方便默契的引兵暂去。
这时，袁绍也派人来游说曹操连和，希望曹操能迁居于邺城，当时曹操眼见自己的兖州失去了大半，军粮又将用尽，于是在计议之下正想答应袁绍的要求。
程昱觉得袁绍肯定在算计着什么，于是向曹操进言道：“在下窃闻将军想遣居迁邺城，与袁绍连和，请问有这样的事吗？”
曹操也是一个耿直人，而且曹操也非常信任程昱，便直接说道：“是的。”
于是程昱立马劝谏道：“在下认为将军您只是一时之间临事而惧，否则又怎么会如此不深思熟虑？袁绍如今已经据有燕、赵之地，怀并吞天下之心，可是其智不能济其事，加之胸怀狭隘，将军自以为能在袁绍手底下做事吗？将军您可是有龙虎之威，可以做韩（这里指的是韩信）、彭（这里指的是彭越）他们这样臣服于他人的事吗？如今兖州虽残，尚有三城可守，能战之士，不下万人。以将军的神武，加上我和文若（也就是荀彧，由此可见程昱当时就认为荀彧能和自己相提并论）等人的协助，并收城池原本的士兵而加以运用，那么霸王之业也是可以成就了。希望将军能慎重考虑一下！”
于是乎，在程昱的劝解之下，曹操才放弃连和袁绍的想法。
而在之后，曹操挟天子以令诸侯，汉献帝在定都许县之后，便以程昱为尚书，当时的兖州尚未绥抚停当，于是又以程昱为东中郎将，领济阴太守，都督兖州之事。
到了建安三年（也就是公元198年），刘备本来就在徐州立足不稳，并没有真的接手陶谦留下来的兵马，然后就因为相信了吕布而失去徐州，只得前来归附曹操，这时的郭嘉和程昱都在劝曹操杀了刘备，结果自信的曹操不听。
到了建安四年（也就是公元199年），曹操便派遣刘备到徐州去截击袁术，程昱与郭嘉再次向曹操建议道：“明公前日没有除掉刘备，如今更是向刘备借兵，刘备他必定会有异心的。”
结果刘备也知道曹操手下本来是龙潭虎穴，加上刘备也明白程昱等人想要杀死自己，所以刘备在得到了曹操的兵马之后，很快就急行军的离开了，于是曹操十分后悔，但已经是追之不及，果然，在袁术病死后，刘备就来到了徐州，杀死了当时曹操所任命的徐州刺史车胄，举兵反叛了曹操。
然后在第二年的建安五年，程昱又迁升振威将军，当时袁绍在黎阳准备带兵南渡攻打兖州，而程昱当时却只有七百名士兵守着鄄城，曹操知道形势危急，于是便命人告诉程昱，想要在派二千兵马前往鄄城助守，而程昱不肯接受，并且向曹操分析道：“袁绍这次拥兵十万之众，自以为所向无前，袁绍若只见在下领兵过少，必定认为这里有诈，不敢轻易来攻，但是如果在此时增加了我手下的士兵，过多则不可不攻，要攻之必克，只会两损其势，所以希望明公不要怀疑！”
于是曹操再次从之，袁绍听闻程昱手下兵少，甚至还不到一千兵马，果然不敢进兵，曹操听闻其事，不由得向贾诩说道：“程昱的胆略，超过孟贲、夏育啊。”
曹操口中说到的这两个人，都是春秋战国时期著名的勇士，其中的孟贲更是因为其“水行不避蛟龙，陆行不避虎狼，发怒吐气，声响动天。尝于野外见两牛相斗，孟贲从中以手分之，一牛伏地，一牛犹触不止。贲怒，左右按牛头，以右手拔其角，角出牛死。”，所以成为了秦武王的护卫。。。没错，就是那个闲着没事去举天下九鼎，然后作死成功的秦武王，这位年少好强的秦武王，抓住一只龙纹赤鼎猛地举了起来，殊不知此鼎重量过大，终因力气不支，累得双目出血，然后力尽鼎落，又砸断了秦武王的膑骨，结果秦武王不治而死，丢了王位，而无辜的吃瓜群众孟贲也因此获罪，被诛杀九族，死的不可谓不冤啊，而本来秦武王是有能力统一天下的，结果这才二十三岁就自寻死路，只得将统一天下的机会交给了自己的后代秦始皇了。。。
不过由此可见，曹操对程昱的赞赏有多高。
在接下来的建安八年（也就是公元203年），程昱纠合了一伙山间民众及亡命之徒，以此得到了精兵数千人，于是引军与曹操会师黎阳，讨伐袁谭、袁尚，曹操派遣了李典与程昱一同以船水运军粮。
在这时，魏郡太守高蕃将兵马屯于河上，断绝水道，曹操便对李典、程昱说道：“若船不得过，便可下从陆道。”
李典当时便与诸将议曰：“敌军少甲而恃水，有懈怠之心，击之必克。”，程昱亦以为然，遂北进渡河击破高蕃，水道得通，等到二袁破走之后，程昱便被拜为奋武将军，封安国亭侯。
到了建安十三年（也就是公元208年），在平定了河北地区之后，曹操便开始征讨荆州，而刘备前往东吴求助，于是有人便认为孙权会必杀刘备，不过程昱却认为道：“孙权新任在位，尚未为海内所忌惮，而曹公无敌于天下，初举荆州，威震江表，孙权虽然有谋，亦不能独自抵当，刘备则一向有英名，刘备的两个义弟关羽、张飞皆是万人之敌，孙权必定会援助他们以防御我军。之后分道扬镳，但是刘备已经得到实际资助，那孙权又不能得之刘备而杀了。”
结果就真和程昱说的一样，孙权果然将补给军兵资助给了刘备，以抵御曹操的进攻。
在等到曹操攻取了荆州之后，中原之地便大致平定，曹军势力也在逐渐稳步的扩充。
有一次，曹操抚着程昱的背说道：“当初兖州之败，若非听从你的计谋，我又怎可以来到这里呢？”
而程昱却听出来了曹操的弦外之音，于是非常果断的答道：“所谓‘知足不辱’（出自《道德经》的第四十四章，指一个人只要懂得知足，就不会因为过份的贪婪而得到屈辱的收场），如今也是我急流涌退的时候了。”
于是程昱正式表示从此缴还兵权，阖门不出。
不过程昱也没有在家赋闲太久，到了公元211年，也就是建安十六年的时候，曹操在征讨韩遂、马超之时，曹丕负责留守，于是又使人请出了程昱参知军事，因为此时田银、苏伯等人于河间作反，曹丕遣将军贾信征讨。
在平叛之后，叛军之中有千余人请降，朝中大臣皆认为应按照旧法，尽诛降军，而程昱此时却说：“以前之所以要诛杀投降者，是因为当时局势动荡，天下大乱，攻打贼人时采取‘围而后降者不赦’的方针，目的在于向其它乱党显示不尽早投降的后果，让所有敌人都感到惧怕，未围先降，那以后用兵便不需要动辄围城。如今天下形势大致已经安定，而且今次的战事是发生在领土之内，这些都是不成气候的贼众，杀了他们也没有可以示威示惧的地方，失去了以往诛降的策略意义。因此我认为这些降兵不可诛杀；即使要诛杀他们，也要先询问曹公的意见。”
可是当时的大臣基本上都是曹丕的亲信，所以都认为“军事方面我们可以自行下决定，毋须事事向曹公启奏！”
程昱闻言后，便不再作出回应，直至朝议完结之后，曹丕离开议堂，特地引见程昱，向其询问道：“您似乎言犹未尽？”
程昱思考了片刻之后，方才表示：“所谓‘可以自行下决定’的制度，是指面对临时之急，需要尽速立定决策的时候，才可以实行的。如今反贼已经被贾信制服，此事不会突发太过急剧的异变。因此老臣才不希望将军急于自作主张，做出专制的事情。”
曹丕这才明白程昱的苦心，不由得叹道：“程君真是考虑得十分周到啊！”
于是曹丕即时将河间叛变一事向曹操进行了交代，而曹操在经过了当时的居府长史国渊的进劝，果然下令不诛降者，曹操还都知道来龙去脉后，十分喜悦，向程昱说：“程卿不单止明于军事计略，亦善于处理别人父子之间的事情。”
在魏国建立之后，程昱便为卫尉，因为某些原因而遭到了罢免，等到黄初元年，也就是公元220年，曹丕正式的代汉称帝，程昱复为卫尉，进封安乡侯，增邑三百户，并前共有八百户，并且分封少子程延及孙程晓为列侯，就在朝廷正欲以程昱为公（毕竟当时的曹魏老臣中，程昱可谓是威望与功绩最高的），程昱却在此时去世，曹丕亦为之流涕，追赠车骑将军，谥曰肃侯，其子程武嗣任，程武死后，其子程克嗣任，程克死后，其子程良嗣任，由此可见曹魏对程昱的厚待，并且在公元233年，也就是青龙元年，程昱开始从祀于曹操庙庭，这更是对于臣子来说最高的奖励了。
当然了，有很多人都说程昱不在其位，毕生都没有位列三公，其中最大的原因便是程昱的黑历史了，那就是在早期的时候，曹操军队曾经严重缺粮，当时程昱想办法为曹操解决问题，于是在自己的老家东阿县强夺粮食，为曹军供应三日的粮食，这些粮食当中据说更有不少人肉，这些行为令程昱的声誉受到严重的打击，毕竟以当时的情况而言，名声便决定了一个人的上限在哪里，因此名声不佳的程昱，一直没有机会升任三公之位。