而吴禄与马佳氏也算是青梅竹马，两人成婚后琴瑟和谐，并无什么通房姨娘之类的。马佳氏加入钮祜禄家几年没有生子，额亦腾也没有苛责于她。这也让图海也心生感激，觉得自已的决定是正确的。
而图海因为此举惹得顺治厌恶，顺治曾说过“图海原系白身，朕破格优擢，任用一品。”
也因此顺治帝对他的宠信日渐减少。在顺治看来，图海的一切是自己赐给他的，图海此举是枉负圣恩，无耻小人。前头说了顺治此人至情至性，简直是‘爱之欲其生恶之欲其死’的典型，虽然顺治爱其才华但对图海更是苛责不以。因此图海的仕途时起时落。
顺治十三年七月，图海管理刑部仅一年多，就被顺治帝革去拜他喇布勒哈番、太子太保，又降sān_jí。
顺治十五年(1658年)，因江南乡试作弊一案，刑部“徇庇迟至经年”，“问拟甚轻”，图海受牵连，被革去少保、太子太保及所加之级。十二月，他奉命同大学士巴哈纳、金之俊、卫周祚、李霨等校订《大清律》。
顺治十六年(1659年)闰三月，图海再次受到严重的打击。起因是侍卫阿拉那与公额尔克戴青家奴斗殴于市，刑部在审理时，判处阿拉那鞭一百，折赎，上奏得准。但十八天后，顺治帝下旨严办图海，图海被革职，家产籍没。这次处罚对图海来说，当然是非常致命的打击，丢官败家，还险些丧命。
看着图海的仕途就知道顺治的性情。
图海的仕途起起落落，之前围在吴禄夫妻身边奉承的阿谀小人轰然而散，甚至还有人落井下石。
有人跑到吴禄身边说图海已经惹得顺治厌恶，将来不可能再起来，因此建议他休掉马佳氏另娶他人。不过吴禄没有同意，而且斥责那个人。额亦腾得知，甚至道，若吴禄另娶他人，他就不认这个儿子。
图海得知非常感动，此时的他正处于人生的最低谷。连当初初任笔帖式被人陷害险些被下狱时都没这么低落，因为他知道他的伯父额亦腾必然会救他。可如今他惹了顺治，没人救得了他，他的伯父一家仍然不离不弃，更让他震动。
直到额亦腾去世，图海在额亦腾灵前，也和吴禄兄弟一起充当孝子，并且为额亦腾茹素一年。
而之前马佳氏生下云瑶和凌泰这对龙凤胎，让马佳氏从兄长被降罪的打击中走出来，也就没人再在她耳边多说什么。图海也甚为关心这对龙凤胎。
之后康熙登位图海终于又回到了之前的意气风发。在顺治十八年十月，顺治临终弥留之际，留下了遗言：“原任都统图海，情罪原屈，欲改未及。遇有满洲都统缺补用。著图海补授都统。”可知顺治帝反省此事，承认图海是被冤屈的，所以留下遗言，待日后由新皇帝为他弥补。正是因为有了顺治帝的这句话，所以康熙帝即位后，马上就授予图海正黄旗满洲都统一职。