皇帝，但刘病已绕过他，允许下面的大臣可以不经过尚书，直接把文书交给皇帝。
这等于是不信任霍山，姓霍的自然明白是怎么回事。
许皇后被毒杀的传言，刘病已也听说，只是没有证据可以证明。
但是人事调动，刘病已是可以做的，把关键岗位上姓霍的都调开，削弱他们的势力。
把度辽将军、中央卫位范明友——霍光的女婿，调为光禄勋，不带兵了，负责管理后宫事务；霍光的二女婿，直接被下放到西北的安定城去做太守。过了几个月，又把霍光的姐夫张望调离中央，去做蜀郡太守。霍光的孙女婿王汉则去武威做太守。
张安世成为京城卫将军，北军归他节制。霍禹虽然被任命为大司马，但没有印玺和绶带，撤销了他以前统领的屯戍部队和官属，只有一个有名无实的称谓。
霍家掌握兵权的人，几乎都被剥夺了兵权，脱离了军方，成为政府的管理者。