则先等人对此事都不甚热心，而裴光庭又态度强硬的拒绝与他交情，便也有些灰心，并没有再去裴家商讨事宜。
可是随著京兆府针对畿内寺庙的行动展开之后，他便也渐渐回味过来。
当其他人还有些茫然的时候，他已经自觉得掌握到了裴光庭的动机逻辑，忍不住忿声道：「裴光庭何敢如此！前事不过其一家之私事，他纵有忿怨也只需发泄于私门之内，岂可因一妇人淫行于佛刹，便要滥行职权、灭我佛门！其妇失贞，岂佛法所诱！」
之前他还是想要因武氏的事情跟裴光庭交涉，眼下就连武氏的困境也被他抛在了脑后，只想赶紧阻止裴光庭这癫狂的行为！
然而他几番传信，裴光庭都全不回应，派人登门去邀请，更是被直接拒之门外。裴光庭仍是我行我素，完全拒绝与他交流。
高力士心中自是愤慨不已，总算在几天后抓住一个机会，在其当真之日遇到裴光庭到南内面圣奏事。
当裴光庭奏事完毕、告退出宫时，高力士便直接将其当道拦住，面色严肃的沉声道：「够了！前事无论你如何盛怒，都只是你一家之私，岂可如此任性、牵连无辜之众！你家事如何处置，我不再理会，但你若仍如此任性操弄权柄，我不会再坐视不理！宇文融前辙，你慎勿行！」
「渤海公若只是作此想，确是小觑了我。」
裴光庭听到这话后，便冷声答道，视线向后一转，又回望向花萼楼。
高力士心有所觉，当即便也抬头望去，便见到圣人正站在楼上向下俯瞰，他心内一凛，不敢再做出阻拦举动，收势立在一旁，任由裴光庭离去，然后便又匆匆登楼奉宸殿外。
圣人著令宦者将高力士召入殿中来，自己也坐回御床，翻看了一下裴光庭所呈交的奏报，待到高力士入殿作拜时，他便笑语道：「下月便要拜谒诸陵，此宗家大事、不容疏忽，余子处事难合朕意，大将军且先行一步、权为知顿罢。」
高力士闻言后心内顿时一凛，额头冷汗直沁，不暇深思，忙不迭叩首应是。