在更认真的考虑了这个问题后,他后悔的做出了决定

自己的意见,供你参考
第一个:having considered过去完成式,表明这个动作已经完成了。"having considered。。。"这句是在他后悔这个动作前已经发生的。So。。。
如果用considering,说不通,语法错误。
第二个:have (或get) + 动词过去分词 + 名词:这是一种常用语法(或组合,具体叫法不在这儿讨论)。比如 have my hair cut,get problem solved等等。在这里面,没有consider 那个用法。
至于整句的时态,是过去式。