年二月改封楚王，四月就国，十二月就被刘季逮捕，是最早被废的异姓王。当初捉拿他时，是怀疑他谋反，但最终定下的罪名是擅自征兵。六个月后，他被改封为淮阴侯，一直留在长安。其间，他曾与张良一起，主持修订了从各地进献的兵书，但始终没有担任任何职务。身居长安的他，虽然生活富裕，但始终闷闷不乐，经常托病不上朝，觉得与周勃、灌婴等同列朝班是对自己的的巨大污辱。有一次，他到樊哙的府上去，樊哙对他十分尊重，对他道：”大王乃肯临臣！“但韩淮阴却十分不快，仰天大笑道：”生乃与哙等为伍！“显得十分倨傲。
还有一次，刘季和韩淮阴闲聊，两人谈论起他们知道的各个将领，韩淮阴对他们的能力一一加以点评。刘季问他：”如我能将几何？“
韩淮阴答道：”陛下不过能将十万。“
刘季又问道：”于君何如？“
韩淮阴十分自信地答道：”臣多多而益善耳。“
刘季笑道：“多多益善，何为为我禽？”
韩淮阴有些沮丧，答道：“陛下不能将兵，而善将将，此乃信之所以为陛下禽也。且陛下所谓天授，非人力也。”
不能理解，当初那个不惜受胯下之辱、隐忍退让的韩淮阴，为什么在如此不利的情境下，变得如此咄咄逼人。
这一次，陈豨于代郡反叛后，刘季亲自披挂出征。行前，他曾经想将韩淮阴也带去，就算不让他带兵，当个参谋也是很合格的。但韩淮阴却以生病为由拒绝了。他失去了与刘季改善关系的最后一个机会，也将自己的命也送了。