前206年正月，汉王出关到陕县（今河南三门峡）安抚百姓，回来后，正好好友张耳来投，汉王不计前嫌，厚待于他。二月，命人废除秦朝社稷，改立汉朝社稷。三月，他领兵从临晋（今山西运城）渡过黄河，魏王魏豹归顺汉王，跟从汉王东进击楚。大军攻下河内（河南北部），俘虏了殷王司马卬，于是设置河内郡。又南渡平阴津（今河南孟津），到达雒阳（洛阳）。有一位三老（掌管教化的乡官）董公在路上拦住汉王，告知他义帝被项羽派人所杀，汉王听了，正愁没有攻打项羽的借口，于是顿时捶胸顿足大哭起来，命军队暂时驻扎下来，为义帝发丧，全军哀悼三天。并派使者通告诸侯，揭露义帝之死的真相，历数项羽罪行，宣扬说项羽杀义帝是大逆不道，号召诸侯跟随他汉王刘邦，一起去攻打杀死义帝的罪人。
这个时候，项羽在哪里？项羽正领兵攻打齐国。齐国向来是诸侯中的强国，齐国的田荣不仅反叛了楚国，平定了三齐之地，还唆使彭越大败了萧公角，是可忍孰不可忍。项羽决定攻打齐国，但也担心汉王来打彭城。汉王知道项羽所想，就派张良来到韩国，写信给项羽说，按照怀王约定，关中之地本来应该是汉王的，汉王只是想得关中之地，现在他已经如愿了，就不敢再东进了。又把齐王和赵王联军反楚的信给项羽说，齐国与赵国想一起灭掉楚国，这样，项羽信以为真，认为首要任务是灭掉齐国，这样他就不顾彭城的安危，亲率大军去打齐国了。
项羽去打齐国之前，向九江王英布征兵，英布称病不去，只派了手下部将率几千人去了。英布这个人，也要回头交代一下：英布，秦末六县今安徽六安人。他本来是一平民百姓，少年时，有人给他看相，说他受刑后能被封王，他当时不大相信。后来到了壮年，他因犯法受到黥刑（在脸上或额上刺字并染黑的一种刑罚，所以英布也叫黥布），这时候他有点相信了，并且逢人就说，结果还受到别人的嘲笑。别人的意思就是你一平头百姓，怎么可能被封王呢？
英布这个人很豪爽，他受黥刑后被送到骊山去服役，与在一块服役的英雄豪杰都相处得很好，并且几乎成了这些人的头目。后来，他率领这帮人，逃到长江上去做强盗。陈胜吴广起义后，英布一开始投靠了鄱君吴芮，吴芮很欣赏他，还把女儿嫁给了他。后来他又归附了项梁，因为作战勇敢，而且常常能以少胜多，深受项梁叔侄的器重。项羽攻打齐国，向英布征兵，英布称病不去，只是派手下带了几千人去，项羽对他很有意见。后来，汉王袭击彭城，英布又称病不去营救，这样项羽更加怨恨英布，这是后话，暂且不提。
再说项羽，在汉二年即前206年冬，亲率大军向北去攻打齐国。田荣率军与他在城阳（今山东青岛）交战，田荣战败，逃往平原（今山东德州），结果在这里，田荣被老百姓杀死。田荣死后，齐国各地纷纷降楚。但是项羽纵容手下趁机焚烧齐国城池，掠夺齐人子女，遭到齐人的抵制和反叛。田荣之弟田横立田荣之子田广为齐王，在城阳判楚。
就在项羽正在齐地平叛，无暇西顾的情况下，汉王刘邦趁机号召各地诸侯，在前205年的春天，联合诸侯共五十六万大军攻入了西楚霸王的老巢——彭城。项羽听闻，仍然让诸将在齐地平叛，而自己亲率三万精兵从齐地出发，向彭城方向紧急开进。这年的四月，汉军已经攻入了彭城，把西楚霸王楚宫中的财物宝器和美女抢夺一空。
汉军以为大功告成，日夜饮酒庆功。不料这天清晨项羽突然带着一彪人马从东边杀出，有如天神下凡一般，把汉军杀个措手不及。到中午的时候，彭城的汉军又被击破。汉军向西逃至谷水、泗水流域，死了十几万人。汉军又向南准备逃入山地，楚军紧追不舍，追到灵璧（今安徽灵璧）东边的睢水（即濉河）边，汉军死伤惨重，有十几万人掉人濉河中，濉河因此断流，当然也淹死了不少人马。楚军把汉王刘邦重重包围住，汉王仰天长叹：难道上天要绝我刘邦于此？也真是天不该绝，突然从西北方刮起了一阵大风，这风非常可怕：飞沙走石，拔树倒屋，径向楚军袭来，直吹得天昏地暗。楚军大惊，以为得罪了天帝，乱作一团，到处奔窜，溃不成军。汉王趁机带着几十名亲从和骑兵逃走，脱险于虎口。。
汉王刘邦侥幸从楚军包围圈中逃出，一想起家人还在沛县，就想到沛县去接家人一块逃。又听闻项羽早派人去沛县捉拿，他家里人都逃散了。恰好在逃跑的路上遇到了他的儿子刘盈（后来的孝惠帝）和女儿刘乐（后来的鲁元长公主），汉王很是高兴，命他们一同坐车逃亡。但是后面的楚军不久就追上来了，汉王很着急，又后悔让他们上车，以致减慢了车速，就多次把刘盈和刘乐推到车下，让他们独自逃亡，夏侯婴总是下车又把他们扶上车去，并为此不惜和汉王急眼。
这个事情有人说刘邦很无情，其实楚军不一定认识他的儿子和女儿，让他们下车化妆成百姓逃跑反而更安全。当然这也反映了刘邦做事的风格：做大事就不能太儿女情长。而发小夏侯婴则尽力保护幼主，更显其忠心的可贵。