攻了一天也没打下来，便下令撤军，毕竟自己的目的不是攻占胡陵，即时得到了钱粮，自己也是携带不便，需尽快抵达乐平与高陵君汇合，一旦刘邦领兵回来，自己便陷入了两难的境界，只得劝说还要攻城的雍齿。
雍齿无奈只得愤恨而去，城上的萧何，曹参二人见宋义雍齿退走，终于放下心来，但也不敢大意，只等刘邦回来再做计较。
刘邦接到书信之时，正在彭城与秦军作战，此一战已经损失了三千多人，这彭城眼看就要攻下，却见刘邦下令撤军，急速返回胡陵，众人都是不解，刘邦也不多说，将士只得跟从，刘邦心知即使攻下来彭城，自己的根据地丢了的话也是无济于事，更何况胡陵还有自己大部分的军资储备。