第六军军帅陈承瑢，奉命率部包围衡阳，曾天养则率领十四军，攻打衡州府下属县城。

衡州府辖衡阳、清泉、衡山、常宁、耒阳、安仁、酃县等七个县城，其他县城均一鼓而下，唯有耒阳，在彭玉麟率领下，守御的很严密。

曾天养第一次打耒阳时候，部队只有三千人，激烈的攻城战持续小半个时辰，折损了一百多人，曾天养发现敌人士气很高，他不是打不下，是觉得伤亡可能会有点大，便撤军了。

十四军放弃了耒阳，去攻打其他县城，等攻下其他五县，曾天养的部队已经扩编到两万多人，于是，他率军再次来到耒阳城下。

劝降，不降，于是，太平军准备云梯准备了三天，然后曾天养下令，两万三千人一起攻城。

嚯！好家伙！两万多人扛着云梯攻打一座小小的耒阳县城，城头的一千多人都吓的腿肚子转筋。

这回，战斗并不激烈，曾天养等于是用人海战术淹死了耒阳县，团练们见到密密麻麻的敌人上来，撒腿就跑，腿软的跑不了当即就降了。

彭玉麟不降，被俘，被送到长沙城外。石达开与他见了一面，以礼相待，但彭玉麟依然不降，彭玉麟是湘军水师创建者、中国近代海军奠基人，这样的人才当然不能杀，既然如此，就暂且关押。

到年底，湖南四十九个县，有四十三个县置于太平天国控制之下，乡村不得志的读书人纷纷投奔。

以前，太平天国管理地方行政的守土官官制，有郡一级的总制和县一级的监军，在县以下的乡镇村屯，比照军队组织，设旅帅、卒长、两司马、伍长等。

到了湖南后，在石达开建议下，内阁修改了官制，放弃周礼，参照明朝制度，在各地设置知府、知州和知县，在集镇设镇长，下边设村长。

到咸丰二年一月初，太平天国占领区的政权建设基本完毕。

太平军水军三个军，每军一万人，陆军十五个军，每军一万五千人，皆满编。

而且，按照石达开下发的训练条令，部队都进行了队列训练，然后进行了基本的战术训练，兵器齐备，甲胄有五成士兵配备，大多数都是刚刚分地的农民，士气很高。

十天前，石达开任命原翼殿簿书刘承芳，为太平军总军法官，组建军法处，然后，向全军旅一级派遣了军法官，军法官既管军法，也管记录军功。

任命原翼殿主事陈宗扬，为太平军总宣传官，组建宣传处，石达开亲自给宣传员上课，教导他们如何做思想宣传工作，然后派到各处军中。

给农民分地后，各地开始给广西过来的太平军老兵和家眷分地，广西老资格们的地，平均比新兵多五亩。

石达开下令在军师旅，由士兵投票评定作战突出的一等功、二等功和三等功臣，在分地时候，三等功臣多分五亩，二等功臣多分十亩，一等功臣多分二十亩。