1965年，彭德怀在家悠闲了好多年，突然接到任命，要他去四川当中共中央西南局“三线”建设委员会的第三副主任。毛主席亲自委任他，彭德怀一口答应了，肩上又多了一份重担。
9月23日那天，彭德怀满心激动地跟侄女彭梅魁说“告诉你个好消息，今天毛主席叫我去西南，我们聊了五个小时，我决定去大三线那干活了，终于能为人民做贡献了！”从那以后，他就全心投入到三线建设中去。
10月的一天，国家建委主任谷牧到成都来，专门调研三线建设。开会时，谷牧看到台下的彭德怀，便走过去低声说“彭总，您休息吧，这次会议的内容我会事后给您汇报。”这次对话，让人很想知道彭德怀在三线建设上到底做了哪些工作，谷牧和他还有哪些有趣的故事。
1964年5月，中央开工作会议，毛主席根据当时国际局势变化，预估未来战争形势，结合经济和自然地理等条件，提出把全国划分为一线、二线、三线，决心大力搞三线建设。毛主席非常重视三线建设，亲自定下调派彭德怀去西南帮忙。
1965年9月11日，彭德怀正要休息，秘书綦奎英进来告诉他“彭总，彭真同志打电话，说要在人民大会堂见你。”彭真当时是中共中央政治局委员书记处书记。彭德怀走进江苏厅，彭真当面传达了中央和毛主席的决定，要他去西南三线担任指挥部第三副总指挥，并征求他的意见。
彭德怀有点意外，也很纠结，说“我作为党员，要服从组织，但这工作对我来说挺难的。”他甚至给毛主席写信说了自己的想法。毛主席看到信后，亲自约他谈话。
毛主席说“现在要建战略后方，准备打仗，西南投资最大，战略后方很重要。你去西南正合适，未来还能带兵作战。”彭德怀说“主席，我搞工业是外行，啥都不懂。”毛主席劝他说“你去西南是党的政策，如果有人反对，让他们来找我。”两人一聊，足足谈了五个小时，最后彭德怀打消了所有顾虑，回家心情激动。
9月23日，他跟侄女彭梅魁说“告诉你个好消息，今天毛主席让我去了，我们聊了五小时，我决定去大三线工作，能为人民服务真好！”11月30日上午9点，他抵达成都，心里终于放下了一直觉得“白吃人民小米”的负罪感，决心不辜负毛主席的期望，要为国防大三线建设出力。
他住在永新巷7号，院子不大，有几间房子。彭德怀挑了一间小平房，说“能放床和办公桌就够了。”陪着他的是多年的警卫员景希珍，司机赵凤池和秘书綦魁英。安顿好住处后，当天下午，他就跟三线建委副秘书长杨沛说“明天开始工作吧。”杨沛劝他休息几天，他却说“我已经休息好多年了。”他还亲手写了毛主席的“为人民服务”五个字，贴在接待室的墙上。
从第二天起，三线各局负责人依次向彭德怀汇报工作，他认真对照挂图，详细记录，反复询问。不过他发现，大家很少提军工建设这个重点。彭德怀当初拒绝去三线，就是因为觉得自己不懂工业。彭真提醒他说“军工你很清楚啊。”其实在抗日战争时，朱德、彭德怀、左权亲自筹建了八路军总部的兵工厂，是我军最早的军事工业。
1952年7月，彭德怀接替周总理主持军委工作，也担任兵工委员会主任，七年里他主持定军工计划，跑遍全国重要军工厂。一来三线，虽然只主管煤炭和天然气这类后勤，没能直接管军工，他心里有些遗憾，但依然兢兢业业，拼命干活。
1965年12月至1966年7月，彭德怀大部分时间奔走在三线工地上，三次长途视察，足迹遍布四川中南和贵州20多个县市，参观了15个工矿企业。每去一处，他都详细了解生产情况和职工思想，认真做笔记。12月中旬，他去重庆参加西南局建委的政治工作会议，回来路上还检查了自贡的天然气厂和盐厂，一心扑在三线建设中。
1965年10月，国家建委主任谷牧来成都调研三线建设。他和西南大三线建委主任李井泉商量，决定召开一次大会，具体讲讲中央对西南建设的要求。会议时，谷牧一眼就看到彭德怀坐在台下，觉得不合适，便下台走到他跟前，小声说“彭总，您怎么来了，注意休息，今天的议题我会单独汇报给您。”彭德怀笑着说“我是大三线副主任，国家建委主任您亲自来调研，我当然得来听，这对工作有帮助。”他说着，让谷牧赶快回去讲。谷牧坚持要叫彭德怀上主席台，他多次拒绝，认真说“现在不是看资历排辈分的时候。”
会议上，谷牧讲了很多西南建设的重点，彭德怀在台下认真听。会后，谷牧陪他离开会场，问李井泉彭德怀的生活状况。李井泉说“彭总几乎每天都在跑工地，真的在干活。”之后谷牧还专门拜访彭德怀，两人聊三线建设，彭德怀说“搞建设不能忘农业，岗位不分谁挑，都是为国家和人民，我每天都得实地看才放心。”谷牧对彭德怀敬佩不已，临走时彭德怀郑重说“以后搞建设还得靠你们啊！”
后来，彭德怀依然全身心投入三线。1966年2月，他去渡口市考察，还建议建设高空侦查站。多次实地调查后，他深深体会到钢铁、煤炭等基础工业的重要性。在石棉县安顺场渡口看大渡河时，他想起当年英勇抢渡的红军战士和帮扶的船工。听说老船工帅仕高还在，他很高兴，特别去看望，关心他的生活，知道生活有困难，临走时还送了10块钱，体现出彭德怀的大度和善良。
谷牧在彭德怀低谷时没忘他，彭德怀的品格和作风令大家敬佩。当年叱咤风云的大将军，如今在三线建设上添砖加瓦，为新中国建设贡献了宝贵力量。