在国资委成立的时候，有一家名为中国新型建筑材料集团公司的小型央企，这就是中国建材集团的前身。当时，集团下属多数企业困难重重，生产的品种在整个行业中占比不大。2002年，集团下属北京新型建筑材料厂厂长宋志平到中新公司任总经理，提出集团战略回归建材主流，而建材的主流首推水泥。但2003年要进入水泥行业的中国建材集团面对的环境是什么呢?一方面，通过西部大开发等基础设施投资拉动浪潮，水泥行业自2001年起进入起飞阶段，此后每年产量增长10%以上。另一方面，中央没有保留以水泥生产为主业的央企，原国有水泥企业所有权全面下放到省及以下单位，再加上成千的乡镇企业、私营企业乃至合资企业，行业非常零散。宋志平认为，水泥价格过低，主要是产业过度竞争造成的。必须通过行业整合，促成几家大型企业主导市场的局面，才能遏制并改善这种困境。要整合就得有钱，钱从哪里来?宋志平瞄准了香港资本市场，于是，中国建材集团以中联水泥为主体，加上优质资产北新建材的股权，以及部分控股的中国玻纤的股权，再加上水泥建设工程公司中国凯盛工程，组建中国建材股份有限公司(以下简称“中国建材股份”)，并于2006年3月在香港成功上市，一下子带来21亿港币(当时折合22亿人民币)的现金，解决了资金困难。
但刚完成上市，中联水泥的主体市场——徐州就告急。徐州是中联水泥的核心资产淮海中联所在地，此地又有当时全国最大水泥企业——海螺水泥的一个重量级万吨新型干法生产线，徐州海螺利用规模优势发动价格战，让淮海中联苦不堪言。宋志平和徐州海螺经过谈判，最后中国建材股份以9.6亿人民币的较高价格收购徐州海螺。之后，徐州中联通过统一采购，整合营销，成为全球当时7条万吨线中经营最好的生产线。中国建材的水泥战线迅速拉开。接下来的整合对象是产量密度仅次于淮海的东南地区。当时，浙江是全国水泥价格战最惨烈的地方。当地四家核心水泥企业：浙江水泥、尖峰水泥、虎山水泥和三狮水泥，要么准备引入战略投资者，要么准备被外国企业收购，宋志平同时邀请四家企业的负责人在杭州商谈，力陈利弊。终于，四家企业同意加入中国建材股份。2007年9月，中国建材股份以上述四家企业为核心，以联合重组的方式组成南方水泥，并迅速把整合范围扩展到整个东南市场。到2008年9月，整合后的南方水泥，通过价格协调和统一品牌、统一管理，都扭亏为盈，走向良性循环。
由此，中国建材股份兑现了业绩，得到资本市场的进一步青睐，可以增发股票，从而获得进一步的资金支持，并撬动了国家开发银行等机构的支持，继续进行收购。这种做法后来被归纳成“央企市营”。十年间，中国建材集团围绕主业，跨所有制、跨区域、跨行业重组上千家企业，使主要板块在全国乃至全球都有规模优势。集团收入从20亿元上升到2500亿元，利润从1亿多元升到120亿元，实现了100倍的增长。截止到2013年底，中国建材股份下属水泥产能超过4亿吨，稳居全球第一。这对于本世纪初由数千家企业构成，行业内普遍寄希望于外国力量来整合行业的中国水泥产业来说，实在是一个奇迹。
