長城的構造材料選擇充分體現了因地制宜和就地取材的智慧。

在明朝之前，主要材料有土、石、木料、瓦件等。高山峻嶺處，就地開取石料用石塊砌筑；平原黃土地帶，就地取土用土夯筑；沙漠地區采用蘆葦或紅柳枝條層層鋪砂。東北的遼東長城還有用編柞木、木板為墻的。

明代修筑長城，除大量土、石、灰外，增加了木料、瓦件及磚。石料在山上開取，磚瓦就地開窯燒制，石灰就地采石燒制，木料就近采伐。施工時，砌墻用的條石有的長達三米，重兩千多斤。

不同地段長城建造材料不同。海拔越高，夯土越少，碎石越多，這和附近土壤貧富及運輸難度有關。

建造材料還會兼顧防守需要，比如沿長城外側挖溝取土。

長城建筑構件主要分為磚、石、瓦三大類。明代長城用磚量特別大，磚按形制和用途分長條磚、方形磚和異形磚，還有帶字的磚。石材是長城的重要材料，種類有砂巖、石灰巖、花崗巖等，耐久性強、抗壓強度高、不易變形。開采多采用爆破法，之后加工打磨，運輸多靠人力或馬車。

黃土也是主要材料之一，分布廣泛，易于獲取，經過夯實加工能形成堅固墻體，有效抵御風雨侵蝕，開采和運輸相對容易，降低了建造成本和難度。