大凡成功的假山作品无不从选石开始的。所谓的选石，除了对堆叠假山的石材种类的选择之外，还包括对具体山石的大小、造型、纹理、色泽、质地等的选择（相石），由于假山的堆叠不可能找到与图纸设计相一致的对应单石，因此相石掇山是假山作品成功的关键因素。
并非所有的山石都可堆叠假山，故从事假山之业者，必先深谙石性。一般传统所选的假山石料多以层积岩为主，综观江南地区的园林假山，尤以太湖石假山和黄石假山为多。
其他如产于广东英德的英石、江苏常州一带的斧劈石、安徽宣城、宁国一带的宣石等也常用于假而成山，但一般规模较小。如扬州个园的冬山即以宣石堆叠而成，其石色洁白，远远望去，俨然似积雪未消。