堆叠假山和建造房屋一样，必须先做基础，即所谓的“立基”。首先按照预定设计的范围，开沟打桩。基脚的面积和深浅，则由假山山形的大小和轻重来决定。
计成在《园冶》“立基”条中说：“假山之基，约大半在水中立起。先量顶之高大，才定基之浅深。掇石须知占天，围土必然占地。最忌居中，便宜散漫。”所以园林假山的堆叠必须从设计出发，做到胸有成竹，意在笔先，先确定假山基础的位置、外形和深浅等，否则当假山的基础已出地面，再想改变假山的整体形状，增加高度或体量，就很困难了。一般假山基础的开挖深度，以能承载假山的整体重量而不至于下沉，并且能在久远的年代里不变形的要求为原则。同时也必须做到假山工程造价较低而施工简易的要求。

假山工程的基础可分为陆地和涉水两种，在做法上又有桩基、灰土基础和混凝土基础之分。桩基这是一种最古老的假山基础做法，《园冶•掇山》说：“掇山之始，桩木为先，较其短长，察乎虚实。”尤其是水中的假山或假山驳岸，用得较为广泛。其原理是将桩柱的底头打到能接触到水下或弱土层下的硬土层，以形成一个人工加强的支撑层，桩柱在假山基础范围内均匀分布，这种桩称为“支撑桩”。平面布置按梅花形排列的则称“梅花桩”；用以挤实土壤，以加强土壤承载力的，则称之为“摩擦桩”。桩柱通常多选用柏木或杉木，以取其通直而较耐水湿。桩粗一般在10～15厘米左右，桩长一般在100厘米以上至150厘米以上不等。如做驳岸，少则三排，多则五排，排与排之间的间距一般在20厘米左右。在苏州古典园林中，凡有水际驳岸的假山基础，大多用杉木桩，如拙政园水边假山驳岸的杉木桩长约150厘米；而北方则多用柏木桩，如北京颐和园的柏木桩长约160～200厘米。桩木顶端露出湖底十几厘米至几十厘米，其间用块石嵌紧，再用花岗岩条石压顶。条石上面再用毛石和自然形态的假山石，即《园冶•掇山》所云：“立根铺以粗石，大块满盖桩头”。条石和毛石应置于最低水位线以下，自然形态的假山石的下部亦应在水位线以下，这样不仅美观，也可减少桩木的腐烂，所以有的桩木能逾百年而不坏。