许多专家认为现在中国的中－省、市、县、乡的行政架构，层级过多，由此导致行政效率低下，需要压缩，并进一步提出取消地市一级架构，也有的提出取消乡镇一级架构。但读《资治通鉴》发现，除乡镇一级是现行法律规定为一级政府外，中、省、市、县四级行政架构古已有之，绵延已近两千年，若骤然改变，恐有难度。
东汉时，朝廷实行了刺史制度，将全国划分为13个州，每州置刺史一人，本来是负责监察各地行政官员，但到后来，权力不断增大，逐渐成为一级地方行政首长，称呼也变为州牧，成为尾大不掉之势，东汉后期的割据势力基本都是州牧身份。同样的情形也出现在明清，本来是巡查督导的巡抚、总督在后来变成了实际的省级行政首长。这样，行政层级由秦的中央－郡－县三级演化为东汉时的中央－州－郡（封国）－县四级，虽在以后的历史中有所变更，但大体维持。如相当于现在的“省”一级，在唐为“道”，在宋为“路”，在元以后正式为省。只不过唐宋时期的省级架构权力并不完全罢了。
行政层级复杂，肯定有内在原因，最核心的就是中国太大，秦始皇刚统一中国时就有36郡，每郡下有若干县，到了汉武帝时大举扩张，版图迅速膨胀，中央直接对郡，精力明显不足，在郡之上再建立更大一级的行政区划应运而生，于是在当时就开始了分片巡查制度，可谓是刺史制度的发源。
目前中国500多个地市级行政区，中央肯定不可能直接面对，必须依赖于省；而一个省平均有百个左右的县级行政区，直接面对也有精力不济的问题，还需依赖于地市；于是就有将省划小，省直管县的设想，但中国的省级疆域形成，与独特的历史人文和地理地貌有关，拆分恐怕需要慎之又慎。县自古就是基层的运转中枢，裁撤绝不可能，于是只好在地市一级和乡镇一级想办法。可考虑将地市一级的权力缩小，像上世纪时的行政公署一样；至于乡镇，本来就不是一级完全政府，恢复到过去的乡公所状态，也许是不错的选择。
总之，中国幅员辽阔，行政层级复杂，有客观原因，应以史为鉴，稳妥推进改革。