地方行政机构主要是行省。中书省臣被派往地方执政，称为行中书省事。行中书省(简称"行省")成为固定的官府的名称，并进而成为地方行政区划的名称。元朝陆续设立了河南、江浙、江西、湖广、陕西、四川、辽阳、甘肃、云南、岭北十个行省。

行省下设路、府、州、县。路设总管府，统于行省。路、府、州、县都设达鲁花赤一员，为最高长官。达鲁花赤制的普遍实行，明显地表现出蒙古统治阶级的特权地位。

行省还可在一些地区特设宣慰司。一些民族地区，又多设置招讨司、安抚司或宣抚司。畏兀儿地区置都护府，最高长官为亦都护。吐蕃直属宣政院，又设宣慰司统领。

除行省外，还设有行枢密院和行御史台。