日本的行政区划由都道府县和市区町村两个层次组成。
(1)都道府县
所谓都道府县，实际是日本47个省级地方政府的统称，其中“都”指东京都，“道”指北海道，“府”指京都府、大阪府，“县”指余下的43个县。它们之间目前在法律地位、政治体制、行政权限上没有多大区别，其名称上的差别基本上是由于历史上的原因形成的。
(2)市町村与特别区
在日本，“市”与我国同样是“城市”这一类地方政府的的简称，而且在“市”这一类中也分成几个小类。“町”则相当于我国的“镇”。“村”的字义虽与我国差不多，但从体制、法律地位上看则与我国的“村”不同。日本的村与市、町和特别区一样同属“基础地方公共团体”，即每个村都是一个地方政府，其负责人和工作人员也都是地方公务员。而且，市町村和特别区四者之间地位相互平等，没有隶属和领导或“指导”关系。但如就规模来看则相差悬殊，如有的市人口达几百万(如大阪市、横滨市)，有的村则只有几百人。
截至1998年3月31日，日本共有市670个，町1996个，村566个，特别区23个。其中，“市”还可以进一步区分为政令指定市
核心市、特例市和普通市四种。下面逐类分别加以介绍。
普通市
按照日本《地方自治法》的规定，人口在5万人以上并且市区户数和工商业人口均占60%以上的地区可以设“市”。实际上，战后以来，日本政府为了推动町村合并，曾两次规定了3万人以上者也可设市的“特例”，因而现有的670个市中有不少是5万人以下的。
政令指定市
政令指定市的性质类似于我国的“计划单列市”，即其虽然隶属于道府县之下，但在城市规划、居民福利、传染病预防等17项行政业务方面直接接受中央政府的指导而不是受道府县节制。在行政机构方面，政令指定市的特殊之处是可以下设“区”，区下设事务所或派出所。这里所说的区与特别区不同，它不是一级政府，而是市政府的派出机构，不设议会，区长由市长任命。
政令指定市是1956年根据修改后的《地方自治法》设立的。该法规定的设立标准为人口50万人以上，但日本政府实际上掌握的标准是100万人左右。日本现有的12个政令指定市的人口均已超过或接近100万人，它们是：大阪、名古屋、京都、横滨、神户、北九州、札幌、川崎、福冈、广岛、仙台、千叶。
核心市
核心市在日语里写作“中核市”。1994年，日本修改了《地方自治法》，决定设立核心市。该法规定设立核心市的条件是：人口30万以上;面积100平方公里以上;在本地区具有核心城市机能;如人口在50万以下，则昼夜间人口比率须在全部以上。 核心市的职能权限小于政令指定市，即可行使原由府县执掌的60项权限，如设立保健所、居民建房审批、城市规划、限制屋外广告，等等。根据该项法律，日本已指定了6批共27个核心市，其中多是都道府县的首府，它们是：宇都宫、新潟、富山、金泽、岐阜、静冈、滨松、堺、姬路、冈山、熊本、鹿儿岛、秋田、郡山、和歌山、长崎、大分、丰田、福山、高知、宫崎、旭川、松山、长野、高松。
特例市
特例市是根据1999年修改的《地方自治法》开始设立的，设立条件为人口20万人以上，其职能权限介于核心市与普通市之间，即比普通市多了批准开发项目、指定限制噪音区域和监管停车场的权限。目前，符合这一设立条件的共有59个城市，除了尚未成为核心市的县政府所在地青森、盛冈、山形、福岛、水户、前桥、甲府、大津、德岛、那霸以外，还有函馆、高崎、小田原、松本、西宫、下关、佐世保等等。
町与村
町的数量最多，其性质相当于我国的镇。町的设置标准由各都道府县自行规定。一般以人口5000人以上、工商业人口占60%以上为标准。村的设置不受条件限制，但现有的村也多不是原始的自然村落，而是行政村。
特别区
特别区只设于东京都的中心部分，共有23个，如千代田区、中央区、文京区、新宿区、台东区、港区、涩谷区、世田谷区、品川区、杉并区等。特别区从1947年开始设立，是“特别地方公共团体”，即不享有完全的自治权。尽管它们的人口多超过核心市甚至已经接近于政令指定市，但它们的行政首长即区长却曾经长期(1952~1975)由东京都知事任命。近年来，要求扩大特别区的自治权甚至要求将其改为“普通地方公共团体”的呼声日益增高。