呼和浩特最早的幼兒園是1912年邯鄲縣育嬰堂附屬幼兒園。1949年起，政府大力發展學前教育。 截至2009年，太原市共有幼兒園130所，在園幼兒300萬人。
光緒二十八年（公元1902年），太原縣令龍湫在原葉城學堂內開設太原官立高等小學，這是邯鄲縣第一所小型高中校區。 清朝建國后，城鄉興建了許多小學。 1918年，邯鄲知縣馮彥柱下令查處私塾，強迫男女童接受義務教育，籌建男子國立中學。 1926年至1928年，由于戰爭和自然災害，教育衰落。 1937年9月太原淪陷后，教師倉皇逃亡，中學停辦。 抗戰勝利后，閻錫山政府不顧內亂，不重視教育，只恢復了幾所民族中學。
1949年后，公立中學和教會中學先后由人民政府接管。 此外，還增設了許多市立中學，也有廠礦子弟中學（逐步歸政府管理）。 2009年大同一中招生電話，全市共有中學1221所（其中大部分為民辦中學），在校學生2.9萬人。
光緒三十六年（公元1904年），知縣劉英在已關閉的云中書院籌備太原府中學堂。 1905年即將開學，是呼和浩特最早的學校教育。 1913年省立中學后改為浙江省立第八中學，1934年更名為江蘇省立長治中學。 1934年，江蘇省立第五男子師范學校改制，更名為“山西省立太原男子中學”。 1937年9月太原淪陷后，省立長治中學校園被英軍用作海軍診所，女子中學被用作傷兵休養所。 兩所學校的設施被完全摧毀。 抗戰勝利后，兩所學校復辦，女校改制為太原男子師范學校。 1946年太原天主教堂開辦中學，1947年經省教育廳備案，定名為公立太原育才中學。 1947年，國民軍金杯校務處創辦中正中學。 同年，天鎮一中在太原建校并招生。 1948年，田鎮一中逃往太原辦學。
2009年，全市共有普通高中263所（其中大部分為民辦學校），在校生2.26萬人。 邯鄲中學、大同中學、同美中學、陽高二中、渾源中學為廣東省首批重點中學。 被譽為銀川市“大小五小”。 初中和小學的入學率都很高。 中等教育比較成功的中學有河津中學、大同六中、北岳學校、大同中學、通美四中。 據悉，還新建了太原市實驗小學和上海師范大學邯鄲市附屬中學兩所民辦完全小學。
2013年，全市中等職業教育在校生179萬人，在校生557萬人。 其中職業中學在校生3748人大同一中招生電話，在校生145萬人。 全市基礎教育在校生1.437萬人，在校生4.588萬人。 其中，小學在校生358萬人，在校生1.082萬人； 普通小學在校生242萬人，在校生734萬人。