Родился в Туле в семье Дмитрия Григорьевича Ушинского — отставного офицера, участника Отечественной войны 1812 года, мелкопоместного дворянина. Мать Константина Дмитриевича — Любовь Степановна (урождённая Карпинская) умерла, когда сыну было 12 лет.

Современными российскими исследователями установлено, что Константин Дмитриевич Ушинский родился 19 февраля 1823 года (по старому стилю). Эта дата зафиксирована в заявлении его матери, документах отца, показаниях под присягой повивальной бабки, присутствовавшей при рождении и крещении Константина. Соответствующие документы хранятся в государственном архиве Тульской области. Соответственно настоящая дата рождения К. Д. Ушинского — 3 марта 1823 года по григорианскому календарю (новый стиль). Однако дата 1824 год содержится в Постановлении Совета Министров РСФСР № 398 от 25 июня 1946 года, которым было утверждено описание медали К. Д. Ушинского — официальной награды Министерства образования и науки РФ. В результате кропотливой работы в 60-х — 80-х годах XX века исследователей — историка-архивиста А. А. Петухова, профессора Ярославского университета А. Н. Иванова и др. в Государственном архиве Тульской области были найдены документы, относящиеся к биографии К. Д. Ушинского, позволяющие точно определить его дату рождения. Однако после того, как при подготовке 11-томного издания трудов Ушинского в 40-х годах XX века В. Я. Струминский указал дату рождения К. Д. Ушинского — 3 марта 1824 года, она продолжает считаться канонической датой его рождения, и все официальные чествования памяти К. Д. Ушинского исходят из этой даты. Советские исследователи биографии К. Д. Ушинского, настаивавшие на истинности даты его рождения в 1824 году, исходили из предположения, что родители при оформлении свидетельства о рождении Константина в Туле пошли на заведомый обман, указывая дату его рождения годом раньше, чтобы ускорить его поступление в гимназию. Что, однако, с точки зрения современных исследователей не выдерживает критики, так как трудно предполагать, что Д. Г. Ушинский, называя в разных документах точные даты рождения всех своих детей, всё время лгал относительно даты рождения Константина.

После назначения 20 марта 1824 года отца Константина Дмитриевича в Полтавскую казённую палату, судьёй в небольшой уездный город Новгород-Северский Черниговской губернии, семья Ушинских переехала туда. Всё детство и отрочество К. Д. Ушинского прошло в приобретённом отцом небольшом имении, расположенном в четырёх верстах от Новгород-Северского на берегу реки Десны.

Получал хорошую домашнюю подготовку от своей матери, после смерти которой в 1835 году он был зачислен сразу в третий класс Новгород-Северской гимназии, об обучении в которой писал:

Воспитание, которое мы получили <…> в бедной уездной гимназии маленького городка Малороссии Новгорода-Северского, было в учебном отношении не только не ниже, но даже выше того, которое в то время получалось во многих других гимназиях. Этому много способствовала страстная любовь к науке и несколько даже педантическое уважение к ней в покойном директоре Н-ской гимназии, старике профессоре, имя которого известно и ученой литературе, — Илье Федоровиче Тимковском.

После окончания в 1840 году гимназии он поступил на юридический факультет Московского университета, где слушал лекции таких преподавателей, как профессор истории Грановский и профессор философии государства и права Редкин.

После блестящего окончания университетского курса в 1844 году кандидатом юриспруденции, Ушинский был оставлен в университете для подготовки к профессорскому званию. В круг интересов юного Ушинского помимо философии и юриспруденции входили и литература, и театр, а также все те вопросы, которые волновали представителей прогрессивных кругов русского общества того времени, в частности пути распространения грамотности и образованности среди простого народа.

В 1846 году он был назначен исполняющим обязанности профессора камеральных наук ярославского Демидовского лицея по кафедре энциклопедии законоведения, государственного права и науки финансов. С марта по май 1848 года он редактировал неофициальную часть газеты «Ярославские губернские ведомости». Поселился Ушинский на Стрелецкой улице (ныне — ул. Ушинского), в одном из флигелей усадьбы Вахромеева. Либеральные взгляды молодого профессора привели к конфликтам с начальством лицея, доносам вышестоящему начальству на Ушинского со стороны руководства лицея. В Министерство народного просвещения в 1849 году начальник Ярославской губернии генерал-майор Бутурлин докладывал, что профессора лицея Ушинский и Львовский «подали слишком невыгодное о себе понятие за свободу мыслей и передачу оных воспитанникам лицея». Из-за обвинений в неблагонадёжности в сентябре 1849 года Ушинский оставил лицей, подав прошение об увольнении в Петербург или Москву для совещания «с тамошними медиками о болезни». Почётный попечитель лицея Демидов писал о нём: «Ушинский имеет большое влияние на студентов; он мог бы быть полезным в лицее, но нужно иметь за ним постоянное наблюдение со справедливой строгостью в отношении к службе». Некоторое время он зарабатывал себе на жизнь переводами статей из иностранных журналов, рецензиями и обзорами в журналах.

Через полтора года безуспешных попыток устроиться на преподавательскую работу в Ярославле Ушинский переехал в Санкт-Петербург, где устроился на достаточно мелкую чиновничью должность столоначальника Департамента духовных дел и иностранных вероисповеданий. Стал сотрудничать в журналах «Современник» (1852—1854) и «Библиотека для чтения» (1854—1855).

В январе 1854 года, благодаря помощи бывшего коллеги по Демидовскому лицею, Ушинскому удалось перейти на работу преподавателя русской словесности в Гатчинском сиротском институте. Задачей Гатчинского сиротского института было воспитание людей, верных «царю и отечеству», а применяемые для этого методы славились своей строгостью. Ушинский так характеризовал позже институтские порядки: «Канцелярия и экономия наверху, администрация в середине, учение под ногами, а воспитание — за дверьми здания». Уже в 1855 году он стал инспектором классов Гатчинского сиротского института. В стенах этого учебного заведения К. Д. Ушинский обнаружил архив одного из прежних инспекторов Гатчинского сиротского института — Е. О. Гугеля, в котором он нашёл, как писал позже сам Ушинский, «полное собрание педагогических книг». Найденные книги оказали огромное влияние на Ушинского. Впоследствии, под влиянием идей, полученных от прочтения этих книг, он написал одну из лучших своих статей по педагогике «О пользе педагогической литературы». После огромного общественного успеха этой публикации, Ушинский стал постоянным автором «Журнала для Воспитания», где он помещал статьи, в которых развивал свои взгляды на систему воспитания и образования в России. Также он сотрудничал в журналах «Современник» (1852—1854) и «Библиотека для чтения» (1854—1855).

В 1859 году Ушинского пригласили на должность инспектора классов Смольного института благородных девиц, где ему удалось провести значительные прогрессивные изменения. Так, исходя из своего главного принципа демократизации народного образования и народности воспитания, ему удалось убрать существовавшее до этого разделения состава учащихся на «благородных» и «неблагородных» (то есть из мещанского сословия), он ввёл практику преподавания учебных предметов на русском языке и открыл специальный педагогический класс, в котором осуществлялась подготовка учащихся для работы в качестве воспитательниц. К. Д. Ушинский ввёл в практику педагогической работы совещания и конференции педагогов, а воспитанницы получили право проводить каникулы и праздники у родителей.

Одновременно с преподавательской работой Ушинский с 1860 года стал редактировать «Журнал Министерства народного просвещения», который благодаря ему превратился в педагогический журнал, весьма отзывчиво относившийся к новым течениям в области народного образования.

После конфликта с начальницей института М. П. Леонтьевой, которая обвинила Ушинского в вольнодумстве, непочтительном отношении к начальству, атеизме и других проступках подобного рода, его под благовидным предлогом в 1862 году удалили из института — он был направлен на пять лет за границу для лечения и изучения школьного дела. За это время Ушинский посетил Швейцарию, Германию, Францию, Бельгию и Италию, в которых он посещал и изучал учебные заведения — женские школы, детские сады, приюты и школы, особенно в Германии и Швейцарии, считавшиеся самыми передовыми в части новаций в педагогике. Свои заметки, наблюдения и письма этого периода он объединил в статье «Педагогическая поездка по Швейцарии».

За границей в 1864 году он написал и издал учебную книгу «Родное слово», а также книгу «Детский мир». По сути это были первые массовые и общедоступные российские учебники для начального обучения детей. Более того, Ушинский написал и издал особое руководство для родителей и учителей к своему «Родному слову» — «Руководство к преподаванию по „Родному слову“ для учителей и родителей». Это руководство оказало огромное, широчайшее влияние на русскую народную школу. Свою значимость как пособие по методике преподавания родного языка оно не потеряло и по сей день. Достаточно сказать, что до 1917 года оно выдержало 147 изданий.

В середине 1860-х годов Ушинский с семьёй вернулся в Россию. Свой последний главный научный труд, названный Ушинским «Человек как предмет воспитания, опыт педагогической антропологии», он начал печатать в 1867 году. Первый том «Человек как предмет воспитания» вышел в 1868 году, а через некоторое время вышел второй том. Третий том остался незавершённым. В этой работе К. Д. Ушинский дал ценный психологический анализ цепочки: ощущение прекрасного — чувствование прекрасного — осознание; обосновал предмет педагогики, её основных закономерностей и принципов.

В последние годы жизни выступал как видный общественный деятель. Он писал статьи о воскресных школах, о школах для детей ремесленников, а также принял участие в учительском съезде в Крыму. Приехав в 1870 году в Симферополь, Ушинский побывал в нескольких учебных заведениях, в том числе женском училище; охотно встречался и с учителями, и с учащимися. Учитель Симферопольской казённой мужской гимназии И. П. Деркачев вспоминал:

«Дружественный тон, которым автор «Родного слова» говорил с учителями, мягкость обращения и простота быстро привлекали к нему всех. Он смотрел на каждого учителя, как на равного себе товарища, и скромно, терпеливо, с непритворным уважением слушал всякое замечание и возражение… Проэкзаменовал всех учениц, поступивших в первый класс. Учительницу поразило, с каким искусством великий педагог опрашивал детей. Он ставил вопросы просто, ясно и в то же время так, что по ответам можно было легко понять, насколько подготовлена и развита та или иная ученица.«

При Симферопольской казённой мужской гимназии был образцовый класс по способу наглядного обучения. Будучи одним из основателей этого способа, К. Д. Ушинский заинтересовался работой класса, присутствовал на уроках, которые проводил И. П. Деркачев. В здании казённой мужской гимназии состоялся II съезд учителей Таврической губернии, и К. Д. Ушинский принял участие в его работе. Обсуждался, в частности, вопрос о книгах для классного чтения в народных школах, о необходимости создания таких книг. К этому призывал учителей Константин Дмитриевич Ушинский. Предложение было принято, выработанная на съезде «азбука» в том же 1870 году издана в Симферополе.

Летом 1870 года Ушинский лечился кумысом в Альме возле Бахчисарая. Возвращаясь из Крыма к себе домой на хутор Богданка Глуховского уезда Черниговской губернии), он хотел заехать к своему коллеге и другу Н. А. Корфу в село Времевку Александровского уезда на Екатеринославщине, но по ряду причин не смог это сделать. В это же время дома в результате трагического случая на охоте погиб его старший сын Павел. После этого К. Д. Ушинский решает переехать жить с семьёй в Киев, для чего он купил в Киеве по ул. Тарасовской дом, а сам с сыновьями Константином и Владимиром поехал лечиться в Крым. По дороге в Крым он простудился и остановился для лечения в Одессе, где и скончался 22 декабря 1870 (3 января 1871) года.

Похоронен в Киеве на кладбище Выдубицкого монастыря.