Детство Толстого прошло в старинной помещичьей усадьбе. Отец писателя, граф Николай Ильич Толстой — участник Отечественной войны 1812 г. — был образованным, начитанным человеком. Толстой, пишет о своем отце: «Жизнь его проходила в занятиях хозяйством, в котором он, кажется, не был большой знаток, но в котором он имел для того времени большое качество: он был не только не жесток, но скорее добр и слаб. Так что и за его время я никогда не слыхал о телесных наказаниях… Дома отец, кроме занятия хозяйством и нами, детьми, еще много читал. Он собирал библиотеку, состоящую, по тому времени, в французских классиках, исторических и естественно-исторических сочинениях — Бюфон, Кювье… Сколько я могу судить, он не имел склонности к наукам, но был на уровне образования людей своего времени».
Мария Николаевна Толстая, мать писателя. Неизвестный художник. Конец XVIII века.
Матери своей — Марии Николаевны (урожд. княжны Волконской) Толстой не помнил — она умерла, когда ему было полтора года. Но по рассказам знавших ее людей и по сохранившимся дневникам и письмам матери писатель воссоздал ее облик. «Мать моя, — пишет Толстой в воспоминаниях, — была… очень хорошо образована для своего времени. Она знала, кроме русского, — которым она, противно принятой тогда русской безграмотности, писала правильно, — четыре языка: французский, немецкий, английский и итальянский, — и должна была быть чутка к художеству; она хорошо играла на фортепьяно, и сверстницы ее рассказывали мне, что она была большая мастерица рассказывать завлекательные сказки, выдумывая их по мере рассказа».
Преобладающими чертами характера Марии Николаевны были, по словам Толстого, мягкость, скромность и правдивость.
Рано лишившись родителей, Толстой провел юношеские годы (1841—1847) в семье своей тетки, Пелагеи Ильинишны Юшковой, в Казани. Здесь, в 1844 г., он поступил в университет, на философский факультет, по разряду арабско-турецкой словесности. В 1845 г. Толстой переходит на юридический факультет. В 1847 г. он оставляет университет, не окончив курса. Уход из университета был вызван неудовлетворенностью будущего писателя казенным характером обучения.
В Казани в 1847 г. Толстой начал вести дневник. В нем запечатлены его духовные искания и запросы и выражено критическое отношение к окружающей среде.