Повествование ведётся от лица главного героя, Александра Петровича Горянчикова, дворянина, оказавшегося на каторге сроком на 10 лет за убийство жены. Убив жену из ревности, Александр Петрович сам признался в убийстве, а отбыв каторгу, оборвал все связи с родственниками и остался на поселении в сибирском городе К., ведя замкнутый образ жизни и зарабатывая на жизнь репетиторством. Одним из немногих его развлечений остаётся чтение и литературные зарисовки о каторге. Собственно «заживо Мёртвым домом», давшим название повести, автор называет острог, где каторжане отбывают заключение, а свои записи — «Сцены из мёртвого дома».
Оказавшись в остроге, дворянин Горянчиков остро переживает своё заключение, которое отягощается непривычной крестьянской средой. Большинство арестантов не принимают его за равного, одновременно и презирая его за непрактичность, брезгливость, и уважая его дворянство. Пережив первый шок, Горянчиков с интересом принимается изучать быт обитателей острога, открывая для себя «простой народ», его низкие и возвышенные стороны.
Горянчиков попадает в так называемый «второй разряд», в крепость. Всего в Сибирской каторге в XIX веке существовало три разряда: первый (в рудниках), второй (в крепостях) и третий (заводской). Считалось, что тяжесть каторги уменьшается от первого к третьему разряду (см. Каторга). Однако, по свидетельству Горянчикова, второй разряд был самым строгим, так как был под военным управлением, а арестанты всегда находились под наблюдением. Многие из каторжан второго разряда говорили в пользу первого и третьего разрядов. Помимо этих разрядов, наряду с обычными арестантами, в крепости, куда был заключён Горянчиков, содержалось «особое отделение», в которое определялись арестанты на каторжные бессрочные работы за особенно тяжёлые преступления. «Особое отделение» в своде законов описывалось следующим образом «Учреждается при таком-то остроге особое отделение, для самых важных преступников, впредь до открытия в Сибири самых тяжких каторжных работ».
Повесть не имеет целостного сюжета и предстаёт перед читателями в виде небольших зарисовок, впрочем, выстроенных в хронологическом порядке. В главах повести встречаются личные впечатления автора, истории из жизни других каторжан, психологические зарисовки и глубокие философские размышления.
Подробно описываются быт и нравы заключённых, отношения каторжан друг к другу, вере и преступлениям. Из повести можно узнать, на какие работы привлекались каторжане, как зарабатывали деньги, как проносили в острог вино, о чём мечтали, как развлекались, как относились к начальству и работе. Что было запрещено, что разрешено, на что начальство смотрело сквозь пальцы, как происходило наказание каторжан. Рассматривается национальный состав каторжан, их отношения к заключению, к заключённым других национальностей и сословий.