Безымянный рассказчик, получив письмо от своего друга юности Родерика Ашера, приезжает к нему в поместье. Подъезжая к дому, он обращает внимание на невероятно мрачный пейзаж: сам дом Ашеров, озеро, на берегу которого стоит дом, камыши, остовы деревьев. Также он обращает внимание на еле заметную трещину, рассекающую здание сверху донизу. Встретившись с хозяином дома, он узнает о его странной наследственной болезни — все его чувства мучительно обострены — он болезненно воспринимает яркий свет, громкие звуки, яркие краски. Фактически вся его жизнь проникнута страхом. Родерик Ашер также уверен, что в его жилище гнездится некая сила, которую он не может определить. Рассказчик узнает, что сестра Родерика, леди Мэдилейн, его единственный близкий человек, также больна странной болезнью: она ко всему равнодушна, тает день ото дня, а иногда её тело коченеет и дыхание приостанавливается. Как раз перед приездом рассказчика состояние её особенно ухудшилось. Рассказчик проводит дни, общаясь с Ашером; он рассматривает картины Родерика, весьма причудливые, слушает его музицирования на гитаре и читает книги. В один из дней Ашер исполняет песню «Обитель привидений», развивая в дальнейшем в разговорах мысль о том, что растения способны чувствовать и вокруг озера и стен дома сгущается своя особенная атмосфера, веками влияющая на судьбу всех Ашеров.
Однажды Ашер сообщает рассказчику, что его сестра, леди Мэдилейн, умерла, и просит помочь ему спустить её тело до похорон в подземелье. Вдвоем они относят туда тело, плотно закрыв гроб и заперев тяжелую железную дверь. После этого Родерик Ашер становится все более и более тревожен, его тревога и страх постепенно передаются и рассказчику. Где-то через неделю рассказчик ночью, перед надвигающейся бурей слышит странные глухие удары, непонятно откуда доносящиеся. В его комнате появляется Ашер, который, распахнув настежь окно, впускает бурю в комнату, наблюдая за пейзажем снаружи. Решив успокоить друга, рассказчик принимается читать ему роман Ланселота Каннинга «Безумная печаль». Происходящее в доме перекликается с текстом книги: рассказчик читает о треске и грохоте ломающихся досок — и откуда-то доносится еле слышный шум; текст говорит об ужасном звуке, изданном умирающим драконом — и слышится отдаленный вопль; в книге описывается оглушительный звон от упавшего на пол щита — и до героев доносится глухой, но явственный звон металла. Родерик Ашер, находясь в ужасном состоянии, шепчет другу, что они на самом деле похоронили его сестру заживо. Он, благодаря своим обострённым чувствам, давно уже понял это, однако не смел сказать. Дверь в залу распахивается, и появляется леди Мэдилейн, измученная и в крови. Она падает на руки брату, увлекая его, уже бездыханного, за собой на пол. Рассказчик, объятый страхом, кидается прочь из дома. Буря как раз в самом разгаре. Убегая, герой замечает, что трещина в доме, которую он заметил ещё по прибытии, быстро расширяется. «… раздался дикий оглушительный грохот, словно рёв тысячи водопадов… и глубокие воды зловещего озера у моих ног безмолвно и угрюмо сомкнулись над обломками дома Ашеров».