Ketika dibawa ke tiang gantungan, dengan suka rela ia menaiki tangga sendiri. Seseorang bertanya tentang hal (keadaan spiritual atau emosi batin)-nya. Ia menjawab bahwa perjalanan spiritual para pahlawan justru dimulai di puncak tiang gantungan, ia berdoa dan berjalan menuju puncak itu.
Sahabatnya, Syibli, hadir di situ dan bertanya, "Apa itu tasawuf?" al-Hallaj menjawab bahwa apa yang disaksikan Syibli saat itu adalah tingkatan tasawuf paling rendah. "Adakah yang lebih tinggi dari ini?" tanya Syibli "Kurasa, engkau tidak akan mengetahuinya!", jawab al-Hallaj.
Ketika al-Hallaj sudah berada di tiang gantungan, setan datang kepadanya dan bertanya, "Engkau bilang aku dan aku juga bilang aku. Mengapa gerangan engkau menerima rahmat abadi dari Allah dan aku, kutukan abadi?"
Al-Hallaj menjawab, "Engkau bilang aku dan melihat dirimu sendiri, sementara aku menjauhkan diri dari keakuan-ku. Aku beroleh rahmat dan engkau, kutukan. Memikirkan diri sendiri tidaklah benar dan memisahkan diri dari kedirian adalah amalan paling baik."
Kerumunan orang mulai melempari al-Hallaj dengan batu. Namun, ketika Syibli melemparkan bunga kepadanya untuk pertama kalinya, al-Hallaj merasa kesakitan. Seseorang bertanya, "Engkau tidak merasa kesakitan dilempari batu, tapi lembaran sekuntum bunga justru membuatmu kesakitan mengapa?
Al-Hallaj menjawab "Orang-orang yang jahil dan bodoh bisa dimaafkan. Sulit rasanya melihat Syibli melempar lantaran ia tahu bahwa seharusnya ia tidak melakukannya."
Sang algojo pun memotong kedua tangannya. Al-Hallaj tertawa dan berkata, "Memang mudah memotong tangan seorang yang terbelenggu. Akan tetapi, diperlukan seorang pahlawan untuk memotong tangan segenap sifat yang memisahkan seseorang dari Allah." (dengan kata lain, meninggalkan alam kemajemukan dan bersatu dengan Allah membutuhkan usah keras dan luar biasa). Sang Algojo lantas memotong kedua kakinya. Al-Hallaj tersenyum dan berkata, "Aku berjalan di muka bumi dengan dua kaki ini, aku masih punya dua kaki lainnya untuk berjalan di kedua alam. Potonglah kalau kau memang bisa melakukannya!"
Al-Hallaj kemudian mengusapkan kedua lenganya yang buntung kewajahnya sehingga wajah dan lengannya berdarah. "Mengapa engkau mengusap wajahmu dengan darah?" tanya orang-orang. Ia menjawab bahwa karena ia sudah kehilangan darah sedemikian banyak dan wajahnya menjadi pucat maka ia mengusap pipinya dengan darah agar orang jangan menyangka bahwa ia takut mati.
"Mengapa," tanya mereka, "Engkau membasahi lenganmu dengan darah?" Ia menjawab, "Aku sedang berwudu. Sebab, dalam salat cinta. Hanya ada dua rakaat, dan wudhunya dilakukan dengan darah."
Sang algojo kemudian mencungkil mata al-Hallaj. Orang-orang pun ribut dan berteriak. Sebagian menangis dan sebagian lainnya melontarkan sumpah serapah, lalu, telinga dan hidungnya dipotong. Sang algojo hendak memotong lidahnya. Al-Hallaj memohon waktu sebentar untuk mengatakan sesuatu, "Ya Allah, janganlah engkau usir orang-orang ini dari haribaan-Mu lantaran apa yang mereka lakukan karena Engkau. Segala puji bagi Allah, mereka memotong tanganku karena Engkau semata. Dan kalau mereka memenggal kepalaku, itu pun mereka melakukan karena keagungan-Mu." Kemudian ia mengutip sebuah ayat Al-Qur'an:
"Orang-orang yang mengingkari Hari kiamat bersegera ingin mengetahuinya, tetapi orang-orang beriman berhati-hati karena mereka tahu bahwa itu adalah benar."
Kata-kata terakhirnya adalah: Bagi mereka yang ada dalam ekstase "Cukuplah sudah satu kekasih."
Tubuhnya yang terpotong, yang masih menunjukkan tanda-tanda kehidupan, dibiarkan berada di atas tiang gantungan sebagai pelajaran bagi yang lainnya. Esoknya, baru sang algojo memenggal kepalanya. Ketika kepalanya dipenggal al-Hallaj tersenyum dan meninggal dunia. Orang-orang berteriak tapi al-Hallaj menunjukkan betapa berbahagia ia bersama dengan kehendak Allah. Setiap bagian tubuhnya berseru, "Akulah kebenaran", sewaktu meninggal dunia setiap tetesan darahnya yang jatuh ke tanah membentuk nama Allah.
Hari berikutnya mereka yang berkomplot menentangnya, memutuskan bahwa bahkan tubuh al-Hallaj yang sudah terpotong-potong pun masih menimbulkan kesulitan bagi mereka. Karena itu, mereka pun memerintahkan agar tubuhnya di bakar saja. Malahan, abu jenazahnya berseru, "Akulah Kebenaran."
Al-Hallaj telah meramalkan kematiannya sendiri dan memberitahu pembantunya bahwa ketika abu jenazahnya dibuang ke sungai Tigris permukaan sungai akan naik sehingga seluruh Baghdad pun terancam tenggelam. Ia memerintahkan pembantunya menaruh jubahnya ke sungai untuk meredakan ancaman banjir, pada hari ketiga ketika abu jenazahnya diterbangkan oleh angin ke sungai. Permukaan air pun terbakar, air mulai naik, dan sang pembantu melakukan apa yang diperintahkannya, permukaan air pun surut, api padam, dan abu jenazah al-Hallaj pun diam.
Waktu itu, seorang tokoh terkemuka mengatakan bahwa ia melakukan salat sepanjang malam di bawah tiang gantungan sepanjang malam. Ketika fajar menyingsing, terdengarlah suara gaib berseru, "Kami berikan salah satu rahasia kami dan ia tidak menjaganya. Sungguh, inilah hukuman bagi mereka yang mengungkapkan segenap rahasia kami."
Syibli menyebutkan bahwa, suatu malam. Ia mimpi bertemu dengan al-Hallaj dan bertanya, "Bagaimana Allah menghakimi orang-orang ini?" Al-Hallaj menjawab bahwa mereka yang tahu bahwasanya ia benar dan juga mendukungnya berbuat demikian karena Allah semata. Sementara itu, mereka yang ingin melihat dirinya mati tidaklah mengetahui hakikat kebenaran, oleh sebab itu, mereka menginginkan kematiannya, kematiannya karena Allah semata. Allah merahmati kedua kelompok ini. Keduanya beroleh berkah dan rahmat dari Allah.