Fue fundada por los Reyes Católicos en Sevilla, donde se instaló el primer tribunal, en 1478. Se creaba para terminar con los falsos judíos conversos. Madrid acataba las órdenes del Tribunal de Toledo, hasta 1650, que consigue sede propia.
En 1780, el órgano se trasladó al Consejo Supremo del Santo Oficio, en la calle Torija, 12, desde el Convento de Nuestra Señora de Atocha. En la fachada se leía «Exurge Domine et judica causam tuam» («Álzate Dios y juzga tu causa»). Tras la sentencia, los condenados se movían a la Plaza de Santo Domingo, mientras recibían humillaciones e insultos. Ahí estaba el Monasterio de Santo Domingo, donde se ubicaban las mazmorras y esperaban el castigo. En 1869 lo echaron abajo y en la misma ubicación se construyó el hotel Santo Domingo. Aquí se conservan las cuevas donde la Inquisición guardaba parte del archivo de los autos de fe, que se hicieron hasta 1795. Actualmente, es la coctelería del hotel.
Muchos fueron a la Plaza Mayor, donde les esperaba la hoguera, el garrote vil o la horca. Iba incluso la familia real. A finales del siglo XVIII las ejecuciones se trasladaron a la Plaza de la Cebada.
Otros iban a los quemaderos. Había dos: uno junto a la Puerta de Alcalá y otro en la Glorieta de San Bernardo. El primero estaba entre Claudio Coello y Conde de Aranda. Aquí los procesaban por brujería, pactos con el diablo o el que no tuviera buenas costumbres. A veces, primero prendían fuego a la barba de los condenados, para que vieran lo que les esperaba. En 1743, el quemadero se trasladó a la Glorieta de San Bernardo, fuera de los muros para que no oliera a carne quemada. En este lugar estuvo el Hospital de la Princesa, actualmente no existe, pero la leyenda cuenta que, al urbanizar, había en el suelo una capa de betún negro de los cuerpos quemados. Ahora es un bloque de edificios con terrazas donde cuelga vegetación.
En la esquina de la calle Cabeza con Lavapiés, estaba la Cárcel Eclesiástica de la Corona. Aquí aún se encuentran las mazmorras que se usaban de celda y lugar de martirio de los condenados. Después de la Inquisición se usó para cocheras, cuadras y almacén y hoy día es el sótano de un centro de mayores.
Hay calles que recuerdan las torturas. Una es la calle de la Ventosa. De Juana Picazo, o la Ventosa, decían que era curandera y utilizaba una ampolla de vidrio para curar. Dicen que perteneció a San Isidro y los clientes se quejaron al Santo Oficio de que no funcionaba. Acusada de brujería, su castigo fue raparle la cabeza y untarla con un pez, para después cubrirla de plumas. La montaron en un burro y le pasearon por Madrid, mientras le tiraban de todo. En la calle del Cenicero, cerca del Caixa Forum, vivía el gremio de los ceniceros, quienes se encargaban de recoger las cenizas de las víctimas, que transformaban en un potente limpiador.
La Inquisición llegó también a las procesiones. Había dos: la de la Cruz Verde, por llevar tal cruz hasta donde se celebraba el auto, y la de la Cruz Blanca que iba hasta los quemaderos. En la Plaza de la Cruz Verde se ejecutaba a los condenados. En 1680 fue el último auto de fe, los cuales se celebraban sin público y se conocían como autillos.
Muy cerca del Cuartel de Conde Duque, se encuentra la casa encantada de Conde Duque. Según la leyenda, en una taberna que había en el edificio, se reunían delincuentes a jugar a las cartas. Tras una de las partidas, empezó una pelea y para finalizarla apareció un duende. Cuando dicha criatura se fue, la trifulca continuó. En el bloque siguió viviendo gente, a pesar de las advertencias de las apariciones. Como el lugar se convirtió en punto de encuentro de ladrones, los vecinos pidieron que la Inquisición hiciera algo para que se fueran los duendes. Así pues, se exorcizó la casa, se quemó y fue rociada por agua bendita, pero los duendes no se supo nada.
Las iglesias del centro fueron testigos de los edictos de fe. A través de ellos, se avisaba a los fieles de su obligación de delatar a los herejes de forma anónima. Ejemplos de dichas iglesias fueron la de San Francisco el Grande, San Sebastián o San Martín, donde se denunciaban unos a otros según sus intereses. No se abolió definitivamente hasta julio de 1834 por Real Decreto, firmado por María Cristina de Borbón.