El ensayo introductorio de la novela habla de la ciudad natal del autor, Salem, de sus antepasados, fanáticos puritanos, de su trabajo en las costumbres de Salem y de las personas que tuvo que enfrentar allí. "Ni la puerta de entrada ni la puerta de atrás de la aduana conducen al paraíso", y el servicio en esta institución no contribuye al florecimiento de buenas inclinaciones en las personas. Una vez, hurgando en papeles amontonados en una habitación enorme en el tercer piso de aduanas, el autor encontró un manuscrito de cierto Jonathan Pugh, que había muerto hace ochenta años. Era una biografía de Esther Prien, que vivió a fines del siglo XVII. Se mantuvo un trapo rojo con los papeles, luego de una inspección más cercana resultó estar increíblemente bordado con la letra "A"; cuando el autor se lo puso en el pecho, le pareció que sentía una quemadura. Despidido después de la victoria de Whig, el autor regresó a los estudios literarios, para los cuales los frutos del trabajo del Sr. Pugh le fueron muy útiles.

De la prisión de Boston llega Esther Prien con un bebé en brazos. Lleva un hermoso vestido que cosió para ella en la cárcel, en su pecho su bordado escarlata en forma de la letra "A" - la primera letra de la palabra Adúltera (adúltera). Todos condenan el comportamiento de Esther y su atuendo desafiante. La conducen a la plaza del mercado a la plataforma, donde tendrá que enfrentarse a la una de la tarde bajo la mirada hostil de la multitud: el tribunal le impuso tal castigo por su pecado y por negarse a dar el nombre del padre a su hija recién nacida. De pie en la picota, Esther recuerda su vida pasada, la infancia en la vieja Inglaterra, una científica encorvada de mediana edad con quien vinculaba su destino. Mirando alrededor de la multitud, nota en las filas de atrás a un hombre que inmediatamente toma posesión de sus pensamientos. Este hombre no es joven, tiene la mirada penetrante de un investigador y la espalda encorvada de un trabajador incansable. Él le pregunta a otros sobre quién es ella. Están sorprendidos de que no haya escuchado nada sobre ella. Pero él explica que no está aquí, que durante mucho tiempo ha sido esclavo de los gentiles, y ahora el indio lo trajo a Boston para recibir un rescate. Le dicen que Esther Prien es la esposa de un científico inglés que decidió mudarse a Nueva Inglaterra. Envió a su esposa hacia adelante y se demoró en Europa. Durante sus dos años en Boston, Esther no recibió ninguna noticia de él: probablemente murió. El tribunal condescendiente tuvo en cuenta todas las circunstancias atenuantes y no condenó a muerte a la mujer caída, sino que lo sentenció a permanecer de pie durante tres horas en la plataforma en el pilar vergonzoso, y luego llevar el signo de deshonor en el pecho por el resto de su vida. Pero todos están indignados porque ella no nombró cómplice del pecado. El sacerdote más viejo de Boston, John Wilson, convence a Esther para que revele el nombre del seductor, seguido de un joven pastor, Dimsdale, de quien era feligrés, rompiendo su entusiasmo. Pero la joven se mantiene tercamente silenciosa, sosteniendo a su bebé fuertemente contra su pecho.

Cuando Esther regresa a prisión, el mismo extraño que vio en la plaza se acerca a ella. Es médico y se hace llamar Roger Chillingworth. Primero, calma al niño, luego le da la medicina a Esther. Teme que la envenene, pero el médico promete no vengarse ni a la joven ni al bebé. Era demasiado presuntuoso de su parte casarse con una joven hermosa y esperar un sentimiento recíproco de ella. Esther siempre fue honesta con él y no fingió que lo amaba. Así que ambos se han hecho daño el uno al otro e incluso. Pero Chillingworth quiere saber el nombre de su amada Esther, el nombre de la persona que ha hecho el mal a los dos. Esther se niega a nombrarlo. Chillingworth le hace jurar que no revelará a nadie su nombre real y su relación con él. Que todos crean que su esposo está muerto. Él decide, por todos los medios, averiguar con quién Esther pecó y vengarse de su amante.

Después de salir de la prisión, Esther se instala en una casa abandonada en las afueras de Boston y se gana la vida como una costura. Ella es una bordadora tan hábil que no tiene fin con los clientes. Se compra solo las necesidades y distribuye el resto del dinero a los pobres, a menudo escuchando insultos en lugar de gratitud a cambio. Su hija Pearl es hermosa, pero tiene una disposición apasionada y cambiante, por lo que Esther no es fácil con ella. Pearl no quiere obedecer ninguna regla. Su primera impresión consciente fue la letra escarlata en el pecho de Esther.

El sello de rechazo reside en la niña: ella no es como los demás niños, no juega con ellos. Al ver las rarezas de la niña y desesperada por descubrir quién es su padre, algunos ciudadanos la consideran un engendro diabólico. Esther nunca termina con su hija y la lleva a todas partes. Un día acuden al gobernador para devolverle un par de guantes bordados ceremoniales ordenados por él. El gobernador no está en casa y lo esperan en el jardín. El gobernador regresa con los sacerdotes Wilson y Dimsdale. En el camino, hablaron acerca de que Pearl era hija del pecado y debería quitárselo a su madre y transferirlo a otras manos. Cuando informan esto a Esther, ella no acepta renunciar a su hija. El pastor Wilson decide averiguar si Esther la está criando en un espíritu cristiano. Pearl, que sabe aún más de lo que se supone que es a su edad, tercamente y responde a la pregunta de quién la creó, responde que nadie la creó, su madre acaba de encontrarla en un rosal en la puerta de la prisión. Los caballeros piadosos están horrorizados: la niña ya tiene tres años y no sabe quién la creó. Deciden quitarle a Pearl a su madre, y ella logra mantener a su hija en casa solo gracias a la intercesión del pastor Dimsdale.

El conocimiento de la medicina y la piedad se ha ganado el respeto de la gente de Boston por Chillingworth. Poco después de su llegada, eligió al reverendo Dimsdale como su padre espiritual. Todos los feligreses apreciaban mucho al joven teólogo y estaban preocupados por su salud, que se ha deteriorado considerablemente en los últimos años. La gente vio el dedo de Providence a su llegada a su médico experto e insistió en que el Sr. Dimsdale recurriera a él en busca de ayuda. Como resultado, el joven sacerdote y el viejo médico hicieron amigos, y luego incluso se establecieron juntos. Chillingworth, que se dedicó a investigar los secretos de Esther con la severa imparcialidad de un juez, está cayendo cada vez más bajo el poder de un solo sentimiento: la venganza, que subyuga toda su vida. Sintiendo la naturaleza ardiente del joven sacerdote, quiere penetrar en las profundidades ocultas de su alma y para esto no se detiene ante nada. Chillingworth provoca a Dimsdale todo el tiempo, contándole sobre pecadores impenitentes. Afirma que la dolencia corporal de Dimsdale se basa en una herida mental y convence al sacerdote para que le revele a él, el médico, la causa de su sufrimiento emocional. Dimsdale exclama: "¿Quién eres tú para ... ... interponerse entre el que sufre y su Señor?" Pero una vez que un joven sacerdote se duerme en una silla durante el día y no se despierta incluso cuando Chillingworth entra en la habitación. El viejo se acerca a él, se pone la mano en el pecho y se desabrocha la ropa que Dimsdale nunca se quitó en presencia de un médico. Chillingworth triunfa: "así es como se comporta Satanás cuando está convencido de que un alma humana preciosa se pierde por el cielo y gana por el infierno". Dimsdale siente hostilidad hacia Chillingworth y se reprocha a sí mismo por ella, no encuentra ninguna razón para ella, y Chillingworth, "una criatura miserable y solitaria, incluso más miserable que su víctima", está tratando con todas sus fuerzas de agravar el tormento mental de Dimsdale.

Una noche, Dimsdale camina hacia la plaza del mercado y se para en la picota. Al amanecer pasar por Esther Prien y Pearl. El sacerdote los llama, suben a la plataforma y se paran a su lado. Pearl le pregunta a Dimsdale si se quedará aquí con ellos mañana por la tarde, pero él responde que en el Día del Juicio Final los tres estarán ante el trono del gran juez, pero ahora no es el momento y la luz del día no debería verlos a los tres. El cielo oscuro de repente se ilumina, probablemente esta es la luz de un meteorito. Ven no lejos de la plataforma de Chillingworth, que los mira inseparablemente. Dimsdale le dice a Esther que siente un horror inexpresable ante este hombre, pero Esther, obligada por un juramento, no le revela los secretos de Chillingworth.

Pasan los años. Pearl tiene siete años. El comportamiento perfecto de Esther y su desinteresada ayuda a los afectados conduce al hecho de que los habitantes de la ciudad comienzan a tratarla con cierto respeto. Incluso la letra escarlata les parece no un símbolo de pecado, sino de fuerza interior. Una vez, mientras camina con Pearl, Esther conoce a Chillingworth y se sorprende del cambio que se ha producido en él en los últimos años. El rostro tranquilo y sabio del científico adquirió una expresión depredadora y cruel, una sonrisa lo mira con una mueca. Esther le habla, esta es su primera conversación desde el momento en que le hizo un juramento de no revelar su verdadero nombre. Esther le pide que no torture a Dimsdale: el sufrimiento al que Chillingworth lo somete es peor que la muerte. Además, es atormentado por los ojos de su enemigo jurado, sin siquiera saber quién es. Esther pregunta por qué Chillingworth no se está vengando de ella; él responde que una carta escarlata lo vengó. Esther le ruega a Chillingworth que cambie de opinión, todavía puede salvarse, porque este odio lo ha convertido de una persona sabia y justa en el demonio. Está en su poder perdonar, el perdón de las personas que lo han ofendido será su salvación. Pero Chillingworth no puede perdonar; su destino es el odio y la venganza.

Esther decide revelar a Dimsdale que Chillingworth es su esposo. Ella está buscando una reunión con el sacerdote. Finalmente ella lo encuentra en el bosque. Dimsdale le dice que sufre por el hecho de que todos lo consideran puro e inmaculado, mientras que él se ha manchado de pecado. Está rodeado de mentiras, vacío, muerte. Esther le revela a él quién se esconde bajo el nombre de Chillingworth. Dimsdale está enfurecido: por culpa de Esther, él "expuso su débil alma criminal ante los ojos de quien se burló en secreto de ella". Pero él perdona a Esther. Ambos creen que el pecado de Chillingworth es aún peor que su pecado: invadió el santuario del corazón humano. Entienden: Chillingworth, sabiendo que Esther le revelará su secreto a Dimsdale, inventa nuevas intrigas. Esther le ofrece a Dimsdale correr y comenzar una nueva vida. Ella está de acuerdo con el patrón del barco que navega hacia Bristol en que él llevará a bordo a dos adultos y un niño.

El barco zarpará en tres días, y en la víspera de Dimsdale está a punto de leer un sermón el día de las elecciones. Pero siente que su mente se nubla. Chillingworth le ofrece su ayuda, pero Dimsdale se niega. La gente se reúne en la plaza del mercado para escuchar el mensaje de Dimsdale. Esther se encuentra con un patrón de un barco de Bristol en la multitud, y él le informa que Chillingworth también navegará con ellos. Ella ve al otro lado de Chillingworth Square quien le sonríe siniestramente. Dimsdale ofrece un sermón brillante. Comienza la procesión festiva, Dimsdale decide arrepentirse ante la gente. Chillingworth, al darse cuenta de que esto aliviará el tormento de la víctima, y ​​siente que la víctima se está escapando de él, corre hacia él, rogándole que no avergüence su santa dignidad. Dimsdale le pide a Esther que lo ayude a subir a la plataforma. Se para en la picota y se arrepiente de su pecado ante la gente. En conclusión, se arranca la bufanda sacerdotal, exponiendo su pecho. Su mirada se desvanece, muere, sus últimas palabras: alabanza al Todopoderoso. Distintos rumores se arrastran por la ciudad: algunos dicen que había una letra escarlata en el cofre del sacerdote, una similitud exacta con la que llevaba Esther Prien. Otros, por el contrario, afirman que el cofre del sacerdote estaba limpio, pero, al sentir el acercamiento de la muerte, deseaba abandonar el espíritu en los brazos de una mujer caída para mostrarle al mundo cuán dudosa es la justicia de la gente más inmaculada.

Después de la muerte de Dimsdale, Chillingworth, que había perdido el sentido de la vida, inmediatamente se volvió decrépito, y su fuerza física y espiritual lo abandonó de inmediato. Ni siquiera había pasado un año antes de su muerte. Legó toda su gran fortuna a la pequeña Perla. Después de la muerte del viejo médico, Esther y su hija desaparecieron, y la historia de Esther se convirtió en una leyenda. Muchos años después, Esther regresó y nuevamente se puso voluntariamente el emblema de la vergüenza. Ella vive sola en su antigua casa en las afueras de Boston. Pearl, aparentemente felizmente casada, recordaba a su madre, le escribió, le envió regalos y se alegraría si Esther viviera con ella. Pero Esther quería vivir donde había sucedido su pecado: creía que la expiación también debía hacerse allí. Cuando murió, fue enterrada junto al pastor Dimsdale, pero quedó un espacio entre las dos tumbas, como si incluso después de la muerte las cenizas de estos dos no tuvieran derecho a mezclarse.