Harry está nervioso, distraído y asombrado de no tener noticias del mundo mágico, pensando en los planes del tenebroso Lord Voldemort luego de su reciente regreso. Mientras está acostado en el jardín de su Tía Petunia, escucha una fuerte explosión y esperanzado de que se trate de algo mágico, decide ir a investigar. Al no encontrar nada, el primo de Harry, Dudley Dursley, lo molesta diciéndole que lo ha escuchado hablar dormido, hablando de un tal Cedric (quien murió a finales del año escolar anterior a manos de Lord Voldemort).
“¿Quién es Cedric, tu novio?”, pregunta Dudley.
Harry está a punto de atacarlo cuando, sin explicación alguna, dos dementores aparecen. Harry, para defenderse, utiliza el encantamiento Patronus. Dudley se queda asustado, a pesar de que los muggles no pueden ver a los dementores pero sí sentir la falta de felicidad que atraen.
Arabella Figg, la vecina de Harry, aparece y le dice que ha visto lo que ha hecho, y revela que es una Squib, y está vigilando a Harry por órdenes de Albus Dumbledore junto con Mundungus Fletcher, un mago tacaño, que, al desaparecer, provoca un ruido similar a una explosión (lo que escuchó Harry) y que al haber abandonado su puesto, aparecen los dementores. Harry lleva a su primo a su casa y sus tíos le piden una explicación. Una carta del Ministerio de Magia llega y dice que Harry debe presentarse ante ellos, para explicarles por qué utilizó magia frente a un muggle. Un vociferador llega y dice “Recuerda mi última… Petunia”. A pesar de que Tío Vernon quiere echarlo de la casa, Tía Petunia dice que no puede irse. Pasan varios días y Harry está encerrado en su cuarto, sin recibir noticias de Ron y Hermione, lo cual lo hace sentir muy enojado y frustrado.
El comienzo del libro ofrece un punto de vista diferente al de Harry. Se sabe la historia de Frank Bryce, que era sirviente de la familia Ryddle. Todo el mundo pensó que él había sido el culpable del asesinato de toda la familia, pues encontraron a Tom Ryddle, su padre y madre muertos. Sin embargo, Bryce demostró su inocencia, dado que la autopsia no reveló ningún indicio de que hubiesen sido asesinados; de hecho, no se encontró herida ni daño de ningún tipo que explicase por qué los Ryddle estaban muertos.
Este libro es el único de la serie que no trata directamente de Lord Voldemort, sino que trata más acerca de los padres de Harry y los amigos que tuvieron (tales como Remus Lupin y Peter Pettigrew). Los fanáticos de la serie presionaron a la autora para que terminase el libro. Harry Potter y el prisionero de Azkaban es considerada por muchos el mejor libro de la serie.