La comédie musicale commence le matin du 4 juillet 1912. Un chef de train annonce la prochaine étape, River City, dans l'Iowa, à un wagon rempli de vendeurs ambulants. Parlant en rythme, les vendeurs entament une conversation sur les avantages de l'argent liquide par rapport au crédit et sur la façon dont leurs produits et leur vie ont changé grâce au marchandisage « moderne » (« Rock Island »).
L'un des vendeurs, Charlie Cowell, demande si quelqu'un a entendu parler du professeur Harold Hill, un vendeur qui ruine la réputation de tous les représentants de commerce itinérants. Cowell explique que Hill se déplace de ville en ville, vendant des instruments de musique, des uniformes et promettant des cours pour un groupe de garçons, et quitte la ville avec l'argent collecté avant que quiconque ne découvre qu'il est analphabète en musique.
Alors que le train s'arrête à River City, Cowell, qui a essayé de trouver et de démasquer Hill, mentionne que Hill n'irait pas bien loin avec les Iowans têtus. Avant que le train ne se remette en marche, un vendeur qui jouait tranquillement aux cartes attrape sa valise et annonce que la conversation l'a incité à tenter sa chance dans l'Iowa. Lorsqu'on lui demande son nom, l'étranger montre sa valise, portant le nom de « Prof. Harold Hill », et il sort rapidement du train alors que celui-ci commence à démarrer. Il se retrouve face à la rue principale de River City, décorée de banderoles du 4 juillet et bondée de citadins.
Alors que les ouvriers déplacent une table de billard dans le salon de billard de River City, propriété du maire Shinn, les habitants saluent le maire et se saluent entre eux. Ils chantent avec fierté leur esprit de contradiction (« Iowa Stubborn »). Alors qu'ils se dispersent, Hill entre en scène et essaie de louer un cheval et une calèche à l'écurie. Il y rencontre son vieil ami et ancien partenaire, Marcellus Washburn. Washburn, qui sait que le vrai prénom d'Harold est Greg, se souvient que le dernier truc de vente de Hill était de vendre des automobiles à vapeur. Hill dit à Marcellus qu'il en vendrait encore si quelqu'un n'avait pas inventé un tel véhicule.
Marcellus a abandonné ses anciennes habitudes et s'est installé à River City pour travailler dans l'écurie. Après qu'Harold lui ait expliqué ses plans, Marcellus l'avertit de se méfier de Marian Paroo, la professeure de musique et bibliothécaire de la ville, car elle pourrait révéler l'arnaque d'Harold sur place. Harold lui demande de la désigner et il se met alors à réfléchir à un moyen de convaincre les parents de River City de la nécessité d'un groupe de garçons.
Lorsque Marcellus lui parle de la nouvelle table de billard en ville, Harold saisit sa chance. Il commence à parler des problèmes qui ont envahi River City sous la forme d'une table de billard. Devant la foule grandissante, Harold fait un discours de vente rapide sur l'influence corruptrice d'une table de billard sur les garçons de la ville ("Trouble") ; alors que les habitants le rejoignent, Marcellus signale que Marian Paroo passe par là.
Harold suit Marian chez elle, mais elle rejette ses tentatives d'entamer une conversation avec elle dans la rue.
Alors que Marian entre dans la maison, Amaryllis, sa jeune élève de piano, joue un exercice pendant que Mme Paroo, la mère de Marian, continue ses tâches ménagères. Marian parle à sa mère de l'étrange homme (Harold) qui la suit et essaie de lui parler. Alors qu'Amaryllis joue des arpèges, Mme Paroo gronde Marian pour ne pas avoir parlé à l'homme, critiquant les attentes élevées de Marian, à la fois envers les habitants de la ville et envers les hommes ("Piano Lesson/If You Don't Mind My Saying So").
Winthrop, le petit frère de Marian, entre dans la maison et Amaryllis l'invite à une fête. Winthrop, qui a un cheveu sur la langue et n'aime pas parler, prononce mal le nom d'Amaryllis. Quand elle rigole, il s'enfuit de la pièce. Amaryllis, contrariée que Winthrop ne lui parle jamais, se met à pleurer et dit à Marian qu'elle a peur de ne jamais trouver un amoureux pour lequel faire un vœu sur l'étoile du soir. Marian lui dit de continuer à faire des vœux, en utilisant le mot "quelqu'un" jusqu'à ce que la bonne personne se présente. Alors qu'Amaryllis joue son morceau à mains croisées, Marian regarde l'étoile du soir et souhaite bonne nuit à son "quelqu'un" sans nom ("Goodnight, My Someone").
Dans le gymnase du lycée, le maire Shinn préside les célébrations du 4 juillet. Sa femme, Eulalie Mackecknie Shinn, dirige un groupe de filles de Wa Tan Ye puis, déguisée en Columbia, conduit la ville à chanter « Columbia, joyau de l'océan ». Alors que le maire commence sa récitation du discours de Gettysburg, il est arrêté par les membres du conseil scolaire qui se chamaillent constamment et lui rappellent que la prochaine présentation est un spectacle en costumes amérindiens. Le spectacle se termine avec sa femme qui compte jusqu'à 20 dans la « langue indienne », mais avant qu'elle ne puisse terminer, le jeune Tommy Djilas allume un pétard derrière elle.
Les quatre membres du conseil scolaire commencent à se disputer tandis que le maire tente à nouveau sa récitation de Gettysburg. Le maire est une fois de plus déjoué, cette fois par Harold, qui vole l'attention de la foule en continuant son sermon précédent sur la table de billard. Il dit à la foule qu'il est venu à River City pour organiser un groupe de garçons comme solution à l'influence corruptrice de la table de billard. Il les fascine ensuite avec une histoire sur la venue en ville de six des plus grandes fanfares d'Amérique le même jour ("Seventy-Six Trombones"). Les habitants de la ville se joignent à lui, dansent et défilent autour du gymnase.
Le maire, alarmé de voir les habitants de l'Iowa si excités, ordonne au conseil scolaire de récupérer les papiers d'Harold. Alors que Tommy est emmené hors du gymnase par le gendarme, le maire l'avertit de rester loin de Zaneeta, la fille aînée des Shinn. Harold se rend compte que s'il peut faire de Tommy un allié, il aura aussi la jeunesse de la ville de son côté. Il intervient rapidement en faveur de Tommy et accepte de prendre la responsabilité du garçon. Harold désigne une fille qui passe et donne de l'argent à Tommy pour qu'il l'emmène au magasin de bonbons. Après le départ des adolescents, le gendarme dit à Harold qu'il a fait quelques erreurs : la fille est la fille aînée du maire, Zaneeta Shinn, et le maire Shinn est propriétaire du salon de billard.
Le conseil scolaire s'approche d'Harold et lui demande ses papiers. Harold, qui hésite parce qu'il n'a pas de papiers, leur demande à chacun de chanter les mots "ice cream", ce qu'ils font en parfaite harmonie avec un quatuor de barbiers. Trouvant la musique plus intéressante que celle d'Harold, le quatuor chante "Sincere" tandis qu'Harold s'éclipse pour chercher Marian.
Harold suit Marian à la bibliothèque où, avant de lui claquer la porte au nez, elle l'avertit qu'elle vérifiera ses références dans les livres de référence. Les dames de la ville entourent Harold, bourdonnant d'excitation à propos de l'orchestre. Mme Shinn, cependant, retient toujours son jugement jusqu'à ce que son mari reçoive les références d'Harold. Lorsqu'elle bouge son pied pour soulager la douleur de ses oignons, Harold fait des commentaires sur sa grâce et insiste pour qu'elle dirige l'auxiliaire des dames pour la danse classique, avec les autres dames comme membres. Mme Shinn tombe immédiatement sous le charme d'Harold. Elle consent à diriger le comité et elle aussi est désormais une alliée.
Quand Harold pose des questions sur Marian, les dames se rassemblent comme des poules et commencent à bavarder. Elles l'accusent de promouvoir Balzac, Chaucer et d'autres auteurs de « livres cochons » (« Pick-a-Little »). Elles suggèrent également qu'elle a eu une relation avec « Miser » Madison, un ancien résident de River City qui a fait don du gymnase, du parc de pique-nique, de l'hôpital et de la bibliothèque à la ville. Le conseil scolaire apparaît, exigeant à nouveau les diplômes d'Harold, et il les distrait à nouveau habilement en souhaitant bonne nuit aux dames, ce qui a déclenché une chanson du quatuor (« Goodnight Ladies »).
Harold arrive chez les Paroo. Il flatte Mme Paroo sur ses muscles faciaux, suggérant que cela signifie que Winthrop sera un excellent joueur de cornet. Après que Winthrop lui ait demandé si l'uniforme aura une rayure, Harold essaie d'engager la conversation avec lui, mais le garçon s'enfuit. Mme Paroo explique que Winthrop parle à peine. Pensant que le don de parole d'Harold pourrait signifier qu'il est irlandais, elle demande à Harold d'où il vient. Alors qu'Harold lui dit que son alma mater est le Conservatoire de Gary de Gary, Indiana, Marian rentre chez elle et essaie de dissuader sa mère de commander un instrument. Marian se met en colère lorsque Harold demande à parler au père de Winthrop, qui est mort. Lorsqu'elle entre dans la maison, Mme Paroo s'excuse pour l'emportement de Marian.
Après le départ d'Harold, Marian envoie Winthrop à la bibliothèque pour récupérer le livre de référence dont elle a besoin pour vérifier les références d'Harold. Mme Paroo, qui aime bien Harold, accuse Marian de ne pas penser à l'avenir.
Tommy a rendez-vous avec Zaneeta lorsque le maire Shinn entre, se plaignant à sa femme qu'Harold a hypnotisé toute la ville. Marian apparaît avec le livre de référence, mais avant qu'elle ne puisse le remettre au maire, Gracie, sa plus jeune fille, annonce avec enthousiasme l'arrivée du chariot Wells Fargo. Les habitants de la ville bordent la rue pour l'accueillir ("Wells Fargo Wagon"). Winthrop se fraie un chemin à travers la foule pour exprimer son espoir que le chariot apporte son instrument de musique.
Harold tend son cornet à Winthrop. Winthrop, qui n'a plus honte de son trouble de la parole, se retourne et dit à Marian, tout excité, combien il est heureux. Harold distribue le reste des instruments aux garçons. Il leur dit que les leçons suivront, mais qu'ils devraient d'abord se familiariser avec leurs instruments et réfléchir au Menuet en sol. Le maire concède qu'Harold a gagné la partie, mais il menace Harold de le convoquer devant un grand jury si les garçons ne jouent pas bientôt. Le maire tourne alors son attention vers Marian et lui demande le livre. Marian, reconnaissante envers Harold pour la joie et la confiance retrouvées de Winthrop, arrache secrètement la page concernée du livre avant de le remettre au maire Shinn.
Sur l'insistance des jeunes, Marcellus entraîne la foule dans une nouvelle danse que Harold leur a apprise ("Shipoopi") ; même Harold et Marian se joignent à la fête. La danse se termine lorsque le maire Shinn s'oppose à ce que Tommy danse avec Zaneeta. Il se tourne vers Harold et lui demande à nouveau ses papiers. Marian, qui s'est maintenant rapprochée d'Harold, le remercie d'avoir défendu Tommy. Marian invite Harold à lui rendre visite pour lui expliquer le Think System. Les dames, impressionnées par Marian après l'avoir vue danser avec Harold, lui demandent de rejoindre leur comité. Elles mentionnent également que, sur la suggestion d'Harold, elles ont lu Chaucer, Rabelais et Balzac et les ont tous adorés ("Pickalittle - Reprise").
Winthrop rentre de la pêche et chante à sa mère et à sa sœur la chanson que Harold vient de lui apprendre (« Gary, Indiana »). Il court joyeusement dans la maison, chantant le Menuet en sol, suivi de Mme Paroo. Charlie Cowell, le vendeur ambulant, arrive et demande à Marian la direction de la maison du maire. Il mentionne qu'il a des informations sur le passé malhonnête d'Harold Hill, mais qu'il n'a que quelques minutes en ville pour livrer ces informations avant le départ de son train. Pour protéger Harold, Marian essaie de retarder Cowell en flirtant avec lui. Elle l'embrasse juste au moment où le sifflet du train commence à retentir. Lorsqu'il réalise ce qu'elle a fait, il court en colère pour attraper le train, lui disant qu'elle n'est qu'une parmi une longue lignée de femmes qui sont tombées amoureuses d'Harold.
Après le départ de Cowell, Harold arrive ; il commence à parler du Think System, mais Marian lui demande d'expliquer ce que Cowell a dit. Harold lui dit de ne pas croire les rumeurs sur les vendeurs ambulants car elles sont le produit de la jalousie. Marian accepte, lui disant que les rumeurs sur elle et M. Madison sont également le produit de la jalousie. Harold demande alors à Marian de le rencontrer à la passerelle, un lieu de rencontre préféré des amoureux. Elle accepte. Après le départ d'Harold, elle dit à sa mère qu'elle a accepté son invitation ; Mme Paroo remarque que le Think System, qu'elle a utilisé sur Harold et Marian, fonctionne vraiment.
Le Comité auxiliaire des dames termine son tableau de l'urne grecque lorsque le maire entre avec Charlie Cowell. Cowell informe les habitants du projet d'Harold de quitter la ville avec leur argent sans donner de cours à l'orchestre des garçons. Le maire envoie les habitants à la recherche d'Harold. Winthrop s'enfuit, abasourdi par la nouvelle selon laquelle Harold Hill ne peut pas diriger un orchestre.
Marcellus se présente à la passerelle pour chercher Harold et lui suggère de prendre le dernier train de marchandises qui quitte la ville dans un peu plus d'une heure. Marian rencontre Harold et, lorsqu'ils sont seuls, elle lui avoue son amour ("Till There Was You"). Elle lui dit également qu'elle sait depuis des semaines tout sur ses fausses références. Et en guise de dernier geste affectueux, elle donne à Harold la page qu'elle a retirée du livre de référence. Marcellus se précipite à l'intérieur, tenant la valise d'Harold dans une main. Marcellus supplie Harold de se dépêcher vers le cheval et la calèche qui l'attendent, mais Harold ne bouge pas.
Winthrop demande avec colère à Harold s'il peut diriger un groupe. Harold lui répond honnêtement qu'il ne le peut pas. Il explique qu'il voulait que Winthrop fasse partie du groupe parce que c'était un moyen de le faire arrêter de s'apitoyer sur son sort. Marian dit à Winthrop qu'Harold a offert à la ville une raison d'être heureuse. Elle dit également au garçon qu'elle est heureuse qu'Harold soit venu à River City alors que le gendarme et les habitants arrivent et qu'Harold est menotté.
Le maire propose de goudronner et de plumer Harold, mais Marian défend Harold, rappelant à la foule l'excitation et la joie qu'Harold a apporté à River City. Le maire demande alors si quelqu'un s'oppose à ce que Harold soit goudronné et plumé. Le gendarme, le comité auxiliaire des dames (y compris la femme du maire), le conseil scolaire, la fille du maire et Mme Paroo s'avancent tous. Le maire rappelle à la foule la promesse d'Harold d'apprendre aux garçons à jouer et, alors qu'il exige de savoir où se trouve l'orchestre, les garçons entrent tous en uniforme et s'alignent en formation d'orchestre avec leurs instruments. Harold supplie les garçons de réfléchir et donne le rythme. Miraculeusement, ils sont capables de jouer un menuet en sol à peine reconnaissable. Les habitants de la ville, y compris le maire, sont tous ravis ; tous les parents appellent fièrement leurs fils. Le maire serre la main d'Harold et la foule applaudit ; la pièce se termine alors que Marian et Harold s'embrassent.
