Diese Anzeige hatte Harry Frommermann im Dezember 1927 aufgegeben, um ein Gesangensemble wie die amerikanischen „Revelers“ zu gründen. Darauf hatten sich rund 70 Männer gemeldet – Arbeitslose, verkrachte Existenzen, Kranke, Krüppel, doch keiner von ihnen konnte singen, bis auf den letzten, der im Chor des Großen Schauspielhauses engagiert war.
„Achtung, Selten! Tenor, Bass (Berufssänger nicht über 24), sehr musikalisch, schön klingende Stimmen, für einzig dastehendes Ensemble unter Angabe der täglich verfügbaren Zeit gesucht.“
Harry konnte ihn von seinem Traum überzeugen, dass „sein“ Gesangsensemble, für das er bereits 15 Arrangements geschrieben hatte, die Welt erobern würde. Und dieser Robert Biberti brachte Kollegen aus dem Chor mit, ein Pianist wurde auch gefunden, so dass das Sextett im Januar 1928 mit den Proben beginnen konnte.
Eine harte Zeit, in der nichts verdient, aber neben den diversen Brotberufen mindestens vier Stunden am Tag probiert wurde. Da mussten oft motivierende Streicheleinheiten verteilt werden. Doch das Repertoire wuchs nur sehr langsam. Ein erstes Vorsingen für das Variéte „Scala“ endete katastrophal, ein zweites Vorsingen Monate später beim gewieften Agenten Bruno Levy, der die beiden Revuekönige Erik Charell und Hermann Haller gegeneinander ausspielen konnte, sicherte ihnen den ersten Auftritt im großen Schauspielhaus mit der phantastischen Abendgage von 120 Reichsmark für alle. Bald stiegen die Gagen und die Anzahl der Auftritte pro Abend. Der Durchbruch für die Comedian Harmonists waren die stets ausverkauften Vorstellungen in Leipzig ab Ende 1929.
Bislang traten die sechs Musiker immer innerhalb eines größeren Revueprogramms auf, ihr Traum waren aber eigene Konzerte. Ihre Popularität wuchs durch Grammophonaufnahmen und zahlreiche Rundfunkauftritte, doch das Risiko einer eigenen Konzerttournee war für die meisten Veranstalter zu groß. Das erste eigene Konzert am 26. Januar 1930 in Leipzig wurde ein grandioser Triumph. Im gleichen Jahr folgte das erste Auslandsgastspiel in Amsterdam und das erste Auftreten in einem Film.
Die sechs Musiker verdienten bald enorme Summen – zwischen 40 000 und 60 000 Reichsmark im Jahr (das sind nach heutigen Verhältnissen ein Brutto-Jahreseinkommen von ca. 750 000 Euro) – , führten ein aufwendiges Leben, fuhren dicke Autos. Schon frühzeitig hatten die Mitglieder des Ensembles einen Vertrag abgeschlossen, der jedem die gleichen Anteile an den Einnahmen sicherte. Rund 150 Auftritte pro Jahr absolvierten die Harmonists. Den Ritterschlag der Kunst erhielt das Sextett mit dem Auftritt vor dem konservativen Musikpublikum in der Berliner Philharmonie kurz vor der Machtergreifung Hitlers. 2700 Zuschauer applaudierten enthusiastisch.
Zunächst schien sich unter dem nazistischen Regime nichts zu ändern. Die Musiker interessierten sich nicht für Politik, glaubten sich aber auch so populär, dass sie keine Repressalien zu fürchten hatten. Aber erste vereinbarte Konzerte wurden abgesagt, weil man keine Juden mehr auf deutschen Bühnen sehen wollte und die Ufa verweigerte ihnen die Teilnahme an Filmaufnahmen. Die bald obligatorische Mitgliedschaft in der Reichsmusikkammer wurde von allen beantragt, aber nach 1934 – Juden durften definitiv nicht mehr Mitglied der Kammer werden, und ohne Mitgliedschaft durfte man nicht auftreten – hoffte man vergebens auf einen positiven Bescheid, auch wenn die Gruppe immerhin gemischt und nicht volljüdisch war. Eine Sondergenehmigung erlaubte es ihnen, eine ausgedehnte Deutschlandtournee noch zu beenden. Das letzte Konzert in der Tonhalle in München behielten alle Akteure in besonderer Erinnerung.
Ab dem 1. Mai 1934 war den Comedian Harmonists jeglicher Auftritt auf einer deutschen Bühne versagt, auch im Rundfunk durften die Lieder des Ensemble nicht mehr gespielt werden. Streitigkeiten innerhalb der Gruppe – Arier gegen Nichtarier – nahmen zu. Über Wasser halten konnte sich das Sextett nur mit Auslandsauftritten in Dänemark, USA, Italien und Norwegen. Doch alle hatten Heimweh und kehrten gemeinsam nach Deutschland zurück, wo dreien von ihnen im Februar 1935 nun die Ausübung ihres Berufes untersagt wurde. Kurze Zeit später einigte man sich darauf, aus den beiden Teilen jeweils wieder eine neue Gruppe zu bilden, die musikalisch nur mäßig erfolgreich waren. In der ursprünglichen Zusammensetzung haben die Comedian Harmonists nie wieder musiziert.