Дебютный сингл «Slow Motion» (июль 1968) успеха не имел, контракт с группой был расторгнут, и Торпи покинул состав. С заменившим его в 1969 году гитаристом Миком Стюартом группа подписала контракт с Parlophone Records и выпустила ещё три легковесных поп-сингла: «Lollipop Man» (1969), «All You’ll Ever Get from Me» (1970) и «Get On the Line» (кавер песни The Archies), ни один из которых не попал в чарты. Стюарт ушел и был заменен Энди Скоттом (англ. Andy Scott), авторитетным гитаристом, до этого игравшим в Scaffold, Mayfield's Mule и Elastic Band.

В 1974 году Sweet записали хард-роковый альбом Sweet - Funny Adams (1974) с мастерски исполненными инструментальными партиями и интересными аранжировками, получивший высокие оценки критиков и вошедший в UK Top 40.

В 1978 году группа стала играть прогрессивный рок. Альбом в этом стиле, «Level Headed», тоже имел очень небольшой успех, однако сингл «Love Is Like Oxygen» стал хитом во многих странах, в том числе Великобритании, где достиг 9 места. Это был последний успех Sweet в родной стране. В последовавшем турне по Америке Sweet были уже не хедлайнерами, а разогревающей командой Боба Сигера.

Desolation Boulevard (с кавером «My Generation») не только был тепло принят критикой, но получил хвалебные отзывы от участников The Who, которые пригласили Sweet к совместному выступлению на стадионе «Вэлли» футбольного клуба «Чарльтон Атлетик». К сожалению, незадолго до концерта Коннолли подвергся нападению хулиганов и получил ранение шеи, которое, по-видимому, оказалось роковым для его вокала, требовавшего максимального мускульного напряжения.

В 1975 году группа отправилась в мировое турне, а в марте 1976 года вышел полностью хард-роковый альбом «Give Us A Wink». В США он достиг 27 места, но в Британии вообще не попал в хит-парад ...