Tahun ajaran baru telah tiba, yang berarti para anggota senior Klub Musik Ringan kini telah menjadi siswa kelas tiga, dengan Azusa Nakano menjadi satu-satunya siswa kelas dua. Para siswa kelas tiga segera menyadari bahwa Azusa akan menjadi satu-satunya anggota yang tersisa setelah mereka lulus dan memutuskan untuk merekrut anggota baru. Meskipun telah mencoba berbagai cara untuk menarik siswa kelas bawah—membagikan brosur, mengajak orang-orang ke ruang klub, dan tampil di upacara penyambutan—tidak ada tanda-tanda akan ada yang bergabung.
Saat menuju ruang klub, Azusa mendengar Yui Hirasawa mengatakan bahwa klub ini sudah cukup dengan lima orang dan mereka bisa melakukan banyak hal menyenangkan bersama. Berubah pikiran, ia memutuskan untuk tidak perlu merekrut anggota lagi untuk sementara waktu.
K-On!! berkisah tentang para anggota Klub Musik Ringan yang menjalani kehidupan sehari-hari mereka di SMA. Dari berlatih untuk konser hingga sekadar bersenang-senang, mereka siap untuk menjadikan tahun terakhir mereka bersama sebagai tahun yang menyenangkan!
