Pendant que Billie Joe et Mike dormaient dans les maisons de chacun, il jouaient des chansons de heavy metal avec des influences de Ozzy Osbourne, Def Leppard, The Clash et Van Halen. Les autres influences sont le Bay Area's Alternative Music Culture pendant les années '80. Il fréquentait des clubs comme Mabhuay Gardens & Berkeley's 924 Gilman Street. Il y jouaient souvent avec des groupes locaux comme Dead Kennedys et Buck Naked.
A 16 ans, Billie Joe accompagné de Mike Dirnt et John Kiffmeyer (aka Al Sobrante, batteur) forment le groupe Sweet Children. Ils donnaient des prestations au Rod's Hicktory Pit.
La veille de ses 18 ans, le 16 février 1990, Billie joe abandonne l'école (Pinole Valley High School) pour se concentrer sur Sweet Children. Il savait ce qu'il voulait faire : jouer de la musique car l'école ne lui servait à rien. À cette époque, son surnom était 2$ Bill, car c'était le prix auquel il vendait des joints de cannabis.
En 1990, Al Sobrante abandonne le groupe pour l'université. Il fallait trouver un nouveau batteur. Al fut remplacé par un certain Dave E.C. qui laissa très vite sa place à Tré Cool (né Frank Edwin Wright III). Peu de temps plus tard, Sweet Children a été rebaptisé Green Day (Selon une chanson de leur premier album studio ainsi que leur penchant pour la marijuana).
