Na území dnešnej obce bolo popolnicové pohrebisko lužickej kultúry z mladšej doby bronzovej. Obec je písomne doložená roku 1135 ako Werbouch, neskôr sa premenovala na Werbouk Inferior (1262), Warabuk alia (1285), Werbok (1342), Hradecký Wrbowek (1808), až do dnešnej podoby Čabradský Vrobovok (1920), maďarsky Csábrágvarbók. 

Obec má bohatú národnú, kultúrnu, a revolučnú minulosť. V obci sa zachovalo niekoľko domov s výraznou hontianskou architektúrou.

Ďalšia písomná zmienka pochádza z roku 1256, kedy uhorský panovník Belo IV. presídlil tunajších obyvateľov do Hontianskych Nemiec. Neskoršie patrila Huntovcom a panstvu Čabraď. Hrad Čabraď je písomne doložený od roku 1276, mal chrániť cesty k stredoslovenským banským mestám. Patril Huntovcom, v 15. storočí kráľovi, od roku 1513 Tomášovi Bakóczovi, neskošie Érdödyovcom a Pálffyovcom, v rokoch 1547 - 1549 bol v moci Melichara Balassu, v 1582 boli majiteľmi Illésházyovci, od roku 1622 Koháryovci. V 13. storočí sa stal strediskom panstva Čabraď, ku ktorému postupne patrili ďalšíe obce. Od roku 1817 patrilo panstvo Coburgovcom. V 15. storočí hrad obsadili Jiskrove vojská. V 16. storočí bol protitureckou pevnosťou, ubránil sa všetkým tureckým nájazdom. V 17. - 18. storočí sa stal korisťou bocskayovských, bethlenovských, rákócziovských a thökölyovských povstalcov. V roku 1812 panovník Franstišek Koháry podpálil hrad Čabraď a odvtedy je v ruinách. Od 16. storočia bola sídlom panstva Čabraď a sídlom lesnej správy. V roku 1715 - 1720 mala obec mlyn a 34 domácností, V roku 1828 72 domov a 437 obyvateľov. Zaoberali sa poľnohospodárstvom, chovom dobytka a merinových oviec. V 19. storočí tu pracovala sklárska huta.  Asi pred 150-imi rokmi tu bol postavený aj pivovar. Obyvatelia sa zapojili do SNP, bolo tu sídlo partizánskej skupiny majora Mironova.

Súčasťou obce je Konská - písomne je doložená od roku 1135 ako Konszka, neskôr Konzka (1342). Patrila panstvu Bzovík.

Oblasť je bohatá na pamiatky ako sú: zrúcaniny hradu Čabraď (postavený v 13.storočí), kaplnka v podhradí z roku 1813, klasicistický evanjelický kostol z roku 1773 a pamätná tabuľa Pavla Mudroňa. Obec je rodiskom politika Pavla Mudroňa (1835-1914) a publicistu a právnika Michala Mudroňa (1835-1887).

Čabradský hradný vrch a jeho okolie je od roku 1967 chráneným náleziskom s najbohatšou známou lokalitou plazov na území Slovenskej republiky.