卡拉OK最早起源于日本。由于日本的风俗，男人如果回家过早的话，会让邻居们看不起，认为天天工作连个应酬都没，每天回家的太早成了旁人笑话的把柄。所以许多日本男人就在下班后聚集在酒吧或茶馆，聊天到很晚才回家。后来慢慢的他们觉得应该找点什么新的消磨时间的项目，就在酒吧里面边喝酒边用上电视机话筒等简单的可以用来唱歌的东西，后来随着科技的发展演变成现在的卡拉OK。后来传入台湾，再由台湾传入中国大陆，有了如今的卡拉OK的景象。
其中“卡拉”是“空”（空无，日语为から）之意，“OK”的オーケ则是オーケストラ(orchestra)“管弦乐团”的简写开头二字母。合起来意指唱歌时没有真正的乐队伴奏，只有影音伴奏。