霍氏的起源在临汾霍州市，霍州因为霍山而得名，也叫霍台山。霍氏的起源可以追溯到周朝。
    公元前1066年，周武王灭了殷纣王以后，就分封诸侯，把一个叫处的弟弟分到霍州为霍侯；将殷纣王之子武庚封在殷都为殷侯。周武王为防止武庚叛乱，派了管叔鲜、蔡叔度、霍叔处这三个人以辅佐的名义来监督武庚。周武王病故后，儿子周成王十三岁登基，叔叔周公旦辅佐他代行天子职权。周旦王摄政后，管叔鲜、蔡叔度、霍叔处三人散布流言蜚语，说周旦王有野心想篡夺王位，周成王于是开始怀疑起来。周公旦主动提出辞职，到洛阳躲避。周公旦下野之后，武庚串通管叔鲜、蔡叔度、霍叔处三人发动叛乱。周成王又重新启用周公旦，让他来平息叛乱，周公旦用了三年时间平息了叛乱，并杀了武庚。管叔鲜含羞自尽，蔡叔度被充军流放。又过了三年，周成王考虑到霍叔处没有直接参与叛乱，仍让他到霍国担任地方官。其后人指国为姓，把霍叔处作为霍姓始祖。