面相的由来，是和古代社会生产和科学水平分不开的。古时候的人，因为知识水平低，对人的“旦夕祸福，富贵贫贱”的原因迷惑不解。有人就错误地认为，人的“命运”好坏，和天地万物一样，决定于“长相”和“气色”。
　　他们说，一个瓜的好、坏、生、熟、苦、甜，看看它的形状与色泽就知道了；一匹马力气大小，走得快、慢，看看它各个部位是否均匀，毛色、神态与气息如何，就知道它是良骥，还是驽骀。他们说，人也是这样，人的“命运”是和“气色”“长相”分不开的。“长相”就是物或人的面貌、体态、特征；“气色”就是物或人的容颜和神态。说这是人在出生之前，“老天爷”安排好的，是命中注定的。所以，从人的身体情况，五官气色等等，就可以推断出人的“命运”与“吉凶福祸”来。这样，他们就把自然界的一些现象，牵强附会地乱套在人的身上来了。
　　周朝有个官吏名叫叔服，最先用这些道理给人看相，成为官府的“星相家”。春秋时期，晋国有个姑布子卿的，战国时期梁国有个叫唐举的，都是比较有名的“相士”和“星相家”。由于他们对统治阶级有好处，收到历代当权者的支持和重视，因此，后来民间也出现了大批专业的“相士”和“星相家”。到了汉代以后，有人把面相有关这方面的技术、经验编著成书，如《麻衣相法》，《柳庄相法》等等，相术因此流行越来越广泛。