서족 인구는 2000년 통계에 따르면 70.96만명이다. 서족은 福建，浙江，广东，江西，贵州，安徽 등 80여 개 현의 산악지역에 거주한다. 福建에 살고 있는 인구가 37.5만명으로 가장 많다. 浙江 17만명, 广东 3만명, 江西 7.8만명, 贵州에 4.5만명이 살고 있다. 畲族，瑶族，苗族은 고대에는 언어와 풍속이 같았으며, 모두 盘瓠를 숭배하는 부족이었다. 따라서苗瑶語 집단 혹은 苗瑶 공동체라 일컬었었고, 요즘에는 苗瑶 어족이라고 부른다.

서족이 살고 있는 지역 주변에는 客家어를 쓰는 한족이 살고 있다. 따라서 집에서는 서족의 고유 언어를 쓰고 밖에서는 客家어 계통의 중국어 방언을 썼었다. 그러다가 후대로 갈수록 서족의 언어를 쓰는 경우가 줄어들고 客家어를 쓰는 기회가 점점 늘어나게 되어서 지금은 서족 전체 인구의 98%가 客家어 계통의 중국어 방언을 사용한다. 그러나 서족이 사용하는 客家어 계통의 중국어 방언에는 현대 客家어와 완전히 같은 것은 아니다. 서족이 사용하는 客家어 계통의 중국어 방언 중에는 서족 고유어의 음성적, 어휘적 특징도 녹아 있기 때문이다.

广东성 惠东, 海丰, 博罗, 增城 등의 일부 산악지역 부락에는 ‘活聂‘라고 스스로를 일컫는 서족이 고유의 언어를 사용하고 있다. 이 언어는 중국-티베트 어족 중 苗瑶 어족, 苗瑶 어파, 苗瑶 어군에 속한다. 그리고 이 언어는 苗瑶 어군의 炯奈어와 비교적 비슷하다.