سن الفيل تُقسم اجتماعياً الى ثلاثة فئات متوزعة ما بين أربعة أحياء رئيسية : حي البلدة – حي الجديد – الحرج – جسر الباشا. الفئة الأولى مكوّنة من أصحاب المهن الصغيرة ومن السكان الأصليين لسن الفيل. الفئة الثانية تعتبر من الطبقة الوسطى التي تسكن حيّ البلدة وجسر الباشا.
والفئة الثالثة ارستقراطية اي ميسورة مادياً وتسكن حي الحرج. تختلف هذه الأحياء عن بعضها من عدة نواحي: حالة المسكن – الوضع المعيشي للأسرة – نسبة الاستثمار – وجهة استعمال العقارات. يُعتبر الحي الجديد الأكثر اكتظاظاً بالسكان؛ الأبنية متلاصقة جداً، نسبة المساحات الخضراء منخفضة وتُستبدل بالمواقف الخاصة للسيارات أو بالأبنية السكنية الجديدة.
نلاحظ في عدد من الأبنية السكنية وجود مشاكل رطوبة ونشّ، إضافةً الى وجود نسبة مرتفعة لمؤشّر الاكتظاظ السكاني (overcrowding) الذي يحدد عدد الغرف في المسكن بحسب عدد القاطنين. تتشابه جسر الباشا وحي البلدة جغرافياً واجتماعياً فهما يضمّان عدد كبير من سكان سن الفيل الأصليين. يتمركز المبنى البلدي في حي البلدة. يُعرف حيّ جسر الياشا بجسره الأثري القديم. أمّا حيّ الحرج فيضمّ عدد من المؤسسات والفنادق الفخمة إضافة الى ثلاث مستشفيات خاصة وأكبر حديقة عامة في منطقة سن الفيل.