Getting Deeper into it

We are restriucturing the data. Able to parse the data
EbrahimKaram · Feb 6, 2021 · 998956e · 998956e
1 parent 4234623
commit 998956e
Show file tree

Hide file tree

Showing 10 changed files with 288 additions and 2 deletions.
diff --git a/TheCatogories.csv → Categories/TheCatogories.csv b/TheCatogories.csv → Categories/TheCatogories.csv
diff --git a/TheCatogories.txt → Categories/TheCatogories.txt b/TheCatogories.txt → Categories/TheCatogories.txt
diff --git a/fields.csv → Categories/fields.csv b/fields.csv → Categories/fields.csv
diff --git a/fields.txt → Categories/fields.txt b/fields.txt → Categories/fields.txt
diff --git a/subfields.csv → Categories/subfields.csv b/subfields.csv → Categories/subfields.csv
diff --git a/subfields.txt → Categories/subfields.txt b/subfields.txt → Categories/subfields.txt
diff --git a/subfields_electrical.txt → Categories/subfields_electrical.txt b/subfields_electrical.txt → Categories/subfields_electrical.txt
diff --git a/pullingTheDB.py b/pullingTheDB.py
@@ -1,11 +1,49 @@
 import pandas as pd
 import requests
+import random
+from bs4 import BeautifulSoup
 import sys
 import codecs
 
 sys.stdout.reconfigure(encoding='utf-8')
 
 if __name__ == '__main__':
-    df = pd.read_csv("TheCatogories.csv", encoding="utf-8")
+    df = pd.read_csv("Categories/TheCatogories.csv", encoding="utf-8")
 
-    print(df.head(5))
+    for index, row in df.iterrows():
+        field = row['Field_ID']
+        subfield = row["SubField_ID"]
+        # TODO: CurrPage needs to increase by 1 until end
+        random_number = random.uniform(0, 1)
+        print(random_number)
+        parameters = {
+            "PageID": 112,
+            "CurrPage": 1,
+            "spec": field,
+            "spec1": subfield,
+            "searchoption": "And",
+            "rand": random_number
+        }
+        r = requests.get(
+            "https://www.oea.org.lb/Arabic/GetMembers.aspx", params=parameters)
+
+        response = r.text
+
+        soup = BeautifulSoup(response, 'html.parser')
+        # print(response)
+        engineer_IDs = soup.find_all(class_="date")
+        arabic_names = soup.find_all(class_="company")
+        latin_names = soup.find_all(class_="field")
+        links = soup.find_all(class_="more")
+
+
+        data={"Engineer_ID":engineer_IDs,
+        "Arabic_Names":arabic_names,
+        "Latin_Names":latin_names,
+        "Links": links}
+
+# TODO: Create CSV and check it
+# TODO: create dictionaary
+# We need the remove the added divs and info
+
+        break
diff --git a/response.html b/response.html
@@ -0,0 +1,124 @@
+<ul>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>2637</div>
+    <div class="company"><b>الاسم: </b>غسان متري شكور</div>
+    <div class="field"><b>Latin Name: </b>Ghassan Mitri Chaccour</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=2637&id=152119'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>2684</div>
+    <div class="company"><b>الاسم: </b>جاد انطوان تابت</div>
+    <div class="field"><b>Latin Name: </b>Jad Antoine Tabet</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=2684&id=151509'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>5930</div>
+    <div class="company"><b>الاسم: </b>ناجي امين عون</div>
+    <div class="field"><b>Latin Name: </b>Naji Amine Aoun</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=5930&id=154765'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>14260</div>
+    <div class="company"><b>الاسم: </b>امنه عاصم بدر الدين</div>
+    <div class="field"><b>Latin Name: </b>Amenah Assem Badreddine</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=14260&id=163905'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>16419</div>
+    <div class="company"><b>الاسم: </b>جوزف فيليب ابراهيم</div>
+    <div class="field"><b>Latin Name: </b>JOSEPH PHILIP IBRAHIM</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=16419&id=165893'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>17180</div>
+    <div class="company"><b>الاسم: </b>فراس توفيق مرتضى</div>
+    <div class="field"><b>Latin Name: </b>FIRAS TOUFIC MOURTADA</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=17180&id=166748'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>21408</div>
+    <div class="company"><b>الاسم: </b>رشا يوسف الديراني</div>
+    <div class="field"><b>Latin Name: </b>Rasha Youssef El Dirani</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=21408&id=170718'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>23398</div>
+    <div class="company"><b>الاسم: </b>ايليا فواد موسى</div>
+    <div class="field"><b>Latin Name: </b>Elia Fouad Moussa</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=23398&id=173611'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>26363</div>
+    <div class="company"><b>الاسم: </b>وائل رياض فاخوري</div>
+    <div class="field"><b>Latin Name: </b>Wael Riad Fakhoury</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=26363&id=175754'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>26517</div>
+    <div class="company"><b>الاسم: </b>غسان جرجس خوري</div>
+    <div class="field"><b>Latin Name: </b>Ghassan Gerges El Khoury</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=26517&id=175288'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>26632</div>
+    <div class="company"><b>الاسم: </b>مهيب فايز بو ذياب</div>
+    <div class="field"><b>Latin Name: </b>Mouhib Fayez Bou Diab</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=26632&id=176337'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>27760</div>
+    <div class="company"><b>الاسم: </b>ايليان الياس الحاج</div>
+    <div class="field"><b>Latin Name: </b>Eliane Elias El Haj</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=27760&id=177245'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>28226</div>
+    <div class="company"><b>الاسم: </b>نسرين نعمان بغدادي</div>
+    <div class="field"><b>Latin Name: </b>Nisrene Naaman Baghdadi</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=28226&id=177730'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>28600</div>
+    <div class="company"><b>الاسم: </b>يوسف صالح حلو</div>
+    <div class="field"><b>Latin Name: </b>Youssef Saleh El Hellou</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=28600&id=178058'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>28693</div>
+    <div class="company"><b>الاسم: </b>وائل صبري معنقي</div>
+    <div class="field"><b>Latin Name: </b>Wael Sabri Maanaki</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=28693&id=149294'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>28711</div>
+    <div class="company"><b>الاسم: </b>بشير ميشال ابي فاضل</div>
+    <div class="field"><b>Latin Name: </b>Bachir Michel Abi Fadel</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=28711&id=149312'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>28734</div>
+    <div class="company"><b>الاسم: </b>عيسى سمير حيدريه</div>
+    <div class="field"><b>Latin Name: </b>Issa Samir Haidarieh</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=28734&id=149335'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>28744</div>
+    <div class="company"><b>الاسم: </b>داني الياس الفغالي</div>
+    <div class="field"><b>Latin Name: </b>Danny Elias Feghaly</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=28744&id=149345'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>28746</div>
+    <div class="company"><b>الاسم: </b>رنا وائل طليع</div>
+    <div class="field"><b>Latin Name: </b>Rana Wael Talih</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=28746&id=149347'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>28755</div>
+    <div class="company"><b>الاسم: </b>سليم عادل القاضي</div>
+    <div class="field"><b>Latin Name: </b>Salim Adel Al-Kadi</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=28755&id=149356'>التفاصيل</a></div>
+  </li>
+  <div class="clearBoth"></div>
+  <div class="loadMore">المزيد</div>
+</ul>
diff --git a/response2.html b/response2.html
@@ -0,0 +1,124 @@
+<ul>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>2637</div>
+    <div class="company"><b>الاسم: </b>غسان متري شكور</div>
+    <div class="field"><b>Latin Name: </b>Ghassan Mitri Chaccour</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=2637&id=152119'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>2684</div>
+    <div class="company"><b>الاسم: </b>جاد انطوان تابت</div>
+    <div class="field"><b>Latin Name: </b>Jad Antoine Tabet</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=2684&id=151509'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>5930</div>
+    <div class="company"><b>الاسم: </b>ناجي امين عون</div>
+    <div class="field"><b>Latin Name: </b>Naji Amine Aoun</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=5930&id=154765'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>14260</div>
+    <div class="company"><b>الاسم: </b>امنه عاصم بدر الدين</div>
+    <div class="field"><b>Latin Name: </b>Amenah Assem Badreddine</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=14260&id=163905'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>16419</div>
+    <div class="company"><b>الاسم: </b>جوزف فيليب ابراهيم</div>
+    <div class="field"><b>Latin Name: </b>JOSEPH PHILIP IBRAHIM</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=16419&id=165893'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>17180</div>
+    <div class="company"><b>الاسم: </b>فراس توفيق مرتضى</div>
+    <div class="field"><b>Latin Name: </b>FIRAS TOUFIC MOURTADA</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=17180&id=166748'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>21408</div>
+    <div class="company"><b>الاسم: </b>رشا يوسف الديراني</div>
+    <div class="field"><b>Latin Name: </b>Rasha Youssef El Dirani</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=21408&id=170718'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>23398</div>
+    <div class="company"><b>الاسم: </b>ايليا فواد موسى</div>
+    <div class="field"><b>Latin Name: </b>Elia Fouad Moussa</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=23398&id=173611'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>26363</div>
+    <div class="company"><b>الاسم: </b>وائل رياض فاخوري</div>
+    <div class="field"><b>Latin Name: </b>Wael Riad Fakhoury</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=26363&id=175754'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>26517</div>
+    <div class="company"><b>الاسم: </b>غسان جرجس خوري</div>
+    <div class="field"><b>Latin Name: </b>Ghassan Gerges El Khoury</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=26517&id=175288'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>26632</div>
+    <div class="company"><b>الاسم: </b>مهيب فايز بو ذياب</div>
+    <div class="field"><b>Latin Name: </b>Mouhib Fayez Bou Diab</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=26632&id=176337'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>27760</div>
+    <div class="company"><b>الاسم: </b>ايليان الياس الحاج</div>
+    <div class="field"><b>Latin Name: </b>Eliane Elias El Haj</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=27760&id=177245'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>28226</div>
+    <div class="company"><b>الاسم: </b>نسرين نعمان بغدادي</div>
+    <div class="field"><b>Latin Name: </b>Nisrene Naaman Baghdadi</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=28226&id=177730'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>28600</div>
+    <div class="company"><b>الاسم: </b>يوسف صالح حلو</div>
+    <div class="field"><b>Latin Name: </b>Youssef Saleh El Hellou</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=28600&id=178058'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>28693</div>
+    <div class="company"><b>الاسم: </b>وائل صبري معنقي</div>
+    <div class="field"><b>Latin Name: </b>Wael Sabri Maanaki</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=28693&id=149294'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>28711</div>
+    <div class="company"><b>الاسم: </b>بشير ميشال ابي فاضل</div>
+    <div class="field"><b>Latin Name: </b>Bachir Michel Abi Fadel</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=28711&id=149312'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>28734</div>
+    <div class="company"><b>الاسم: </b>عيسى سمير حيدريه</div>
+    <div class="field"><b>Latin Name: </b>Issa Samir Haidarieh</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=28734&id=149335'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>28744</div>
+    <div class="company"><b>الاسم: </b>داني الياس الفغالي</div>
+    <div class="field"><b>Latin Name: </b>Danny Elias Feghaly</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=28744&id=149345'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>28746</div>
+    <div class="company"><b>الاسم: </b>رنا وائل طليع</div>
+    <div class="field"><b>Latin Name: </b>Rana Wael Talih</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=28746&id=149347'>التفاصيل</a></div>
+  </li>
+  <li>
+    <div class="date"><b>رقم المهندس: </b>28755</div>
+    <div class="company"><b>الاسم: </b>سليم عادل القاضي</div>
+    <div class="field"><b>Latin Name: </b>Salim Adel Al-Kadi</div>
+    <div class="more"><a href='Memberdetails.aspx?pagesize=20&RadCurrentPage=1&Code=0&Specialty=500&HRSpecialty=117&FamilyName=&Name=&pageid=112&Engcode=28755&id=149356'>التفاصيل</a></div>
+  </li>
+  <div class="clearBoth"></div>
+  <div class="loadMore">المزيد</div>
+</ul>