Python script, which empowers people with no programming background to generate robust leads on a mass scale. This repo will be compiled of various versatile techniques used in lead generation.
bufferizaiton added
Madieab260fe73f4
diff --git a/bufferization.py b/bufferization.pynew file mode 100644index 0000000..7f75793--- /dev/null+++ b/bufferization.py@@ -0,0 +1,36 @@+import csv++from config import order+++class Buffer:+ lower_limit = 20+ upper_limit = 201+ fn = list(order.keys())++ def __init__(self, filename: str = 'leads.csv', buffer_size: int = 20):+ if not filename.endswith('.csv'):+ raise ValueError(+ 'Incorrect filename specified. Filename should end with `.csv`')+ if not buffer_size in range(self.lower_limit, self.upper_limit):+ raise ValueError(+ f'Expected value between {self.upper_limit} and {self.upper_limit}. However, got {buffer_size}')++ self._buffer_size = buffer_size+ self._filename = filename+ self._data = []++ with open(self._filename, 'w', newline='') as f:+ writer = csv.DictWriter(f, fieldnames=self.fn)+ writer.writeheader()++ def _dump(self):+ with open('leads.csv', 'a', encoding='utf-8', newline='') as f:+ writer = csv.DictWriter(f, fieldnames=self.fn)+ for d in self._data:+ writer.writerow(d)++ def __iadd__(self, other: dict):+ self._data.append(dict)+ if self._data >= self._buffer_size:+ self._dump()\ No newline at end of filediff --git a/config.py b/config.pynew file mode 100644index 0000000..d50d210--- /dev/null+++ b/config.py@@ -0,0 +1,10 @@+++google_maps = 'https://www.google.ru/maps'++order = {+ 'Title': None,+ 'Address': 'place_gm_blue_24dp.png',+ 'WebSite': 'public_gm_blue_24dp.png',+ 'PhoneNumber': 'phone_gm_blue_24dp.png'+}diff --git a/leads.csv b/leads.csvdeleted file mode 100644index d1c76c2..0000000--- a/leads.csv+++ /dev/null@@ -1,111 +0,0 @@-Title,Address,WebSite,PhoneNumber-,,,-SOS,"Мясницкая ул., дом 11, Москва, Россия, 101000",sos.cafe,+7 495 150-43-34-Breakfast Cafe,"Малая Никитская ул., 2/1 стр. 1, Москва, Россия, 121069",friends-forever.ru,+7 916 640-86-36-,,,-Me cafe,"Москва, Россия, 115184",Добавить сайт,Добавить номер телефона-ПРОСВЕТ,"ул. Ильинка, 4, 7 подъезд, Москва, Россия, 109012",instagram.com,+7 925 606-36-59-Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87-Cafe Sobranie,"ул. Большая Дмитровка, 1, Москва, Россия, 125009",Добавить сайт,Добавить номер телефона-Фестивальное,"Красная пл., 3, ГУМ, Москва, Россия, 109012",Добавить сайт,Добавить номер телефона-Illy,"Москва, Россия, 115035",Добавить сайт,Добавить номер телефона-PRIME,"Тверская ул., 15, Москва, Россия, 125009",prime-star.ru,+7 495 664-23-63-У Фонтана Кафе,"Красная пл., 3, Москва, Россия, 109012",gum.ru,+7 495 995-88-99-ОМ ФУД КАФЕ (OM Food Cafe),"ул. Рождественка, 11/4к1с4, Москва, Россия, 107031",omfoodcafe.ru,+7 495 532-75-42-The Library Bar,"ул. Бахрушина, 11, Москва, Россия, 115184",Добавить сайт,+7 495 720-53-03-Surf Coffee,"Мясницкая ул., 16, Москва, Россия, 101000",surfcoffee.ru,+7 965 213-15-20-Му-Му,"ул. Рождественка, 5/7с89, Москва, Россия, 109012",cafemumu.ru,+7 989 488-06-85-Му-Му,"Манежная пл., 1, стр. 2 ТЦ «Охотный ряд», средний уровень, Москва, Россия, 125009",cafemumu.ru,+7 985 129-82-76-Saperavi cafe,"ул. Покровка, д. 5, стр. 5, Москва, Россия, 101000",saperavicafe.ru,+7 495 648-66-33-Авокадо,"Чистопрудный бул., 12, к. 2, Москва, Россия, 101000",avocadocafe.ru,+7 495 621-77-19-Кафе Lights cafe,"Нижняя Радищевская ул., 14/2 строение 1, 1 этаж, Москва, Россия, 109240",lightscafe.ru,+7 495 233-12-59-,,,-Unlock cafe,"Лубянский пр-д, 19 строение 1, Москва, Россия, 101000",unlock.cafe,+7 495 623-25-78-Breakfast Cafe,"Малая Никитская ул., 2/1 стр. 1, Москва, Россия, 121069",friends-forever.ru,+7 916 640-86-36-Ресторан Bon App Cafe в Тверском районе,"Никольская улица, 25, 1 этаж, ТЦ Наутилиус, Москва, Россия, 109012",bonappcafe.ru,+7 495 204-49-17-Me cafe,"Москва, Россия, 115184",Добавить сайт,Добавить номер телефона-ПРОСВЕТ,"ул. Ильинка, 4, 7 подъезд, Москва, Россия, 109012",instagram.com,+7 925 606-36-59-Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87-Illy,"Москва, Россия, 115035",Добавить сайт,Добавить номер телефона-Cafe Sobranie,"ул. Большая Дмитровка, 1, Москва, Россия, 125009",Добавить сайт,Добавить номер телефона-Фестивальное,"Красная пл., 3, ГУМ, Москва, Россия, 109012",Добавить сайт,Добавить номер телефона-PRIME,"Тверская ул., 15, Москва, Россия, 125009",prime-star.ru,+7 495 664-23-63-У Фонтана Кафе,"Красная пл., 3, Москва, Россия, 109012",gum.ru,+7 495 995-88-99-ОМ ФУД КАФЕ (OM Food Cafe),"ул. Рождественка, 11/4к1с4, Москва, Россия, 107031",omfoodcafe.ru,+7 495 532-75-42-The Library Bar,"ул. Бахрушина, 11, Москва, Россия, 115184",Добавить сайт,+7 495 720-53-03-Surf Coffee,"Мясницкая ул., 16, Москва, Россия, 101000",surfcoffee.ru,+7 965 213-15-20-Му-Му,"ул. Рождественка, 5/7с89, Москва, Россия, 109012",cafemumu.ru,+7 989 488-06-85-Му-Му,"Манежная пл., 1, стр. 2 ТЦ «Охотный ряд», средний уровень, Москва, Россия, 125009",cafemumu.ru,+7 985 129-82-76-Saperavi cafe,"ул. Покровка, д. 5, стр. 5, Москва, Россия, 101000",saperavicafe.ru,+7 495 648-66-33-Авокадо,"Чистопрудный бул., 12, к. 2, Москва, Россия, 101000",avocadocafe.ru,+7 495 621-77-19-Кафе Lights cafe,"Нижняя Радищевская ул., 14/2 строение 1, 1 этаж, Москва, Россия, 109240",lightscafe.ru,+7 495 233-12-59-,,,-Unlock cafe,"Лубянский пр-д, 19 строение 1, Москва, Россия, 101000",unlock.cafe,+7 495 623-25-78-Breakfast Cafe,"Малая Никитская ул., 2/1 стр. 1, Москва, Россия, 121069",friends-forever.ru,+7 916 640-86-36-,,,-Me cafe,"Москва, Россия, 115184",Добавить сайт,Добавить номер телефона-,,,-Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87-Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87-Cafe Sobranie,"ул. Большая Дмитровка, 1, Москва, Россия, 125009",Добавить сайт,Добавить номер телефона-Фестивальное,"Красная пл., 3, ГУМ, Москва, Россия, 109012",Добавить сайт,Добавить номер телефона-PRIME,"Тверская ул., 15, Москва, Россия, 125009",prime-star.ru,+7 495 664-23-63-У Фонтана Кафе,"Красная пл., 3, Москва, Россия, 109012",gum.ru,+7 495 995-88-99-ОМ ФУД КАФЕ (OM Food Cafe),"ул. Рождественка, 11/4к1с4, Москва, Россия, 107031",omfoodcafe.ru,+7 495 532-75-42-The Library Bar,"ул. Бахрушина, 11, Москва, Россия, 115184",Добавить сайт,+7 495 720-53-03-Surf Coffee,"Мясницкая ул., 16, Москва, Россия, 101000",surfcoffee.ru,+7 965 213-15-20-,,,-Му-Му,"ул. Рождественка, 5/7с89, Москва, Россия, 109012",cafemumu.ru,+7 989 488-06-85-Му-Му,"Манежная пл., 1, стр. 2 ТЦ «Охотный ряд», средний уровень, Москва, Россия, 125009",cafemumu.ru,+7 985 129-82-76-Saperavi cafe,"ул. Покровка, д. 5, стр. 5, Москва, Россия, 101000",saperavicafe.ru,+7 495 648-66-33-Авокадо,"Чистопрудный бул., 12, к. 2, Москва, Россия, 101000",avocadocafe.ru,+7 495 621-77-19-,,,-Me cafe,"Москва, Россия, 115184",Добавить сайт,Добавить номер телефона-SOS,"Мясницкая ул., дом 11, Москва, Россия, 101000",sos.cafe,+7 495 150-43-34-Ресторан Bon App Cafe в Тверском районе,"Никольская улица, 25, 1 этаж, ТЦ Наутилиус, Москва, Россия, 109012",bonappcafe.ru,+7 495 204-49-17-,,,-Illy,"Москва, Россия, 115035",Добавить сайт,Добавить номер телефона-ПРОСВЕТ,"ул. Ильинка, 4, 7 подъезд, Москва, Россия, 109012",instagram.com,+7 925 606-36-59-Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87-,,,-Фестивальное,"Красная пл., 3, ГУМ, Москва, Россия, 109012",Добавить сайт,Добавить номер телефона-Scramble,"ул. Спиридоновка, 24, к.1, Москва, Россия, 123001",friends-forever.ru,+7 495 691-18-50-,,,-,,,-ОМ ФУД КАФЕ (OM Food Cafe),"ул. Рождественка, 11/4к1с4, Москва, Россия, 107031",omfoodcafe.ru,+7 495 532-75-42-The Library Bar,"ул. Бахрушина, 11, Москва, Россия, 115184",Добавить сайт,+7 495 720-53-03-Surf Coffee,"Мясницкая ул., 16, Москва, Россия, 101000",surfcoffee.ru,+7 965 213-15-20-Му-Му,"ул. Рождественка, 5/7с89, Москва, Россия, 109012",cafemumu.ru,+7 989 488-06-85-Му-Му,"Манежная пл., 1, стр. 2 ТЦ «Охотный ряд», средний уровень, Москва, Россия, 125009",cafemumu.ru,+7 985 129-82-76-Saperavi cafe,"ул. Покровка, д. 5, стр. 5, Москва, Россия, 101000",saperavicafe.ru,+7 495 648-66-33-Авокадо,"Чистопрудный бул., 12, к. 2, Москва, Россия, 101000",avocadocafe.ru,+7 495 621-77-19-,,,-Unlock cafe,"Лубянский пр-д, 19 строение 1, Москва, Россия, 101000",unlock.cafe,+7 495 623-25-78-SOS,"Мясницкая ул., дом 11, Москва, Россия, 101000",sos.cafe,+7 495 150-43-34-Ресторан Bon App Cafe в Тверском районе,"Никольская улица, 25, 1 этаж, ТЦ Наутилиус, Москва, Россия, 109012",bonappcafe.ru,+7 495 204-49-17-Illy,"Москва, Россия, 115035",Добавить сайт,Добавить номер телефона-Кранцлер,"ул. Балчуг, 1, Москва, Россия, 115035",kempinski.com,+7 495 287-20-08-ПРОСВЕТ,"ул. Ильинка, 4, 7 подъезд, Москва, Россия, 109012",instagram.com,+7 925 606-36-59-Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87-Cafe Sobranie,"ул. Большая Дмитровка, 1, Москва, Россия, 125009",Добавить сайт,Добавить номер телефона-,,,-Scramble,"ул. Спиридоновка, 24, к.1, Москва, Россия, 123001",friends-forever.ru,+7 495 691-18-50-,,,-У Фонтана Кафе,"Красная пл., 3, Москва, Россия, 109012",gum.ru,+7 495 995-88-99-ОМ ФУД КАФЕ (OM Food Cafe),"ул. Рождественка, 11/4к1с4, Москва, Россия, 107031",omfoodcafe.ru,+7 495 532-75-42-The Library Bar,"ул. Бахрушина, 11, Москва, Россия, 115184",Добавить сайт,+7 495 720-53-03-Surf Coffee,"Мясницкая ул., 16, Москва, Россия, 101000",surfcoffee.ru,+7 965 213-15-20-Му-Му,"ул. Рождественка, 5/7с89, Москва, Россия, 109012",cafemumu.ru,+7 989 488-06-85-Му-Му,"Манежная пл., 1, стр. 2 ТЦ «Охотный ряд», средний уровень, Москва, Россия, 125009",cafemumu.ru,+7 985 129-82-76-Кафе Lights cafe,"Нижняя Радищевская ул., 14/2 строение 1, 1 этаж, Москва, Россия, 109240",lightscafe.ru,+7 495 233-12-59-Saperavi cafe,"ул. Покровка, д. 5, стр. 5, Москва, Россия, 101000",saperavicafe.ru,+7 495 648-66-33-,,,-Unlock cafe,"Лубянский пр-д, 19 строение 1, Москва, Россия, 101000",unlock.cafe,+7 495 623-25-78-SOS,"Мясницкая ул., дом 11, Москва, Россия, 101000",sos.cafe,+7 495 150-43-34-Ресторан Bon App Cafe в Тверском районе,"Никольская улица, 25, 1 этаж, ТЦ Наутилиус, Москва, Россия, 109012",bonappcafe.ru,+7 495 204-49-17-,,,-Кранцлер,"ул. Балчуг, 1, Москва, Россия, 115035",kempinski.com,+7 495 287-20-08-ПРОСВЕТ,"ул. Ильинка, 4, 7 подъезд, Москва, Россия, 109012",instagram.com,+7 925 606-36-59-Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87-,,,-,,,diff --git a/locators.py b/locators.pynew file mode 100644index 0000000..8394f86--- /dev/null+++ b/locators.py@@ -0,0 +1,5 @@+button_xpath = '//*[@class="iRxY3GoUYUY__button gm2-hairline-border section-action-chip-button"]'+search_xpath = '//*[@role="gridcell"]'+# wait_xpath = '//*[@jstcache="1098"]'+next_xpath = '//*[contains(@src, "chevron_right_black_24dp.png")]'+check_xpath = '//*[@src="//www.gstatic.com/images/icons/material/system_gm/2x/share_gm_blue_18dp.png"]'\ No newline at end of filediff --git a/webdriver.py b/webdriver.pyindex a5a5e35..01fb2c6 100644--- a/webdriver.py+++ b/webdriver.py@@ -8,56 +8,14 @@ from fake_useragent import UserAgentfrom pyppeteer import launchfrom time import sleep+from locators import *+from config import *+from bufferization import Buffer-google_maps = 'https://www.google.ru/maps'ua = UserAgent()-button_xpath = '//*[@class="iRxY3GoUYUY__button gm2-hairline-border section-action-chip-button"]'-search_xpath = '//*[@role="gridcell"]'-wait_xpath = '//*[@jstcache="1098"]'-next_xpath = '//*[contains(@src, "chevron_right_black_24dp.png")]'-order = {- 'Title': None,- 'Address': re.compile(r'(place_gm_blue_24dp.png)'),- 'WebSite': re.compile(r'(public_gm_blue_24dp.png)'),- 'PhoneNumber': re.compile(r'(phone_gm_blue_24dp.png)')-}---class Buffer:- lower_limit = 20- upper_limit = 201- fn = list(order.keys())-- def __init__(self, filename: str = 'leads.csv', buffer_size: int = 20):- if not filename.endswith('.csv'):- raise ValueError(- 'Incorrect filename specified. Filename should end with `.csv`')- if not buffer_size in range(self.lower_limit, self.upper_limit):- raise ValueError(- f'Expected value between {self.upper_limit} and {self.upper_limit}. However, got {buffer_size}')-- self._buffer_size = buffer_size- self._filename = filename- self._data = []-- with open(self._filename, 'w', newline='') as f:- writer = csv.DictWriter(f, fieldnames=self.fn)- writer.writeheader()-- def _dump(self):- with open('leads.csv', 'a', encoding='utf-8', newline='') as f:- writer = csv.DictWriter(f, fieldnames=self.fn)- for d in self._data:- writer.writerow(d)-- def __iadd__(self, other: dict):- self._data.append(dict)- if self._data >= self._buffer_size:- self._dump()-class Webdriver:viewport = {'width': 1920, 'height': 1080, 'deviceScaleFactor': 1.0,@@ -73,6 +31,10 @@ class Webdriver:autoclose=True,)+ async def _shut_browser(self):+ await self.page.close()+ await self.browser.close()+async def search(self, location=None, keyword=None, url=None):if location and keyword and not url:print(@@ -85,14 +47,12 @@ class Webdriver:self._url = urlawait self._jump()else:+ await self._shut_browser()raise ValueError(f'Specify location and keyword. Otherwise, specify URL only. Got location {location}, keyword {keyword} and URL {url}')await self.scrape()-- sleep(100)- await self.page.close()- await self.browser.close()+ await self._shut_browser()async def _enter(self, word):await self.page.keyboard.type(word)@@ -116,7 +76,13 @@ class Webdriver:await self._enter(self._keyword)async def _jump(self):- await self.page.goto(self._url)+ try:+ await self.page.goto(self._url)+ print('Checking the given URL')+ self.page.waitForXPath(check_xpath)+ except:+ await self._shut_browser()+ raise ValueError('Got invalid URL for google maps')async def scrape(self):next_button = True@@ -163,7 +129,7 @@ class Webdriver:try:if src:value = soup.find(- attrs={'src': src}).parent.parent.parent.text.strip()+ attrs={'src': re.compile(src)}).parent.parent.parent.text.strip()else:value = soup.select('h1')[0].text.strip()except: