Skip to content

Python script, which empowers people with no programming background to generate robust leads on a mass scale. This repo will be compiled of various versatile techniques used in lead generation.

bufferizaiton added

Madieab260fe73f4
diff --git a/bufferization.py b/bufferization.py
new file mode 100644
index 0000000..7f75793
--- /dev/null
+++ b/bufferization.py
@@ -0,0 +1,36 @@
+import csv
+
+from config import order
+
+
+class Buffer:
+ lower_limit = 20
+ upper_limit = 201
+ fn = list(order.keys())
+
+ def __init__(self, filename: str = 'leads.csv', buffer_size: int = 20):
+ if not filename.endswith('.csv'):
+ raise ValueError(
+ 'Incorrect filename specified. Filename should end with `.csv`')
+ if not buffer_size in range(self.lower_limit, self.upper_limit):
+ raise ValueError(
+ f'Expected value between {self.upper_limit} and {self.upper_limit}. However, got {buffer_size}')
+
+ self._buffer_size = buffer_size
+ self._filename = filename
+ self._data = []
+
+ with open(self._filename, 'w', newline='') as f:
+ writer = csv.DictWriter(f, fieldnames=self.fn)
+ writer.writeheader()
+
+ def _dump(self):
+ with open('leads.csv', 'a', encoding='utf-8', newline='') as f:
+ writer = csv.DictWriter(f, fieldnames=self.fn)
+ for d in self._data:
+ writer.writerow(d)
+
+ def __iadd__(self, other: dict):
+ self._data.append(dict)
+ if self._data >= self._buffer_size:
+ self._dump()
\ No newline at end of file
diff --git a/config.py b/config.py
new file mode 100644
index 0000000..d50d210
--- /dev/null
+++ b/config.py
@@ -0,0 +1,10 @@
+
+
+google_maps = 'https://www.google.ru/maps'
+
+order = {
+ 'Title': None,
+ 'Address': 'place_gm_blue_24dp.png',
+ 'WebSite': 'public_gm_blue_24dp.png',
+ 'PhoneNumber': 'phone_gm_blue_24dp.png'
+}
diff --git a/leads.csv b/leads.csv
deleted file mode 100644
index d1c76c2..0000000
--- a/leads.csv
+++ /dev/null
@@ -1,111 +0,0 @@
-Title,Address,WebSite,PhoneNumber
-,,,
-SOS,"Мясницкая ул., дом 11, Москва, Россия, 101000",sos.cafe,+7 495 150-43-34
-Breakfast Cafe,"Малая Никитская ул., 2/1 стр. 1, Москва, Россия, 121069",friends-forever.ru,+7 916 640-86-36
-,,,
-Me cafe,"Москва, Россия, 115184",Добавить сайт,Добавить номер телефона
-ПРОСВЕТ,"ул. Ильинка, 4, 7 подъезд, Москва, Россия, 109012",instagram.com,+7 925 606-36-59
-Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87
-Cafe Sobranie,"ул. Большая Дмитровка, 1, Москва, Россия, 125009",Добавить сайт,Добавить номер телефона
-Фестивальное,"Красная пл., 3, ГУМ, Москва, Россия, 109012",Добавить сайт,Добавить номер телефона
-Illy,"Москва, Россия, 115035",Добавить сайт,Добавить номер телефона
-PRIME,"Тверская ул., 15, Москва, Россия, 125009",prime-star.ru,+7 495 664-23-63
-У Фонтана Кафе,"Красная пл., 3, Москва, Россия, 109012",gum.ru,+7 495 995-88-99
-ОМ ФУД КАФЕ (OM Food Cafe),"ул. Рождественка, 11/4к1с4, Москва, Россия, 107031",omfoodcafe.ru,+7 495 532-75-42
-The Library Bar,"ул. Бахрушина, 11, Москва, Россия, 115184",Добавить сайт,+7 495 720-53-03
-Surf Coffee,"Мясницкая ул., 16, Москва, Россия, 101000",surfcoffee.ru,+7 965 213-15-20
-Му-Му,"ул. Рождественка, 5/7с89, Москва, Россия, 109012",cafemumu.ru,+7 989 488-06-85
-Му-Му,"Манежная пл., 1, стр. 2 ТЦ «Охотный ряд», средний уровень, Москва, Россия, 125009",cafemumu.ru,+7 985 129-82-76
-Saperavi cafe,"ул. Покровка, д. 5, стр. 5, Москва, Россия, 101000",saperavicafe.ru,+7 495 648-66-33
-Авокадо,"Чистопрудный бул., 12, к. 2, Москва, Россия, 101000",avocadocafe.ru,+7 495 621-77-19
-Кафе Lights cafe,"Нижняя Радищевская ул., 14/2 строение 1, 1 этаж, Москва, Россия, 109240",lightscafe.ru,+7 495 233-12-59
-,,,
-Unlock cafe,"Лубянский пр-д, 19 строение 1, Москва, Россия, 101000",unlock.cafe,+7 495 623-25-78
-Breakfast Cafe,"Малая Никитская ул., 2/1 стр. 1, Москва, Россия, 121069",friends-forever.ru,+7 916 640-86-36
-Ресторан Bon App Cafe в Тверском районе,"Никольская улица, 25, 1 этаж, ​ТЦ Наутилиус, Москва, Россия, 109012",bonappcafe.ru,+7 495 204-49-17
-Me cafe,"Москва, Россия, 115184",Добавить сайт,Добавить номер телефона
-ПРОСВЕТ,"ул. Ильинка, 4, 7 подъезд, Москва, Россия, 109012",instagram.com,+7 925 606-36-59
-Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87
-Illy,"Москва, Россия, 115035",Добавить сайт,Добавить номер телефона
-Cafe Sobranie,"ул. Большая Дмитровка, 1, Москва, Россия, 125009",Добавить сайт,Добавить номер телефона
-Фестивальное,"Красная пл., 3, ГУМ, Москва, Россия, 109012",Добавить сайт,Добавить номер телефона
-PRIME,"Тверская ул., 15, Москва, Россия, 125009",prime-star.ru,+7 495 664-23-63
-У Фонтана Кафе,"Красная пл., 3, Москва, Россия, 109012",gum.ru,+7 495 995-88-99
-ОМ ФУД КАФЕ (OM Food Cafe),"ул. Рождественка, 11/4к1с4, Москва, Россия, 107031",omfoodcafe.ru,+7 495 532-75-42
-The Library Bar,"ул. Бахрушина, 11, Москва, Россия, 115184",Добавить сайт,+7 495 720-53-03
-Surf Coffee,"Мясницкая ул., 16, Москва, Россия, 101000",surfcoffee.ru,+7 965 213-15-20
-Му-Му,"ул. Рождественка, 5/7с89, Москва, Россия, 109012",cafemumu.ru,+7 989 488-06-85
-Му-Му,"Манежная пл., 1, стр. 2 ТЦ «Охотный ряд», средний уровень, Москва, Россия, 125009",cafemumu.ru,+7 985 129-82-76
-Saperavi cafe,"ул. Покровка, д. 5, стр. 5, Москва, Россия, 101000",saperavicafe.ru,+7 495 648-66-33
-Авокадо,"Чистопрудный бул., 12, к. 2, Москва, Россия, 101000",avocadocafe.ru,+7 495 621-77-19
-Кафе Lights cafe,"Нижняя Радищевская ул., 14/2 строение 1, 1 этаж, Москва, Россия, 109240",lightscafe.ru,+7 495 233-12-59
-,,,
-Unlock cafe,"Лубянский пр-д, 19 строение 1, Москва, Россия, 101000",unlock.cafe,+7 495 623-25-78
-Breakfast Cafe,"Малая Никитская ул., 2/1 стр. 1, Москва, Россия, 121069",friends-forever.ru,+7 916 640-86-36
-,,,
-Me cafe,"Москва, Россия, 115184",Добавить сайт,Добавить номер телефона
-,,,
-Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87
-Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87
-Cafe Sobranie,"ул. Большая Дмитровка, 1, Москва, Россия, 125009",Добавить сайт,Добавить номер телефона
-Фестивальное,"Красная пл., 3, ГУМ, Москва, Россия, 109012",Добавить сайт,Добавить номер телефона
-PRIME,"Тверская ул., 15, Москва, Россия, 125009",prime-star.ru,+7 495 664-23-63
-У Фонтана Кафе,"Красная пл., 3, Москва, Россия, 109012",gum.ru,+7 495 995-88-99
-ОМ ФУД КАФЕ (OM Food Cafe),"ул. Рождественка, 11/4к1с4, Москва, Россия, 107031",omfoodcafe.ru,+7 495 532-75-42
-The Library Bar,"ул. Бахрушина, 11, Москва, Россия, 115184",Добавить сайт,+7 495 720-53-03
-Surf Coffee,"Мясницкая ул., 16, Москва, Россия, 101000",surfcoffee.ru,+7 965 213-15-20
-,,,
-Му-Му,"ул. Рождественка, 5/7с89, Москва, Россия, 109012",cafemumu.ru,+7 989 488-06-85
-Му-Му,"Манежная пл., 1, стр. 2 ТЦ «Охотный ряд», средний уровень, Москва, Россия, 125009",cafemumu.ru,+7 985 129-82-76
-Saperavi cafe,"ул. Покровка, д. 5, стр. 5, Москва, Россия, 101000",saperavicafe.ru,+7 495 648-66-33
-Авокадо,"Чистопрудный бул., 12, к. 2, Москва, Россия, 101000",avocadocafe.ru,+7 495 621-77-19
-,,,
-Me cafe,"Москва, Россия, 115184",Добавить сайт,Добавить номер телефона
-SOS,"Мясницкая ул., дом 11, Москва, Россия, 101000",sos.cafe,+7 495 150-43-34
-Ресторан Bon App Cafe в Тверском районе,"Никольская улица, 25, 1 этаж, ​ТЦ Наутилиус, Москва, Россия, 109012",bonappcafe.ru,+7 495 204-49-17
-,,,
-Illy,"Москва, Россия, 115035",Добавить сайт,Добавить номер телефона
-ПРОСВЕТ,"ул. Ильинка, 4, 7 подъезд, Москва, Россия, 109012",instagram.com,+7 925 606-36-59
-Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87
-,,,
-Фестивальное,"Красная пл., 3, ГУМ, Москва, Россия, 109012",Добавить сайт,Добавить номер телефона
-Scramble,"ул. Спиридоновка, 24, к.1, Москва, Россия, 123001",friends-forever.ru,+7 495 691-18-50
-,,,
-,,,
-ОМ ФУД КАФЕ (OM Food Cafe),"ул. Рождественка, 11/4к1с4, Москва, Россия, 107031",omfoodcafe.ru,+7 495 532-75-42
-The Library Bar,"ул. Бахрушина, 11, Москва, Россия, 115184",Добавить сайт,+7 495 720-53-03
-Surf Coffee,"Мясницкая ул., 16, Москва, Россия, 101000",surfcoffee.ru,+7 965 213-15-20
-Му-Му,"ул. Рождественка, 5/7с89, Москва, Россия, 109012",cafemumu.ru,+7 989 488-06-85
-Му-Му,"Манежная пл., 1, стр. 2 ТЦ «Охотный ряд», средний уровень, Москва, Россия, 125009",cafemumu.ru,+7 985 129-82-76
-Saperavi cafe,"ул. Покровка, д. 5, стр. 5, Москва, Россия, 101000",saperavicafe.ru,+7 495 648-66-33
-Авокадо,"Чистопрудный бул., 12, к. 2, Москва, Россия, 101000",avocadocafe.ru,+7 495 621-77-19
-,,,
-Unlock cafe,"Лубянский пр-д, 19 строение 1, Москва, Россия, 101000",unlock.cafe,+7 495 623-25-78
-SOS,"Мясницкая ул., дом 11, Москва, Россия, 101000",sos.cafe,+7 495 150-43-34
-Ресторан Bon App Cafe в Тверском районе,"Никольская улица, 25, 1 этаж, ​ТЦ Наутилиус, Москва, Россия, 109012",bonappcafe.ru,+7 495 204-49-17
-Illy,"Москва, Россия, 115035",Добавить сайт,Добавить номер телефона
-Кранцлер,"ул. Балчуг, 1, Москва, Россия, 115035",kempinski.com,+7 495 287-20-08
-ПРОСВЕТ,"ул. Ильинка, 4, 7 подъезд, Москва, Россия, 109012",instagram.com,+7 925 606-36-59
-Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87
-Cafe Sobranie,"ул. Большая Дмитровка, 1, Москва, Россия, 125009",Добавить сайт,Добавить номер телефона
-,,,
-Scramble,"ул. Спиридоновка, 24, к.1, Москва, Россия, 123001",friends-forever.ru,+7 495 691-18-50
-,,,
-У Фонтана Кафе,"Красная пл., 3, Москва, Россия, 109012",gum.ru,+7 495 995-88-99
-ОМ ФУД КАФЕ (OM Food Cafe),"ул. Рождественка, 11/4к1с4, Москва, Россия, 107031",omfoodcafe.ru,+7 495 532-75-42
-The Library Bar,"ул. Бахрушина, 11, Москва, Россия, 115184",Добавить сайт,+7 495 720-53-03
-Surf Coffee,"Мясницкая ул., 16, Москва, Россия, 101000",surfcoffee.ru,+7 965 213-15-20
-Му-Му,"ул. Рождественка, 5/7с89, Москва, Россия, 109012",cafemumu.ru,+7 989 488-06-85
-Му-Му,"Манежная пл., 1, стр. 2 ТЦ «Охотный ряд», средний уровень, Москва, Россия, 125009",cafemumu.ru,+7 985 129-82-76
-Кафе Lights cafe,"Нижняя Радищевская ул., 14/2 строение 1, 1 этаж, Москва, Россия, 109240",lightscafe.ru,+7 495 233-12-59
-Saperavi cafe,"ул. Покровка, д. 5, стр. 5, Москва, Россия, 101000",saperavicafe.ru,+7 495 648-66-33
-,,,
-Unlock cafe,"Лубянский пр-д, 19 строение 1, Москва, Россия, 101000",unlock.cafe,+7 495 623-25-78
-SOS,"Мясницкая ул., дом 11, Москва, Россия, 101000",sos.cafe,+7 495 150-43-34
-Ресторан Bon App Cafe в Тверском районе,"Никольская улица, 25, 1 этаж, ​ТЦ Наутилиус, Москва, Россия, 109012",bonappcafe.ru,+7 495 204-49-17
-,,,
-Кранцлер,"ул. Балчуг, 1, Москва, Россия, 115035",kempinski.com,+7 495 287-20-08
-ПРОСВЕТ,"ул. Ильинка, 4, 7 подъезд, Москва, Россия, 109012",instagram.com,+7 925 606-36-59
-Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87
-,,,
-,,,
diff --git a/locators.py b/locators.py
new file mode 100644
index 0000000..8394f86
--- /dev/null
+++ b/locators.py
@@ -0,0 +1,5 @@
+button_xpath = '//*[@class="iRxY3GoUYUY__button gm2-hairline-border section-action-chip-button"]'
+search_xpath = '//*[@role="gridcell"]'
+# wait_xpath = '//*[@jstcache="1098"]'
+next_xpath = '//*[contains(@src, "chevron_right_black_24dp.png")]'
+check_xpath = '//*[@src="//www.gstatic.com/images/icons/material/system_gm/2x/share_gm_blue_18dp.png"]'
\ No newline at end of file
diff --git a/webdriver.py b/webdriver.py
index a5a5e35..01fb2c6 100644
--- a/webdriver.py
+++ b/webdriver.py
@@ -8,56 +8,14 @@ from fake_useragent import UserAgent
from pyppeteer import launch
from time import sleep
+from locators import *
+from config import *
+from bufferization import Buffer
-google_maps = 'https://www.google.ru/maps'
ua = UserAgent()
-button_xpath = '//*[@class="iRxY3GoUYUY__button gm2-hairline-border section-action-chip-button"]'
-search_xpath = '//*[@role="gridcell"]'
-wait_xpath = '//*[@jstcache="1098"]'
-next_xpath = '//*[contains(@src, "chevron_right_black_24dp.png")]'
-order = {
- 'Title': None,
- 'Address': re.compile(r'(place_gm_blue_24dp.png)'),
- 'WebSite': re.compile(r'(public_gm_blue_24dp.png)'),
- 'PhoneNumber': re.compile(r'(phone_gm_blue_24dp.png)')
-}
-
-
-class Buffer:
- lower_limit = 20
- upper_limit = 201
- fn = list(order.keys())
-
- def __init__(self, filename: str = 'leads.csv', buffer_size: int = 20):
- if not filename.endswith('.csv'):
- raise ValueError(
- 'Incorrect filename specified. Filename should end with `.csv`')
- if not buffer_size in range(self.lower_limit, self.upper_limit):
- raise ValueError(
- f'Expected value between {self.upper_limit} and {self.upper_limit}. However, got {buffer_size}')
-
- self._buffer_size = buffer_size
- self._filename = filename
- self._data = []
-
- with open(self._filename, 'w', newline='') as f:
- writer = csv.DictWriter(f, fieldnames=self.fn)
- writer.writeheader()
-
- def _dump(self):
- with open('leads.csv', 'a', encoding='utf-8', newline='') as f:
- writer = csv.DictWriter(f, fieldnames=self.fn)
- for d in self._data:
- writer.writerow(d)
-
- def __iadd__(self, other: dict):
- self._data.append(dict)
- if self._data >= self._buffer_size:
- self._dump()
-
class Webdriver:
viewport = {'width': 1920, 'height': 1080, 'deviceScaleFactor': 1.0,
@@ -73,6 +31,10 @@ class Webdriver:
autoclose=True,
)
+ async def _shut_browser(self):
+ await self.page.close()
+ await self.browser.close()
+
async def search(self, location=None, keyword=None, url=None):
if location and keyword and not url:
print(
@@ -85,14 +47,12 @@ class Webdriver:
self._url = url
await self._jump()
else:
+ await self._shut_browser()
raise ValueError(
f'Specify location and keyword. Otherwise, specify URL only. Got location {location}, keyword {keyword} and URL {url}')
await self.scrape()
-
- sleep(100)
- await self.page.close()
- await self.browser.close()
+ await self._shut_browser()
async def _enter(self, word):
await self.page.keyboard.type(word)
@@ -116,7 +76,13 @@ class Webdriver:
await self._enter(self._keyword)
async def _jump(self):
- await self.page.goto(self._url)
+ try:
+ await self.page.goto(self._url)
+ print('Checking the given URL')
+ self.page.waitForXPath(check_xpath)
+ except:
+ await self._shut_browser()
+ raise ValueError('Got invalid URL for google maps')
async def scrape(self):
next_button = True
@@ -163,7 +129,7 @@ class Webdriver:
try:
if src:
value = soup.find(
- attrs={'src': src}).parent.parent.parent.text.strip()
+ attrs={'src': re.compile(src)}).parent.parent.parent.text.strip()
else:
value = soup.select('h1')[0].text.strip()
except: