Skip to content

Python script, which empowers people with no programming background to generate robust leads on a mass scale. This repo will be compiled of various versatile techniques used in lead generation.

google maps pagination implemented

Madi9203895d6756
diff --git a/leads.csv b/leads.csv
index e04e874..d1c76c2 100644
--- a/leads.csv
+++ b/leads.csv
@@ -1,21 +1,111 @@
Title,Address,WebSite,PhoneNumber
-Breakfast Cafe,"Малая Никитская ул., 2/1 стр. 1, Москва, Россия, 121069",friends-forever.ru,+7 916 640-86-36
+,,,
SOS,"Мясницкая ул., дом 11, Москва, Россия, 101000",sos.cafe,+7 495 150-43-34
+Breakfast Cafe,"Малая Никитская ул., 2/1 стр. 1, Москва, Россия, 121069",friends-forever.ru,+7 916 640-86-36
+,,,
+Me cafe,"Москва, Россия, 115184",Добавить сайт,Добавить номер телефона
+ПРОСВЕТ,"ул. Ильинка, 4, 7 подъезд, Москва, Россия, 109012",instagram.com,+7 925 606-36-59
+Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87
+Cafe Sobranie,"ул. Большая Дмитровка, 1, Москва, Россия, 125009",Добавить сайт,Добавить номер телефона
+Фестивальное,"Красная пл., 3, ГУМ, Москва, Россия, 109012",Добавить сайт,Добавить номер телефона
+Illy,"Москва, Россия, 115035",Добавить сайт,Добавить номер телефона
+PRIME,"Тверская ул., 15, Москва, Россия, 125009",prime-star.ru,+7 495 664-23-63
+У Фонтана Кафе,"Красная пл., 3, Москва, Россия, 109012",gum.ru,+7 495 995-88-99
+ОМ ФУД КАФЕ (OM Food Cafe),"ул. Рождественка, 11/4к1с4, Москва, Россия, 107031",omfoodcafe.ru,+7 495 532-75-42
+The Library Bar,"ул. Бахрушина, 11, Москва, Россия, 115184",Добавить сайт,+7 495 720-53-03
+Surf Coffee,"Мясницкая ул., 16, Москва, Россия, 101000",surfcoffee.ru,+7 965 213-15-20
+Му-Му,"ул. Рождественка, 5/7с89, Москва, Россия, 109012",cafemumu.ru,+7 989 488-06-85
+Му-Му,"Манежная пл., 1, стр. 2 ТЦ «Охотный ряд», средний уровень, Москва, Россия, 125009",cafemumu.ru,+7 985 129-82-76
+Saperavi cafe,"ул. Покровка, д. 5, стр. 5, Москва, Россия, 101000",saperavicafe.ru,+7 495 648-66-33
+Авокадо,"Чистопрудный бул., 12, к. 2, Москва, Россия, 101000",avocadocafe.ru,+7 495 621-77-19
+Кафе Lights cafe,"Нижняя Радищевская ул., 14/2 строение 1, 1 этаж, Москва, Россия, 109240",lightscafe.ru,+7 495 233-12-59
+,,,
Unlock cafe,"Лубянский пр-д, 19 строение 1, Москва, Россия, 101000",unlock.cafe,+7 495 623-25-78
+Breakfast Cafe,"Малая Никитская ул., 2/1 стр. 1, Москва, Россия, 121069",friends-forever.ru,+7 916 640-86-36
Ресторан Bon App Cafe в Тверском районе,"Никольская улица, 25, 1 этаж, ​ТЦ Наутилиус, Москва, Россия, 109012",bonappcafe.ru,+7 495 204-49-17
+Me cafe,"Москва, Россия, 115184",Добавить сайт,Добавить номер телефона
ПРОСВЕТ,"ул. Ильинка, 4, 7 подъезд, Москва, Россия, 109012",instagram.com,+7 925 606-36-59
Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87
+Illy,"Москва, Россия, 115035",Добавить сайт,Добавить номер телефона
Cafe Sobranie,"ул. Большая Дмитровка, 1, Москва, Россия, 125009",Добавить сайт,Добавить номер телефона
Фестивальное,"Красная пл., 3, ГУМ, Москва, Россия, 109012",Добавить сайт,Добавить номер телефона
-Scramble,"ул. Спиридоновка, 24, к.1, Москва, Россия, 123001",friends-forever.ru,+7 495 691-18-50
-У Фонтана Кафе,"Красная пл., 3, Москва, Россия, 109012",gum.ru,+7 495 995-88-99
PRIME,"Тверская ул., 15, Москва, Россия, 125009",prime-star.ru,+7 495 664-23-63
+У Фонтана Кафе,"Красная пл., 3, Москва, Россия, 109012",gum.ru,+7 495 995-88-99
ОМ ФУД КАФЕ (OM Food Cafe),"ул. Рождественка, 11/4к1с4, Москва, Россия, 107031",omfoodcafe.ru,+7 495 532-75-42
+The Library Bar,"ул. Бахрушина, 11, Москва, Россия, 115184",Добавить сайт,+7 495 720-53-03
Surf Coffee,"Мясницкая ул., 16, Москва, Россия, 101000",surfcoffee.ru,+7 965 213-15-20
Му-Му,"ул. Рождественка, 5/7с89, Москва, Россия, 109012",cafemumu.ru,+7 989 488-06-85
Му-Му,"Манежная пл., 1, стр. 2 ТЦ «Охотный ряд», средний уровень, Москва, Россия, 125009",cafemumu.ru,+7 985 129-82-76
Saperavi cafe,"ул. Покровка, д. 5, стр. 5, Москва, Россия, 101000",saperavicafe.ru,+7 495 648-66-33
Авокадо,"Чистопрудный бул., 12, к. 2, Москва, Россия, 101000",avocadocafe.ru,+7 495 621-77-19
Кафе Lights cafe,"Нижняя Радищевская ул., 14/2 строение 1, 1 этаж, Москва, Россия, 109240",lightscafe.ru,+7 495 233-12-59
-Юлина кухня,"ул. Охотный Ряд, 2, Москва, Россия, 109012",jvkitchen.ru,+7 495 125-40-40
+,,,
+Unlock cafe,"Лубянский пр-д, 19 строение 1, Москва, Россия, 101000",unlock.cafe,+7 495 623-25-78
+Breakfast Cafe,"Малая Никитская ул., 2/1 стр. 1, Москва, Россия, 121069",friends-forever.ru,+7 916 640-86-36
+,,,
+Me cafe,"Москва, Россия, 115184",Добавить сайт,Добавить номер телефона
+,,,
+Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87
+Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87
+Cafe Sobranie,"ул. Большая Дмитровка, 1, Москва, Россия, 125009",Добавить сайт,Добавить номер телефона
+Фестивальное,"Красная пл., 3, ГУМ, Москва, Россия, 109012",Добавить сайт,Добавить номер телефона
+PRIME,"Тверская ул., 15, Москва, Россия, 125009",prime-star.ru,+7 495 664-23-63
+У Фонтана Кафе,"Красная пл., 3, Москва, Россия, 109012",gum.ru,+7 495 995-88-99
+ОМ ФУД КАФЕ (OM Food Cafe),"ул. Рождественка, 11/4к1с4, Москва, Россия, 107031",omfoodcafe.ru,+7 495 532-75-42
+The Library Bar,"ул. Бахрушина, 11, Москва, Россия, 115184",Добавить сайт,+7 495 720-53-03
+Surf Coffee,"Мясницкая ул., 16, Москва, Россия, 101000",surfcoffee.ru,+7 965 213-15-20
+,,,
+Му-Му,"ул. Рождественка, 5/7с89, Москва, Россия, 109012",cafemumu.ru,+7 989 488-06-85
+Му-Му,"Манежная пл., 1, стр. 2 ТЦ «Охотный ряд», средний уровень, Москва, Россия, 125009",cafemumu.ru,+7 985 129-82-76
+Saperavi cafe,"ул. Покровка, д. 5, стр. 5, Москва, Россия, 101000",saperavicafe.ru,+7 495 648-66-33
+Авокадо,"Чистопрудный бул., 12, к. 2, Москва, Россия, 101000",avocadocafe.ru,+7 495 621-77-19
+,,,
+Me cafe,"Москва, Россия, 115184",Добавить сайт,Добавить номер телефона
+SOS,"Мясницкая ул., дом 11, Москва, Россия, 101000",sos.cafe,+7 495 150-43-34
+Ресторан Bon App Cafe в Тверском районе,"Никольская улица, 25, 1 этаж, ​ТЦ Наутилиус, Москва, Россия, 109012",bonappcafe.ru,+7 495 204-49-17
+,,,
+Illy,"Москва, Россия, 115035",Добавить сайт,Добавить номер телефона
+ПРОСВЕТ,"ул. Ильинка, 4, 7 подъезд, Москва, Россия, 109012",instagram.com,+7 925 606-36-59
+Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87
+,,,
+Фестивальное,"Красная пл., 3, ГУМ, Москва, Россия, 109012",Добавить сайт,Добавить номер телефона
+Scramble,"ул. Спиридоновка, 24, к.1, Москва, Россия, 123001",friends-forever.ru,+7 495 691-18-50
+,,,
+,,,
+ОМ ФУД КАФЕ (OM Food Cafe),"ул. Рождественка, 11/4к1с4, Москва, Россия, 107031",omfoodcafe.ru,+7 495 532-75-42
+The Library Bar,"ул. Бахрушина, 11, Москва, Россия, 115184",Добавить сайт,+7 495 720-53-03
+Surf Coffee,"Мясницкая ул., 16, Москва, Россия, 101000",surfcoffee.ru,+7 965 213-15-20
+Му-Му,"ул. Рождественка, 5/7с89, Москва, Россия, 109012",cafemumu.ru,+7 989 488-06-85
+Му-Му,"Манежная пл., 1, стр. 2 ТЦ «Охотный ряд», средний уровень, Москва, Россия, 125009",cafemumu.ru,+7 985 129-82-76
+Saperavi cafe,"ул. Покровка, д. 5, стр. 5, Москва, Россия, 101000",saperavicafe.ru,+7 495 648-66-33
+Авокадо,"Чистопрудный бул., 12, к. 2, Москва, Россия, 101000",avocadocafe.ru,+7 495 621-77-19
+,,,
+Unlock cafe,"Лубянский пр-д, 19 строение 1, Москва, Россия, 101000",unlock.cafe,+7 495 623-25-78
+SOS,"Мясницкая ул., дом 11, Москва, Россия, 101000",sos.cafe,+7 495 150-43-34
+Ресторан Bon App Cafe в Тверском районе,"Никольская улица, 25, 1 этаж, ​ТЦ Наутилиус, Москва, Россия, 109012",bonappcafe.ru,+7 495 204-49-17
+Illy,"Москва, Россия, 115035",Добавить сайт,Добавить номер телефона
+Кранцлер,"ул. Балчуг, 1, Москва, Россия, 115035",kempinski.com,+7 495 287-20-08
+ПРОСВЕТ,"ул. Ильинка, 4, 7 подъезд, Москва, Россия, 109012",instagram.com,+7 925 606-36-59
+Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87
+Cafe Sobranie,"ул. Большая Дмитровка, 1, Москва, Россия, 125009",Добавить сайт,Добавить номер телефона
+,,,
+Scramble,"ул. Спиридоновка, 24, к.1, Москва, Россия, 123001",friends-forever.ru,+7 495 691-18-50
+,,,
+У Фонтана Кафе,"Красная пл., 3, Москва, Россия, 109012",gum.ru,+7 495 995-88-99
+ОМ ФУД КАФЕ (OM Food Cafe),"ул. Рождественка, 11/4к1с4, Москва, Россия, 107031",omfoodcafe.ru,+7 495 532-75-42
The Library Bar,"ул. Бахрушина, 11, Москва, Россия, 115184",Добавить сайт,+7 495 720-53-03
+Surf Coffee,"Мясницкая ул., 16, Москва, Россия, 101000",surfcoffee.ru,+7 965 213-15-20
+Му-Му,"ул. Рождественка, 5/7с89, Москва, Россия, 109012",cafemumu.ru,+7 989 488-06-85
+Му-Му,"Манежная пл., 1, стр. 2 ТЦ «Охотный ряд», средний уровень, Москва, Россия, 125009",cafemumu.ru,+7 985 129-82-76
+Кафе Lights cafe,"Нижняя Радищевская ул., 14/2 строение 1, 1 этаж, Москва, Россия, 109240",lightscafe.ru,+7 495 233-12-59
+Saperavi cafe,"ул. Покровка, д. 5, стр. 5, Москва, Россия, 101000",saperavicafe.ru,+7 495 648-66-33
+,,,
+Unlock cafe,"Лубянский пр-д, 19 строение 1, Москва, Россия, 101000",unlock.cafe,+7 495 623-25-78
+SOS,"Мясницкая ул., дом 11, Москва, Россия, 101000",sos.cafe,+7 495 150-43-34
+Ресторан Bon App Cafe в Тверском районе,"Никольская улица, 25, 1 этаж, ​ТЦ Наутилиус, Москва, Россия, 109012",bonappcafe.ru,+7 495 204-49-17
+,,,
+Кранцлер,"ул. Балчуг, 1, Москва, Россия, 115035",kempinski.com,+7 495 287-20-08
+ПРОСВЕТ,"ул. Ильинка, 4, 7 подъезд, Москва, Россия, 109012",instagram.com,+7 925 606-36-59
+Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87
+,,,
+,,,
diff --git a/webdriver.py b/webdriver.py
index a252e39..808ed7c 100644
--- a/webdriver.py
+++ b/webdriver.py
@@ -15,6 +15,7 @@ ua = UserAgent()
button_xpath = '//*[@class="iRxY3GoUYUY__button gm2-hairline-border section-action-chip-button"]'
search_xpath = '//*[@role="gridcell"]'
wait_xpath = '//*[@jstcache="1098"]'
+next_xpath = '//*[contains(@src, "chevron_right_black_24dp.png")]'
class Webdriver:
@@ -29,7 +30,7 @@ class Webdriver:
viewport = {'width': 1920, 'height': 1080, 'deviceScaleFactor': 1.0,
'isMobile': False, 'hasTouch': False, 'isLandscape': False}
- def __init__(self, filename='leads.csv'):
+ def __init__(self, filename='leads.csv',newline=''):
if not filename.endswith('.csv'):
raise ValueError(
'Incorrect filename specified. Filename should end with `.csv`')
@@ -54,7 +55,7 @@ class Webdriver:
self.page = (await self.browser.pages())[0]
- await self.page.setViewport(self.viewport)
+ # await self.page.setViewport(self.viewport)
await self.page.setUserAgent(ua.random)
await self.page.reload()
await self.page.goto(URL)
@@ -75,31 +76,40 @@ class Webdriver:
await self.browser.close()
async def scrape(self):
- await self.page.waitForSelector('.section-result-content')
+ next_button = True
+ while next_button:
+ await self.page.waitForSelector('.section-result-content')
- home = self.page.url
- overall = len(await self.page.querySelectorAll('.section-result-content'))
+ home = self.page.url
+ overall = len(await self.page.querySelectorAll('.section-result-content'))
+ print(f'Overall found {overall}')
- for i in range(overall):
- element = (await self.page.querySelectorAll('.section-result-content'))[i]
+ for i in range(overall):
+ print(f'Gonna scrape {i} out of {overall}')
+ element = (await self.page.querySelectorAll('.section-result-content'))[i]
- await asyncio.wait([
- element.click(),
- self.page.waitForNavigation()
- ])
+ #await asyncio.wait([
+ # element.click(),
+ # self.page.waitForNavigation()
+ #])
- print('I am on the page')
- sleep(2)
- data = self.extract(await self.page.content())
- self.store(data)
+ await element.click()
+ await self.page.waitForNavigation()
- await asyncio.wait([
- self.page.goto(home),
- self.page.waitForNavigation()
- ])
+ data = self.extract(await self.page.content())
+ self.store(data)
- sleep(2)
- print('I am back')
+ # await asyncio.wait([
+ # self.page.goto(home),
+ # self.page.waitForNavigation()
+ # ])
+
+ await self.page.goto(home)
+ await self.page.waitForNavigation()
+ sleep(1.5)
+
+ next_button = (await self.page.xpath(next_xpath))[0]
+ await next_button.click()
def extract(self, html):
soup = BeautifulSoup(html, 'lxml')