Python script, which empowers people with no programming background to generate robust leads on a mass scale. This repo will be compiled of various versatile techniques used in lead generation.
google maps pagination implemented
Madi9203895d6756
diff --git a/leads.csv b/leads.csvindex e04e874..d1c76c2 100644--- a/leads.csv+++ b/leads.csv@@ -1,21 +1,111 @@Title,Address,WebSite,PhoneNumber-Breakfast Cafe,"Малая Никитская ул., 2/1 стр. 1, Москва, Россия, 121069",friends-forever.ru,+7 916 640-86-36+,,,SOS,"Мясницкая ул., дом 11, Москва, Россия, 101000",sos.cafe,+7 495 150-43-34+Breakfast Cafe,"Малая Никитская ул., 2/1 стр. 1, Москва, Россия, 121069",friends-forever.ru,+7 916 640-86-36+,,,+Me cafe,"Москва, Россия, 115184",Добавить сайт,Добавить номер телефона+ПРОСВЕТ,"ул. Ильинка, 4, 7 подъезд, Москва, Россия, 109012",instagram.com,+7 925 606-36-59+Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87+Cafe Sobranie,"ул. Большая Дмитровка, 1, Москва, Россия, 125009",Добавить сайт,Добавить номер телефона+Фестивальное,"Красная пл., 3, ГУМ, Москва, Россия, 109012",Добавить сайт,Добавить номер телефона+Illy,"Москва, Россия, 115035",Добавить сайт,Добавить номер телефона+PRIME,"Тверская ул., 15, Москва, Россия, 125009",prime-star.ru,+7 495 664-23-63+У Фонтана Кафе,"Красная пл., 3, Москва, Россия, 109012",gum.ru,+7 495 995-88-99+ОМ ФУД КАФЕ (OM Food Cafe),"ул. Рождественка, 11/4к1с4, Москва, Россия, 107031",omfoodcafe.ru,+7 495 532-75-42+The Library Bar,"ул. Бахрушина, 11, Москва, Россия, 115184",Добавить сайт,+7 495 720-53-03+Surf Coffee,"Мясницкая ул., 16, Москва, Россия, 101000",surfcoffee.ru,+7 965 213-15-20+Му-Му,"ул. Рождественка, 5/7с89, Москва, Россия, 109012",cafemumu.ru,+7 989 488-06-85+Му-Му,"Манежная пл., 1, стр. 2 ТЦ «Охотный ряд», средний уровень, Москва, Россия, 125009",cafemumu.ru,+7 985 129-82-76+Saperavi cafe,"ул. Покровка, д. 5, стр. 5, Москва, Россия, 101000",saperavicafe.ru,+7 495 648-66-33+Авокадо,"Чистопрудный бул., 12, к. 2, Москва, Россия, 101000",avocadocafe.ru,+7 495 621-77-19+Кафе Lights cafe,"Нижняя Радищевская ул., 14/2 строение 1, 1 этаж, Москва, Россия, 109240",lightscafe.ru,+7 495 233-12-59+,,,Unlock cafe,"Лубянский пр-д, 19 строение 1, Москва, Россия, 101000",unlock.cafe,+7 495 623-25-78+Breakfast Cafe,"Малая Никитская ул., 2/1 стр. 1, Москва, Россия, 121069",friends-forever.ru,+7 916 640-86-36Ресторан Bon App Cafe в Тверском районе,"Никольская улица, 25, 1 этаж, ТЦ Наутилиус, Москва, Россия, 109012",bonappcafe.ru,+7 495 204-49-17+Me cafe,"Москва, Россия, 115184",Добавить сайт,Добавить номер телефонаПРОСВЕТ,"ул. Ильинка, 4, 7 подъезд, Москва, Россия, 109012",instagram.com,+7 925 606-36-59Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87+Illy,"Москва, Россия, 115035",Добавить сайт,Добавить номер телефонаCafe Sobranie,"ул. Большая Дмитровка, 1, Москва, Россия, 125009",Добавить сайт,Добавить номер телефонаФестивальное,"Красная пл., 3, ГУМ, Москва, Россия, 109012",Добавить сайт,Добавить номер телефона-Scramble,"ул. Спиридоновка, 24, к.1, Москва, Россия, 123001",friends-forever.ru,+7 495 691-18-50-У Фонтана Кафе,"Красная пл., 3, Москва, Россия, 109012",gum.ru,+7 495 995-88-99PRIME,"Тверская ул., 15, Москва, Россия, 125009",prime-star.ru,+7 495 664-23-63+У Фонтана Кафе,"Красная пл., 3, Москва, Россия, 109012",gum.ru,+7 495 995-88-99ОМ ФУД КАФЕ (OM Food Cafe),"ул. Рождественка, 11/4к1с4, Москва, Россия, 107031",omfoodcafe.ru,+7 495 532-75-42+The Library Bar,"ул. Бахрушина, 11, Москва, Россия, 115184",Добавить сайт,+7 495 720-53-03Surf Coffee,"Мясницкая ул., 16, Москва, Россия, 101000",surfcoffee.ru,+7 965 213-15-20Му-Му,"ул. Рождественка, 5/7с89, Москва, Россия, 109012",cafemumu.ru,+7 989 488-06-85Му-Му,"Манежная пл., 1, стр. 2 ТЦ «Охотный ряд», средний уровень, Москва, Россия, 125009",cafemumu.ru,+7 985 129-82-76Saperavi cafe,"ул. Покровка, д. 5, стр. 5, Москва, Россия, 101000",saperavicafe.ru,+7 495 648-66-33Авокадо,"Чистопрудный бул., 12, к. 2, Москва, Россия, 101000",avocadocafe.ru,+7 495 621-77-19Кафе Lights cafe,"Нижняя Радищевская ул., 14/2 строение 1, 1 этаж, Москва, Россия, 109240",lightscafe.ru,+7 495 233-12-59-Юлина кухня,"ул. Охотный Ряд, 2, Москва, Россия, 109012",jvkitchen.ru,+7 495 125-40-40+,,,+Unlock cafe,"Лубянский пр-д, 19 строение 1, Москва, Россия, 101000",unlock.cafe,+7 495 623-25-78+Breakfast Cafe,"Малая Никитская ул., 2/1 стр. 1, Москва, Россия, 121069",friends-forever.ru,+7 916 640-86-36+,,,+Me cafe,"Москва, Россия, 115184",Добавить сайт,Добавить номер телефона+,,,+Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87+Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87+Cafe Sobranie,"ул. Большая Дмитровка, 1, Москва, Россия, 125009",Добавить сайт,Добавить номер телефона+Фестивальное,"Красная пл., 3, ГУМ, Москва, Россия, 109012",Добавить сайт,Добавить номер телефона+PRIME,"Тверская ул., 15, Москва, Россия, 125009",prime-star.ru,+7 495 664-23-63+У Фонтана Кафе,"Красная пл., 3, Москва, Россия, 109012",gum.ru,+7 495 995-88-99+ОМ ФУД КАФЕ (OM Food Cafe),"ул. Рождественка, 11/4к1с4, Москва, Россия, 107031",omfoodcafe.ru,+7 495 532-75-42+The Library Bar,"ул. Бахрушина, 11, Москва, Россия, 115184",Добавить сайт,+7 495 720-53-03+Surf Coffee,"Мясницкая ул., 16, Москва, Россия, 101000",surfcoffee.ru,+7 965 213-15-20+,,,+Му-Му,"ул. Рождественка, 5/7с89, Москва, Россия, 109012",cafemumu.ru,+7 989 488-06-85+Му-Му,"Манежная пл., 1, стр. 2 ТЦ «Охотный ряд», средний уровень, Москва, Россия, 125009",cafemumu.ru,+7 985 129-82-76+Saperavi cafe,"ул. Покровка, д. 5, стр. 5, Москва, Россия, 101000",saperavicafe.ru,+7 495 648-66-33+Авокадо,"Чистопрудный бул., 12, к. 2, Москва, Россия, 101000",avocadocafe.ru,+7 495 621-77-19+,,,+Me cafe,"Москва, Россия, 115184",Добавить сайт,Добавить номер телефона+SOS,"Мясницкая ул., дом 11, Москва, Россия, 101000",sos.cafe,+7 495 150-43-34+Ресторан Bon App Cafe в Тверском районе,"Никольская улица, 25, 1 этаж, ТЦ Наутилиус, Москва, Россия, 109012",bonappcafe.ru,+7 495 204-49-17+,,,+Illy,"Москва, Россия, 115035",Добавить сайт,Добавить номер телефона+ПРОСВЕТ,"ул. Ильинка, 4, 7 подъезд, Москва, Россия, 109012",instagram.com,+7 925 606-36-59+Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87+,,,+Фестивальное,"Красная пл., 3, ГУМ, Москва, Россия, 109012",Добавить сайт,Добавить номер телефона+Scramble,"ул. Спиридоновка, 24, к.1, Москва, Россия, 123001",friends-forever.ru,+7 495 691-18-50+,,,+,,,+ОМ ФУД КАФЕ (OM Food Cafe),"ул. Рождественка, 11/4к1с4, Москва, Россия, 107031",omfoodcafe.ru,+7 495 532-75-42+The Library Bar,"ул. Бахрушина, 11, Москва, Россия, 115184",Добавить сайт,+7 495 720-53-03+Surf Coffee,"Мясницкая ул., 16, Москва, Россия, 101000",surfcoffee.ru,+7 965 213-15-20+Му-Му,"ул. Рождественка, 5/7с89, Москва, Россия, 109012",cafemumu.ru,+7 989 488-06-85+Му-Му,"Манежная пл., 1, стр. 2 ТЦ «Охотный ряд», средний уровень, Москва, Россия, 125009",cafemumu.ru,+7 985 129-82-76+Saperavi cafe,"ул. Покровка, д. 5, стр. 5, Москва, Россия, 101000",saperavicafe.ru,+7 495 648-66-33+Авокадо,"Чистопрудный бул., 12, к. 2, Москва, Россия, 101000",avocadocafe.ru,+7 495 621-77-19+,,,+Unlock cafe,"Лубянский пр-д, 19 строение 1, Москва, Россия, 101000",unlock.cafe,+7 495 623-25-78+SOS,"Мясницкая ул., дом 11, Москва, Россия, 101000",sos.cafe,+7 495 150-43-34+Ресторан Bon App Cafe в Тверском районе,"Никольская улица, 25, 1 этаж, ТЦ Наутилиус, Москва, Россия, 109012",bonappcafe.ru,+7 495 204-49-17+Illy,"Москва, Россия, 115035",Добавить сайт,Добавить номер телефона+Кранцлер,"ул. Балчуг, 1, Москва, Россия, 115035",kempinski.com,+7 495 287-20-08+ПРОСВЕТ,"ул. Ильинка, 4, 7 подъезд, Москва, Россия, 109012",instagram.com,+7 925 606-36-59+Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87+Cafe Sobranie,"ул. Большая Дмитровка, 1, Москва, Россия, 125009",Добавить сайт,Добавить номер телефона+,,,+Scramble,"ул. Спиридоновка, 24, к.1, Москва, Россия, 123001",friends-forever.ru,+7 495 691-18-50+,,,+У Фонтана Кафе,"Красная пл., 3, Москва, Россия, 109012",gum.ru,+7 495 995-88-99+ОМ ФУД КАФЕ (OM Food Cafe),"ул. Рождественка, 11/4к1с4, Москва, Россия, 107031",omfoodcafe.ru,+7 495 532-75-42The Library Bar,"ул. Бахрушина, 11, Москва, Россия, 115184",Добавить сайт,+7 495 720-53-03+Surf Coffee,"Мясницкая ул., 16, Москва, Россия, 101000",surfcoffee.ru,+7 965 213-15-20+Му-Му,"ул. Рождественка, 5/7с89, Москва, Россия, 109012",cafemumu.ru,+7 989 488-06-85+Му-Му,"Манежная пл., 1, стр. 2 ТЦ «Охотный ряд», средний уровень, Москва, Россия, 125009",cafemumu.ru,+7 985 129-82-76+Кафе Lights cafe,"Нижняя Радищевская ул., 14/2 строение 1, 1 этаж, Москва, Россия, 109240",lightscafe.ru,+7 495 233-12-59+Saperavi cafe,"ул. Покровка, д. 5, стр. 5, Москва, Россия, 101000",saperavicafe.ru,+7 495 648-66-33+,,,+Unlock cafe,"Лубянский пр-д, 19 строение 1, Москва, Россия, 101000",unlock.cafe,+7 495 623-25-78+SOS,"Мясницкая ул., дом 11, Москва, Россия, 101000",sos.cafe,+7 495 150-43-34+Ресторан Bon App Cafe в Тверском районе,"Никольская улица, 25, 1 этаж, ТЦ Наутилиус, Москва, Россия, 109012",bonappcafe.ru,+7 495 204-49-17+,,,+Кранцлер,"ул. Балчуг, 1, Москва, Россия, 115035",kempinski.com,+7 495 287-20-08+ПРОСВЕТ,"ул. Ильинка, 4, 7 подъезд, Москва, Россия, 109012",instagram.com,+7 925 606-36-59+Urban Cafe,"Берсеневская набережная, 8 строение 1, Москва, Россия, 119072",urbancafe.moscow,+7 495 787-28-87+,,,+,,,diff --git a/webdriver.py b/webdriver.pyindex a252e39..808ed7c 100644--- a/webdriver.py+++ b/webdriver.py@@ -15,6 +15,7 @@ ua = UserAgent()button_xpath = '//*[@class="iRxY3GoUYUY__button gm2-hairline-border section-action-chip-button"]'search_xpath = '//*[@role="gridcell"]'wait_xpath = '//*[@jstcache="1098"]'+next_xpath = '//*[contains(@src, "chevron_right_black_24dp.png")]'class Webdriver:@@ -29,7 +30,7 @@ class Webdriver:viewport = {'width': 1920, 'height': 1080, 'deviceScaleFactor': 1.0,'isMobile': False, 'hasTouch': False, 'isLandscape': False}- def __init__(self, filename='leads.csv'):+ def __init__(self, filename='leads.csv',newline=''):if not filename.endswith('.csv'):raise ValueError('Incorrect filename specified. Filename should end with `.csv`')@@ -54,7 +55,7 @@ class Webdriver:self.page = (await self.browser.pages())[0]- await self.page.setViewport(self.viewport)+ # await self.page.setViewport(self.viewport)await self.page.setUserAgent(ua.random)await self.page.reload()await self.page.goto(URL)@@ -75,31 +76,40 @@ class Webdriver:await self.browser.close()async def scrape(self):- await self.page.waitForSelector('.section-result-content')+ next_button = True+ while next_button:+ await self.page.waitForSelector('.section-result-content')- home = self.page.url- overall = len(await self.page.querySelectorAll('.section-result-content'))+ home = self.page.url+ overall = len(await self.page.querySelectorAll('.section-result-content'))+ print(f'Overall found {overall}')- for i in range(overall):- element = (await self.page.querySelectorAll('.section-result-content'))[i]+ for i in range(overall):+ print(f'Gonna scrape {i} out of {overall}')+ element = (await self.page.querySelectorAll('.section-result-content'))[i]- await asyncio.wait([- element.click(),- self.page.waitForNavigation()- ])+ #await asyncio.wait([+ # element.click(),+ # self.page.waitForNavigation()+ #])- print('I am on the page')- sleep(2)- data = self.extract(await self.page.content())- self.store(data)+ await element.click()+ await self.page.waitForNavigation()- await asyncio.wait([- self.page.goto(home),- self.page.waitForNavigation()- ])+ data = self.extract(await self.page.content())+ self.store(data)- sleep(2)- print('I am back')+ # await asyncio.wait([+ # self.page.goto(home),+ # self.page.waitForNavigation()+ # ])++ await self.page.goto(home)+ await self.page.waitForNavigation()+ sleep(1.5)++ next_button = (await self.page.xpath(next_xpath))[0]+ await next_button.click()def extract(self, html):soup = BeautifulSoup(html, 'lxml')