Ръчна настройка на ключ колектор за ефективно разбор
Цялата поредица от статии:
Инсталиране на програмата
Ако все още не сте запознати с програмата Key Collector, трябва да се изтегли от тук. Има инструкции за начина, по който да закупите и инсталирате програмата. След като програмата е инсталирана и активирана, можете да продължите към следващата стъпка.
Важно! Ключови Collector - програма, която работи на Windows и Mac компютри (Macbook, Macbook Air) с OSX не бъде установена. Се избегне това ограничение, можете да инсталирате Windows виртуална машина, например с помощта на Parallels Desktop полезност.
Един пълномощник ще бъде достатъчно, за да работят и да се разбере как работи програмата. Добър, индивидуален прокси осигурява proxy-sale.com сайт. Ние приемаме тези, които работят в Key колекционер.
Сега ние просто трябва да се разбере принципа на ключови настройки колектор, и по-нататъшни dokrutku може да бъде направено по-късно.
Отиди в настройките на програмата - кликнете върху иконата "предавките" в контролния панел.
СНИМКА 1: меню Настройки Key Collector.
Uchetki за Yandex.Direct
Отидете в настройките на раздел "Yandex.Direct" (синтактичен анализ -> Yandex.Direct).
Такова свързване е значително подобрява стабилността на разбор, намалява броя на импресиите CAPTCHA (проверка робот), което в крайна сметка води до по-бързо събиране на данни и да се намали общото време, необходимо да се съберат.
След като бъде въведена данни, ние трябва да зададете броя на конци в блок 2 на броя на прокси сървъри, които сме придобили. В този случай, ние се тази стойност на 1 и преминете към следващата стъпка.
Tab на "мрежа"
Тук трябва да добавим и нашата (и) на прокси и инсталиране на редица допълнителни настройки.
Първата стъпка при добавяне на прокси маса №1, маркирани в снимката. Можете да направите един ред, или ръчно, или кликнете върху "Добавяне на буфер" и да направи списък. Посочете сървър IP, порт, потребителско име и парола за прокси сървъра (не Yandex.Direct uchetki!). Ние приемаме данните от писмото, което той ни изпрати сервиз, в който придобихме пълномощник.
Основни настройки (2)
- Използвайте прокси сървър. Включете тази опция, чрез проверка, HTTP остава непроменен. За простота, ние ще използваме HTTP прокси. SOCKS протокол изисква повече умения и опит, а в някои случаи се работи с грешки, които могат да доведат до невъзможност да продължи.
- Дезактивиране на пълномощниците не са били тествани. Включете е предпазна мярка в случай, че имаше някои проблеми с пълномощника. След 360 секунди, опита отново свързването ще се проведе система.
Проверка на пълномощника (3)
Expose броя на броя на конци равен на броя пълномощника. Т.е. ако имаме един пълномощник, на снимачната площадка 1.
След това, ние празнуваме нашия прокси проверка (активирането им), така че всеки ред в блока 1 се подчертава в зелено и провеждане на проучването (едно след друго, едно по едно):
- Проверете PS Яндекс
- Проверете в Yandex.Wordstat
Проверки трябва да разберат дали всичко е наред с настройките, uchetki Yandex и прокси сървър (и). Ако Key Collector блокиран прокси (маркирани в червено линия) в блок 1 след проверка чрез PS Яндекс, проблемът за създаване на прокси сървър. Може би сте влезли вашето потребителско име, парола или порта на прокси сървъра. Ако пълномощникът е бил проверен от Yandex.Wordstat, проблемът вече е конфигуриран uchetki Yandex.
Последователно изпитване ви позволява бързо да се локализира и отстрани причината за грешката незабавно.
За живота на батерията на програмата, която ще трябва да се регистрирате за услугата, която предоставя "antikapchu" услуги. Бюджетът за услуги за данни трябва малко, но той ще използва космически кораб в автономен режим. По-долу е даден списък на поддържаните Кей Collector услуга:
Фото 4: Списъкът от услуги, които са подкрепени от програмата и предоставяне на услуги за решаване на подобен тест.
Изберете желаната услуга и да го регистрирате. Направи 100-500r на баланс, ние получаваме ключ API, което трябва да направите, за да настройките по-долу.
По време на разбор, статистически източници показват, потребителят Captcha (проверката робот), за да се уверите, че те използват хората и да се ограничи автоматичното разбор.
настройки разбор
Първата голяма част от "разбор" е в списъка на опции на програмата, която е отговорна за създаването на събирането на данни от различни източници.
Общи настройки
Конфигуриране на "General", както следва:
- Добави фразата в таблицата, съдържаща не повече от N думи. Както показва практиката, оптималният брой на думите е 10. Той е с този номер можем да получим по-висок и среден клас и нискочестотни запитвания. поискване Tail ние не искаме да загубим, обаче, и събирането на празен от честотата на искания, ние също не се интересуват. 10 думи в заявката Ви напълно отговаря на тези изисквания.
- Броят на опитите на зареждане на страници. В случай на неуспех, защото е число на опитите да се направи програмата. Стандартната стойност на 30. Не го променя, защото това е достатъчно за правилната работа на програмата.
- Timeout чака отговор от услугата. Времето за изчакване за страници, за да се зареди от услугата. Настройката по подразбиране на 30 000 мс е подходящ за проекти от всякакъв мащаб.
- режим на събиране. Тази позиция трябва да бъде маркирана "Lines недоставени данни" - за струни с липсваща информация ще се събират в програмата, тя ще се съкрати времето на събиране, тъй като няма да има последващи проверки, които се попълват данни.
- Филтрирането знаци. Пример Задайте доста голям списък от символи, които ще бъдат премахнати, когато разбор. Ние не сме заинтересовани израз изразителни нуждите на потребителя в търсенето, и се интересуват от смисъла на неговото искане. В същото време, символи като "-" ".", И могат да се използват от различни потребители по различни начини, например с познаването на правилата за писане на молба и без. За да събере всичко е един тип, на мястото на тези знаци с интервал. Смяна на буквата Е да д е и корекция на разликите между потребителски заявки. Няма никаква разлика, получи искане за таралеж или таралеж формат, тъй като те са един семантичен смисъл. Ето защо, за удобство на всички фрази представяме единен поглед върху този параметър.
- Цитиран с малки букви. Също така е удобно настройка, за да донесе всички фрази на един формат.
Yandex.Wordstat
Yandex.Direct
- Забавянето между заявките. Закъснение между заявките е по-добре да се инсталира 10 000 до 15 000 милисекунди, за да не се получи система за заключване и натоварване. Direct е много чувствителен към разбор и осигурява много по-агресивен улавя колекцията.
- Броят на конци. Поставете брой нишки, равни на броя на пълномощник. Настройки на непригодност, определени, както е показано на снимката.
Google AdWords
Google Adwords източници настройки обикновено остават стандарт, тъй като имат ограничения, за които сме предупредени Кей колектор.
Като цяло, не е необходимо да ги промените. Използвайки точен честота на Google Adwords веднъж използва за инструменти "Анализ скритите двойки", като точната честота на Adwords счита словоред. В момента този проблем е решен чрез събиране на точна честота маска QUERY чрез Yandex (т.нар скоби [] оператора, като се вземе предвид последователността на думите в изречението).
Rambler Adstat
змия
създаване блок Yandex.XML игнорира и не променя нищо там. В нашата работа, ние няма да използва XML услугата Yandex, така че не е необходимо да го активирате.
Задайте броя на нишките и настройки деактивират едни и същи за всички източници, ние ще работим: Yandex, Google, YouTube, Mail.ru.
Така вървяхме през главните Ключови настройките Колекционерски са подготвили инструмент за разбор на линия. Първоначално инструмент за настройка наистина може да отнеме много време, но ще ви спести много време в бъдеще, тъй като конфигуриран по този начин програмата работи на автопилот и не изисква внимание и наблюдение. Тя може да бъде инсталиран на виртуална машина и оставете за през нощта, без да се притеснявате за това, което ще спре разбор по една или друга причина.