| Տարբերակ | 1.0 |
|---|---|
| Հրատարակիչ | SqrBox |
| Թողարկման ամսաթիվ | 18 մրտ, 2013 թ. |
| Ավելացման ամսաթիվը | 18 մրտ, 2013 թ. |
| OS պահանջները | Windows |
| Պահանջներ | .NET Framework 3.5 |
| Ընդհանուր ներբեռնումներ | 292 |
| Գինը | Free |
Նկարագրություն
Գոյություն ունեն անվերջ բազմաթիվ պատճառներ, թե ինչու անձը կամ ընկերությունը կցանկանա օգտագործել վեբ սողացող ծրագրակազմ: Այս տեսակի ծրագրերը զննում են վեբը հատուկ ձևով, որը կարող է լինել ավտոմատացված, մեթոդական կամ կանոնավոր: Եթե դուք նոր եք տերմինով վեբ սողացող ծրագրակազմ, գուցե դուք լսել եք սարդերի, բոտերի, մրջյունների, ավտոմատ ինդեքսների, ռոբոտների կամ ցատկերի մասին: Նրանք բոլորը հիմնականում նույն բանն են:
Web Crawler Software-ի նպատակը
Երբ մտածում եք վեբ սողացող ծրագրաշարի մասին, հավանաբար պատկերացնում եք մեծ անունների որոնման համակարգերը, ինչպիսիք են Google-ը, Bing-ը և Yahoo-ն: Նրանց բոտերը սողում են վեբ էջերում՝ որոշելու բովանդակությունը, համապատասխանությունը և ինդեքսավորումը: Ստեղծելով այցելած էջերի պատճենը՝ նրանք կարող են ապահովել ավելի արագ և ճշգրիտ որոնումներ: SqrBox-ը ձեզ կասի, որ դուք, անշուշտ, կարիք չունեք որոնիչ լինել՝ վեբ սողացող ծրագրաշարի կարիք ունենալու համար: Դուք պարզապես պետք է լինեք մեկը, ով մեծ քանակությամբ կամ չափազանց բարդ տեղեկատվություն հավաքելու կարիք ունի:
Web Crawler Software-ի տեսակները
Եթե դուք նախատեսում եք օգտվել պրոֆեսիոնալ ընկերության ծառայություններից, ինչպիսին է SqrBox-ը, իրականում ձեզ հարկավոր չէ մտահոգվել վեբ սողացող ծրագրաշարի հետ կապված բոլոր բարդ լեզվով: Այնուամենայնիվ, օգտակար է դրա մասին մի քանի բան հասկանալը:
Կենտրոնացված սողալ - Այս տեսակի վեբ սողացող ծրագրաշարի նպատակն է ներբեռնել այնպիսի էջեր, որոնք կարծես թե պարունակում են նմանատիպ տեղեկատվություն: Այնուամենայնիվ, հաճախ կան որոշ թերություններ, որոնք կապված են այս մեթոդի հետ, և սողացողի իրական կատարումը և արդյունքը կախված են նրանից, թե որքան հարուստ են հղումները տվյալ կոնկրետ թեմայի վերաբերյալ, որը որոնվում է: Վեբ սողացող ծրագրաշարի այս տեսակը հաճախ օգտագործվում է որպես ելակետ՝ հետագա սողացող որոնումները նեղացնելու համար:
URL-ի նորմալացում. վեբ սողացող ծրագրակազմը հաճախ կատարում է URL-ի նորմալացման որոշակի մակարդակ, որն օգնում է նվազեցնել նույն աղբյուրի կրկնվող սողալը մեկից ավելի անգամ:
Հետևվող հղումների սահմանափակում – Որոշ դեպքերում վեբ սողացող ծրագրակազմը կարող է խուսափել որոշակի վեբ բովանդակությունից և փնտրել միայն .html էջեր: Դա անելու համար URL-ը հաճախ ուսումնասիրվում է, և այնուհետև ռեսուրսները կպահանջվեն միայն այն դեպքում, եթե URL-ում կան որոշակի նիշեր, ինչպիսիք են .html, .asp, .htm, .php, .aspx, .jspx կամ .jsp: վեբ սողացող ծրագրակազմը սովորաբար անտեսում է ռեսուրսները «?»-ով: սարդերի թակարդներից խուսափելու համար.
