Дефиниција Веб Спидеринг и Веб Цравлерс

Пауци су програми (или аутоматизовани скрипти) који „пузају“ кроз Веб тражећи податке. Спајдери путују кроз УРЛ-ове веб страница и могу повлачити податке са веб страница као што су адресе е-поште. Спајдери се такође користе за унос информација које се налазе на Веб локацијама претраживачима.

Пауци, који се такође називају претраживачима веб претраживача (веб цравлерс), а нису сви у својој намери.

Спамери Спидер Веб странице за прикупљање информација

Гоогле, Иахоо! и други претраживачи нису једини који се занимају за индексирање веб страница - као и преваранти и спамери.

Спамери користе паукове и друге аутоматизоване алате како би пронашли адресе е-поште (на интернету се ова пракса често назива 'жетва') на веб страницама, а затим их користи за креирање спам листа.

Пауци су такође алатка коју претраживачи користе да би сазнали више информација о вашем веб сајту, али нису означени, веб сајт без инструкција (или „дозвола“) о томе како да индексира ваш сајт може представљати велике ризике безбедности информација. Пауци путују следећим линковима и веома су вјешти у проналажењу веза до база података, програмских датотека и других информација на које можда не желите да имају приступ.

Вебмастери могу да прегледају евиденције да виде шта су пауци и други роботи посетили на њиховим сајтовима. Ове информације помажу вебмастерима да знају ко индексира њихов сајт и колико често.

Ове информације су корисне јер дозвољавају вебмастерима да фино подешавају свој СЕО и ажурирају робот.ткт датотеке како би забранили одређеним роботима да убудуће претражују своје странице.

Савети о заштити вашег веб сајта од нежељених робота

Постоји прилично једноставан начин да се нежељени алати за индексирање држе изван вашег веб сајта. Чак и ако нисте забринути због злонамерних паука који пузе по вашој веб-локацији (обмањујућа адреса е-поште неће вас заштитити од већине претраживача), и даље требате дати тражилице важним упутствима.

Сви сајтови би требало да имају фајл који се налази у основном директоријуму који се зове датотека роботс.ткт. Ова датотека вам омогућава да упутите веб претраживаче где желите да претражују странице индекса (осим ако није другачије наведено у мета подацима одређене странице да не буду индексирани) ако су они претраживачи.

Баш као што можете рећи жељеним претраживачима гдје желите да их прегледате, можете им рећи гдје можда неће ићи па чак и блокирати одређене претраживаче са цијелог веб-локације.

Важно је имати на уму да ће добро састављена роботс.ткт датотека имати огромну вриједност за претраживаче и може чак бити кључни елемент у побољшању перформанси вашег веб сајта, али неки роботи роботи ће и даље игнорирати ваше упуте. Због тога је важно да у сваком тренутку увек ажурирате сав софтвер, додатке и апликације.

Слични чланци и информације

Због распрострањености сакупљања информација коришћених за зле (спам) сврхе, 2003. године донесен је закон да би одређене праксе биле незаконите. Ови закони о заштити потрошача спадају под ЦАН-СПАМ Закон из 2003. године.

Важно је да одвојите време да прочитате ЦАН-СПАМ акт ако се ваше предузеће бави масовним слањем поште или прикупљањем информација.

Можете сазнати више о анти-спам законима и како се носити са спамерима, а шта ви као власник бизниса не можете да урадите, читањем следећих чланака:

• ЦАН-СПАМ Ацт 2003
• ЦАН-СПАМ Ацт Правила за непрофитне организације
• 5 ЦАН-СПАМ правила Мали власници предузећа морају разумјети