terça-feira , março 28 2017
Últimas Notícias

Surface, Deep Web e Dark Web [Aprenda a verdade]

search-key

Existem muitos pontos de vistas referentes a Surface, Deep Web e Dark Web, mas a maioria das pessoas entender esses termos de uma maneira parcialmente correta ou bem distorcida da realidade, a questão que quero levantar é uma visão técnica, baseado em referências mais sérias, sua origem, diferenças e onde se é efetivamente utilizado estes termos.

 

De onde vieram estes termos?

Esses termos acabam sendo mais comuns quando falamos de áreas voltadas a busca de informação no Cyber espaço, como por exemplo, quando falamos de OSINT e Scraping, geralmente livros que falam sobre estes dois acabam batendo no ponto das 3 camadas do cyber espaço, o qual fazem uma certa distinção da forma como buscamos a informação e estas formas ficam classificadas em 3 grandes grupos:  Surface, Deep Web e Dark Web. Além da área voltada a OSINT e Scraping, podemos ouvir falar destas 3 camadas em outras áreas, mas o ponto chave dessas 3 camadas é a busca de informação no Cyber espaço.

 

O que é OSINT e Scraping?

Antes de nos aprofunda vamos entender melhor estes 2 termos o qual não são tão comuns de serem ouvidos.

OSINT Que significa Open Source Intelligence, ou em português Inteligência de Fontes Abertas, Se refere a inteligência, no sentido de informações, como em serviço de inteligência, obtida através dados disponíveis de forma pública, ou seja, qualqur um tem acesso, como jornais, revistas científicas, rede sociais, radio, google e etx…

OSINT pode ser de qualquer fonte e ele pode se pode se dividir em termos mais específicos, em nosso caso quando se fala das 3 camadas, estamos falando mais diretamente da CYBINT o qual são informações públicas no Cyber espaço.

Este termo se ouve muito falar quando se trata de investigações (inclusive a de policiais) e privacidade, como é abordado nas obras de Michael Bazzel.

Web Scraping Também conhecido como screen scraping, web harvesting, e variações similares. É a pratica de obtenção de dados através de outros programas contendo um conteúdo de websites, muito comumente utilizado para escrever programas automatizados de buscas em web sites. Tem a vantagem de conseguir minerar mais dados que os motores de buscas e é mais versátil. Não é a mesma coisa que um Web Crawler, pois o Web Crawler é apenas um indexador automático para varrer paginas web e o Web Scraping faz este papel e inda trabalha com algum tipo de tratamento destas informações de forma adicional, como utilização de data mining.

Quando falamos em Scraping podemos citar os motores de busca como google, bing, yandex e etc…

 

As 3 camadas

Na busca de informações, podemos dividir as fontes em 3 camadas na Internet:

  • Surface Web – É a parte da Internet que pode ser acessada por navegadores comuns e as informações podem ser localizadas pelos motores de busca mais populares como o Google, Bing, Yahoo Search e Aol Search, ou seja, são informações acessíveis a qualquer usuário comum que utilize um computador de forma casual.
  • Deep Web – É a parte da internet não indexada pelos principais motores de busca, ou seja sites ocultos que possuem conteúdos privados que não devem ser apresentados em público como postagens de redes sociais com controle de privacidade como privado, ou sites que requerem autenticação ou até restrições de acesso como IP, além de que os motores de busca padram não necessariamente mostram tudo o que eles acharam, por algumas questão legais e éticas, eles não podem mostrar determinados resultados, como por exemplo, podemos ver as restrições da DMCA.
  • Dark Web – É a camada o qual pode apenas ser acessada através de algum tipo de programa de anonimato, como TOR (sim TOR não fica na Deep Web, Bazinga!), FreeNet, I2P, dentre outros. Geralmente são redes com intenções meio diversas para usar estes tipos de método de acesso tecnológico, seja para o crime ou em alguns casos a grande necessidade de privacidade ou segurança, não necessariamente é utilizado para o mal, mas claro que devemos pensar na seguinte comparação, se você vê uma pessoa em um beco escuro e vazio pode ser suspeito, pode ser tanto um criminoso esperando uma vítima em um local sem testemunhas e longe de qualquer ajuda, ou um simples morador tentando achar sinal de celular kkk.

 

Importância da classificação

Porque existem as classificações? Simples, isso ajuda em alguns processos, tanto a saber quais tecnologias dependerá para obter informações e até que ponto dependendo de cada caso precisará ir mais fundo nas camadas, por exemplo, uma pessoa normal buscando uma informação cotidiana só o Google já bastará, não precisará instalar o TOR, ou no caso de sistemas People Search Engine, precisarão mais de chegar até a Deep Web, para um investigador já seria mais interessante utilizar as 3 camadas para achar um criminoso e no caso de achar alguém que fugiu de casa só precisaríamos das 2 primeiras camadas. Além disso quando se vai escrever um software de busca, precisamos saber até que ponto buscar, pois como pode notar, cada camada possui certo nível de informações e tecnologias diferentes, por exemplo, se quer automatizar buscas na Surface use APIs do Google, Bing, Aol para busca, se quer ir mais a fundo na Deep Web deverá pensar nas APIs de mídias sociais, bots para realização de login com gerenciamento de sessão, byspass em captcha e por ai vai, já na Dark Web deverá pensar em APIs mais a camada de VPNs e Proxy Chains como TOR, FreeNet e I2P.

 

Fontes: https://pt.wikipedia.org/wiki/OSINT

Livro – The Tao of Open Source Intelligence – Stewart Bertram

Livro – Web Scraping with Python: Collecting Data from the Modern Web

Livro – Open Source Intelligence Techniques: Resources for Searching and Analyzing Online Information Paperback – Michael Bazzell

Livro – Hacking Web Intelligence: Open Source Intelligence and Web Reconnaissance Concepts and Techniques

Sobre NullS3c

Possuo especialidade na área de computação forense. Mais informações sobre mim poderá ver em: https://www.linkedin.com/in/victor-cunha-8753073b/
Free WordPress Themes - Download High-quality Templates