Onde Encontrar Datasets para Praticar Data Science e Machine Learning

Para se tornar um bom Data Scientist e começar a realmente entender Machine Learning duas coisas são muito importantes: estudar os algoritmos, e aplicar o que foi aprendido a dados reais.
Na indústria, a maior parte do tempo de um projeto de Machine Learning é normalmente gasta com a preparação e compreensão dos dados. Aplicar um algoritmo super avançado de Machine Learning a dados ruins seria como usar um carro esportivo muito veloz numa estrada esburacada. Não adianta ele ter uma ótima performance, você não vai conseguir passar de uma certa velocidade.
Na prática muitas vezes o que faz a diferença entre um modelo muito bom e um mediano é justamente entender os dados, e saber prepara-los bem para aplicar um algoritmo. E esta é uma habilidade que pode ser aprendida como qualquer outra.
Por isso, quero listar aqui alguns sites onde você poderá encontrar datasets abertos para praticar as suas habilidades, ou usar na prática, dependendo de seu projeto:

UCI Machine Learning Repository


Um dos sites mais conhecidos que disponibilizam datasets públicos, o repositório da UC Irvine contém centenas de datasets em áreas variadas. Você é livre para explorar os datasets da forma como quiser, mas eles dão a opção de filtrar por:
  • Área de interesse
  • Tipo de tarefa mais apropriada (classificação, regressão, clustering)
  • Formato das variáveis (categóricas, numéricas)
  • Tipo dos dados (uma ou mais variáveis, séries temporais)
  • Quantidade de variáveis independentes
  • Quantidade de exemplos
Além disso, ao acessar a página de um dataset em particular, é possível ver detalhes como a fonte, informações sobre o problema, variáveis, e o mais interessante, trabalhos acadêmicos que usam este dataset, que podem ser uma ótima fonte de ideias e aprendizado para tentar reproduzir.

Quandl


Este site é especializado em dados financeiros e econômicos. Ele possui uma vasta quantidade de dados macroeconômicos, geopolíticos, demográficos, bem como dados sobre ações, commodities, futuros, empresas de capital aberto, até mesmo sobre bitcoin. Dizem ter mais de 10 milhões de datasets.
Além de uma plataforma que permite uma busca fácil, ele possui uma API que facilita a integração com linguagens bastante utilizadas para análise de dados como Python e R. A maioria dos dados está voltado para o mercado financeiro americano, mas é possível encontrar dados de outros países também.
Existem os datasets abertos, grátis, e uma parte premium, que é paga.

Kaggle


Uma das melhores formas de trabalhar em casos próximos da realidade é através das competições no Kaggle. Empresas e instituições acadêmicas disponibilizam dados e um objetivo (como, por exemplo, descobrir automaticamente se um anúncio está de acordo com as regras do site).
O objetivo aqui não é falar sobre como ganhar uma competição destas, mas tratar o site como uma fonte de dados, e também como um referencial sobre suas habilidades, já que é possível comparar suas soluções com outras de centenas de pessoas.
Mais do que isso, ao fim das competições, normalmente as soluções são compartilhadas, então é possível preencher as lacunas do conhecimento, ver até onde você conseguiu chegar, e quais foram os métodos que fizeram a diferença entre você e outros competidores com uma posição melhor.
É de graça para competir, e se você tiver habilidade, paciência, dedicação, e um pouco de sorte, pode até ganhar um prêmio.

Amazon AWS Datasets

Se você estiver se sentindo corajoso, este é um repositório de datasets disponibilizados pela Amazon para usar com o serviço de cloud computing (AWS) da empresa.
São datasets gigantescos em áreas como processamento de linguagem natural para entender pesquisas em mecanismos de buscas, pesquisas genéticas e dados climáticos. As áreas são variadas, mas o que há em comum é o tamanho dos dados, que claramente não cabem na memória e devem ser analisados utilizando ferramentas específicas para big data.
Neste caso os datasets são grátis, mas o uso da plataforma de cloud computing não. De qualquer maneira é uma ótima forma de conhecer ferramentas, e ganhar prática na análise de grandes datasets, que é uma área com um potencial enorme de crescimento.

Estes são apenas alguns dos sites, mas eles já fornecem bastante material para ser explorado, e são de fácil acesso para iniciantes ou usuários mais avançados.



http://mariofilho.com/onde-encontrar-datasets-para-praticar-data-science-e-machine-learning/

Comentários

Postar um comentário

Postagens mais visitadas deste blog

Rails CanCan

CanCan is an authorization library for Ruby on Rails which restricts what resources a given user is allowed to access. All permissions are defined in a single location (the Ability class) and not duplicated across controllers, views, and database queries. Installation In Rails 3 , add this to your Gemfile and run the bundle command. gem "cancan" In Rails 2 , add this to your environment.rb file. config.gem "cancan" Alternatively, you can install it as a plugin. rails plugin install git://github.com/ryanb/cancan.git Getting Started CanCan expects a current_user method to exist in the controller. First, set up some authentication (such as Authlogic or Devise ). See Changing Defaults if you need different behavior. 1. Define Abilities User permissions are defined in an Ability class. CanCan 1.5 includes a Rails 3 generator for creating this class. rails g cancan:ability In Rails 2.3, just add a new class in `app/models/ability.rb` with
Leia mais

Meus insights mais valiosos sobre criptomoedas para 2018 e além

Since I started to study the crypto world, I spent hundreds and hundreds of hours — if not thousands — collecting, assimilating, and reflecting on everything I could in order to better understand this market (virus?) that fascinates me more everyday. I found extremely valuable information that I would like to share with you today.  Whether you are a newbie or a veteran in the crypto space, I hope that by the end of this post you will get new perspectives,   and ideas you’ve never heard or thought about before . “The most valuable type of economists are cryptoeconomists, as they can actually create, manage, and analyze economies.” — Naval Ravikant In case you want to directly jump to a section, the post is composed of 8 parts: Decentralized Exchange Protocols Will Be Game Changers Coinbase (and The Other Centralized Exchanges) Have HUGE Opportunities To Evolve Protocols and Scalability: In Progress… But Still Waiting For The Killer Apps Crypto Geopolitics: Why The Crypto W
Leia mais

Como pegar a senha do Whatsapp de um Android ou Iphone

Imagem
WhatsApp is a very popular SMS-like messenger for smartphones, but it’s unfortunately only available for smartphones right now. If you want to use other tools or write web applications that send or receive WhatsApp messages (e.g. WhatsAPI ), you have to find a way to sniff the WhatsApp password from your smartphone. Until recently, this password was just an MD5 hash of your IMEI (or MAC address), but that has changed when that was uncovered. Since then, the WhatsApp server assigns a password to each device/account when it first registers. This tutorial demonstrates how to capture the WhatsApp password of your WhatsApp account using the SSL/TLS proxy mitmproxy . Once you have this password, you can use it to communicate with the WhatsApp servers directly or via a framework. This is the first part of a two-part tutorial. The second part demonstrates how to send and receive WhatsApp messages via PHP . Contents Updates 1. Introduction 1.1. Please note:
Leia mais