大数据分析 - 数据收集

数据收集在大数据周期中扮演着最重要的角色。互联网为各种主题提供了几乎无限的数据源。该领域的重要性取决于业务类型，但传统行业可以获取各种外部数据源，并将这些数据与他们的交易数据相结合。

例如，假设我们要构建一个推荐餐厅的系统。第一步是收集数据，在这种情况下，是从不同的网站收集餐厅评论并将它们存储在数据库中。由于我们对原始文本感兴趣，并将使用它进行分析，因此数据用于开发模型的存储位置并不那么重要。这可能与大数据主要技术相矛盾，但为了实现大数据应用，我们只需要使其实时运行。

Twitter迷你项目

一旦问题被定义，下一步就是收集数据。以下迷你项目的想法是在收集网络数据并将其构建为机器学习模型中使用的结构方面进行工作。我们将使用R编程语言从Twitter REST API收集一些推文。

首先创建一个Twitter帐户，然后按照twitteR包vignette中的说明创建一个Twitter开发者帐户。这是这些说明的总结：

访问https://twitter.com/apps/new并登录。
填写基本信息后，转到“设置”选项卡，然后选择“读取、写入和访问直接消息”。
确保在执行此操作后单击“保存”按钮。
在“详细信息”选项卡中，记下您的消费者密钥和消费者密钥。
在您的R会话中，您将使用API密钥和API密钥值。
最后运行以下脚本。这将从其在github上的存储库中安装twitteR包。

install.packages(c("devtools", "rjson", "bit64", "httr"))  

# Make sure to restart your R session at this point 
library(devtools) 
install_github("geoffjentry/twitteR")

我们感兴趣的是获取包含字符串“big mac”的数据，并找出关于此数据的突出主题。为此，第一步是从Twitter收集数据。以下是我们收集Twitter所需数据的R脚本。此代码也位于bda/part1/collect_data/collect_data_twitter.R文件中。

rm(list = ls(all = TRUE)); gc() # Clears the global environment
library(twitteR)
Sys.setlocale(category = "LC_ALL", locale = "C")

### Replace the xxx’s with the values you got from the previous instructions

# consumer_key = "xxxxxxxxxxxxxxxxxxxx"
# consumer_secret = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"

# access_token = "xxxxxxxxxx-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"

# access_token_secret= "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"

# Connect to twitter rest API
setup_twitter_oauth(consumer_key, consumer_secret, access_token, access_token_secret)

# Get tweets related to big mac
tweets <- searchTwitter(’big mac’, n = 200, lang = ’en’)
df <- twListToDF(tweets)

# Take a look at the data
head(df)

# Check which device is most used
sources <- sapply(tweets, function(x) x$getStatusSource())
sources <- gsub("</a>", "", sources)
sources <- strsplit(sources, ">")
sources <- sapply(sources, function(x) ifelse(length(x) > 1, x[2], x[1]))
source_table = table(sources)
source_table = source_table[source_table > 1]
freq = source_table[order(source_table, decreasing = T)]
as.data.frame(freq)

#                       Frequency
# Twitter for iPhone       71
# Twitter for Android      29
# Twitter Web Client       25
# recognia                 20

打印页面