百木园-与人分享,
就是让自己快乐。

安装spark与python

一、安装Spark

1.检查基础环境

启动hdfs查看进程

 

 

查看hadoop和jdk环境

 

 

 

 

 2.下载spark

 

 

3.配置环境变量

 

 

 

4.启动spark

 

 

5.试运行python代码

 

 

 

 

 

 

 

 

 二、Python编程练习:英文文本的词频统计

1.准备文本文件

从网上下载一篇名为《hamlet》的小说,命名为hamlet.txt

 

2.读文件

txt = open(\"../../resources/hamlet.txt\", \"r\").read()

读取hamlet.txt英文小说文件并赋值给txt

 

3.预处理:大小写,标点符号,停用词

txt = txt.lower()  #使所有的英文字符变成小写
# 循环把txt中的特殊字符全替换成 空格
for ch in \' !\"#$%&()*+-,./:;<=>?@[\\\\]^_‘{|}~ \':
    txt = txt.replace(ch, \" \")
excludes = {\"to\", \"of\", \"i\", \"a\"}
for word in excludes:    #停用词循环删除
del counts[word]

4.分词

words = hamletTxt.split()  # 将字符串中的信息进行分隔,并以列表的形式返回给变量

5.统计每个单词出现的次数

for word in words:
    # counts.get函数:用来获取某一个键对应的值,即当前给出的键作为索引字,如果在里边,返回
    # 它的次数后面再+1,说明这个单词又出现了一次;如果单词不在字典中,则把它加到字典中,并且
    # 赋给当前的值为0
    counts[word] = counts.get(word, 0) + 1

6.按词频大小排序

# 按照键值对的2个元素的第二个元素进行排序,排序的方式是(reverse=true)由大到小 倒排
items.sort(key=lambda x: x[1], reverse=True)

7.结果写文件

items = str(counts.items())   # 装换成字符串类型
with open(\"hamlet_wordCount.txt\", \'w\', encoding=\'utf-8\')as fp:
    fp.write(items)

8.运行结果

 

 

 

 9.全部代码展示

复制代码

# 组合数据类型,文本词频统计 Hamlet
def getText():
    txt = open(\"../../resources/hamlet.txt\", \"r\").read()
    txt = txt.lower()  # 使所有的英文字符变成小写
    # 循环把txt中的特殊字符全替换成 空格
    for ch in \' !\"#$%&()*+-,./:;<=>?@[\\\\]^_‘{|}~ \':
        txt = txt.replace(ch, \" \")
    return txt


excludes = {\"to\", \"of\", \"i\", \"a\"}
hamletTxt = getText()
words = hamletTxt.split()  # 将字符串中的信息进行分隔,并以列表的形式    返回给变量
counts = {}
for word in words:
    # counts.get函数:用来获取某一个键对应的值,即当前给出的键作为索引字,如果在里边,返回
    # 它的次数后面再+1,说明这个单词又出现了一次;如果单词不在字典中,则把它加到字典中,并且
    # 赋给当前的值为0
    counts[word] = counts.get(word, 0) + 1
    
for word in excludes:    # 停用词删除
    del counts[word]
    
items = list(counts.items())
# 按照键值对的2个元素的第二个元素进行排序,排序的方式是(reverse=true)由大到小 倒排
items.sort(key=lambda x: x[1], reverse=True)

# 打印前十个出现最多的单词 以及 它对应的次数
for i in range(10):
    word, count = items[i]
    count = str(count)
    print(\"{0:<10}{1:>5}\".format(word, count))
    
items = str(counts.items())   # 装换成字符串类型,结果保存文件
with open(\"hamlet_wordCount.txt\", \'w\', encoding=\'utf-8\')as fp:
    fp.write(items)

复制代码


来源:https://www.cnblogs.com/wjzblogs/p/15952622.html
本站部分图文来源于网络,如有侵权请联系删除。

未经允许不得转载:百木园 » 安装spark与python

相关推荐

  • 暂无文章