...关的技术,所以有了这篇文章,其实就是记录一下自己学习hadoop的过程,如果文章中有啥写的不对的地方,还望指正(有java开发经验,但是是大数据小白一只,各位大神轻喷.)我先是在网上搜索了一波大数据应该要学些什么技术,基本上不...
hadoop配置与wordcount 参考的博客大多都是hadoop2.x和低版本的java之上的，配置过程写出来看似很简单，看别人的博客也感觉步骤都差不多，但是自己配置时候出了很多问题：datanode启动不了，网页不能正常显示，datanode莫名死掉...
...要搭建数据处理平台，，由于数据量比较大，因此选择了Hadoop，本人并不是很熟悉这个平台，，因此搭建过程中遇到了许多问题，，所以想记录一下，以后可能会用到。搭建过程并不困难，由于手上没有服务器，在虚拟机中搭建...
...研究到的是一个非常简单的办法，首先启动hive，直接以hadoop master启动 sudo docker run -d --name hadoop-master -P -h hadoop-master teradatalabs/cdh5-hive 加个 -P是随机端口映射 ，笔者偷懒了，启动后，查看 hadoop master web界面及hive端口。我这里找...
1.创建Hadoop用户三部曲：添加用户，设置密码，给该用户设置管理员权限为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题 sudo useradd -m hadoop -s /bin/bash sudo passwd hadoop sudo adduser hadoop sudo 2.登陆ha...
ChatGPT和Sora等AI大模型应用，将AI大模型和算力需求的热度不断带上新的台阶。哪里可以获得...
大模型的训练用4090是不合适的，但推理（inference/serving）用4090不能说合适，...
图示为GPU性能排行榜，我们可以看到所有GPU的原始相关性能图表。同时根据训练、推理能力由高到低做了...
张巨伟
李义
617035918
马忠志
赵连江
魏明
