Decorative image frame

Liusx

Liusx

Liusx

linux 挂载硬盘

linux 挂载硬盘

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
[root@dn2 ~]# pvcreate /dev/sdb
  Physical volume "/dev/sdb" successfully created.
[root@dn2 ~]# vgcreate vgsdb /dev/sdb
  Volume group "vgsdb" successfully created
[root@dn2 ~]# lvcreate -l 100%FREE -n sdb1 vgsdb
  Logical volume "sdb1" created.
[root@dn2 ~]# mkfs.xfs /dev/vgsdb/sdb1
meta-data=/dev/vgsdb/sdb1        isize=512    agcount=4, agsize=61047552 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=1, sparse=1, rmapbt=0
         =                       reflink=1    bigtime=0 inobtcount=0
data     =                       bsize=4096   blocks=244190208, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0, ftype=1
log      =internal log           bsize=4096   blocks=119233, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0
Discarding blocks...Done.
[root@dn2 ~]# mkdir /data/hdfs
[root@dn2 ~]# mount /dev/vgsdb/sdb1 /data/hdfs
[root@dn2 ~]# df -h
Filesystem                  Size  Used Avail Use% Mounted on
devtmpfs                    3.7G     0  3.7G   0% /dev
tmpfs                       3.7G     0  3.7G   0% /dev/shm
tmpfs                       3.7G   17M  3.7G   1% /run
tmpfs                       3.7G     0  3.7G   0% /sys/fs/cgroup
/dev/mapper/almalinux-root   70G  7.5G   63G  11% /
/dev/mapper/almalinux-home  160G   37G  123G  23% /home
/dev/sda2                  1014M  234M  781M  24% /boot
/dev/sda1                   599M  5.8M  594M   1% /boot/efi
tmpfs                       756M     0  756M   0% /run/user/0
/dev/mapper/vgsdb-sdb1      932G  6.6G  925G   1% /data/hdfs

[root@dn2 ~]# vim /etc/fstab

hostmane connection refused

hadoop 使用hostname 链接时拒绝访问

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# os 信息
NAME="AlmaLinux"
VERSION="8.9 (Midnight Oncilla)"
ID="almalinux"
ID_LIKE="rhel centos fedora"
VERSION_ID="8.9"
PLATFORM_ID="platform:el8"
PRETTY_NAME="AlmaLinux 8.9 (Midnight Oncilla)"
ANSI_COLOR="0;34"
LOGO="fedora-logo-icon"
CPE_NAME="cpe:/o:almalinux:almalinux:8::baseos"
HOME_URL="https://almalinux.org/"
DOCUMENTATION_URL="https://wiki.almalinux.org/"
BUG_REPORT_URL="https://bugs.almalinux.org/"

ALMALINUX_MANTISBT_PROJECT="AlmaLinux-8"
ALMALINUX_MANTISBT_PROJECT_VERSION="8.9"
REDHAT_SUPPORT_PRODUCT="AlmaLinux"
REDHAT_SUPPORT_PRODUCT_VERSION="8.9"

1
2
3
# host 设置好后需要重启 刷新配置
systemctl restart NetworkManager

pip 升级

升级 pip

1
python -m pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade pip

设置 pip源

1
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

hadoop yarn node 配置

让Hadoop YARN只在某些节点上运行，你可以通过配置yarn-site.xml文件来实现。你可以使用yarn.resourcemanager.nodes.include-path和yarn.resourcemanager.nodes.exclude-path属性来指定包括和排除的节点。

在yarn-site.xml中添加以下属性：

1
2
3
4
5
6
7
8
9
10
11
<!-- 指定资源管理器运行的节点列表 -->
<property>
  <name>yarn.resourcemanager.nodes.include-path</name>
  <value>/path/to/nodes_to_include.txt</value>
</property>
 
<!-- 指定不运行资源管理器的节点列表 -->
<property>
  <name>yarn.resourcemanager.nodes.exclude-path</name>
  <value>/path/to/nodes_to_exclude.txt</value>
</property>

hadoop 使用端口

almalinux 开放 hadoop使用端口

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
firewall-cmd --zone=public --add-port=8020/tcp --permanent
firewall-cmd --zone=public --add-port=50070/tcp --permanent

firewall-cmd --zone=public --add-port=50090/tcp --permanent

firewall-cmd --zone=public --add-port=50010/tcp --permanent
firewall-cmd --zone=public --add-port=50020/tcp --permanent
firewall-cmd --zone=public --add-port=50075/tcp --permanent

firewall-cmd --zone=public --add-port=8032/tcp --permanent
firewall-cmd --zone=public --add-port=8088/tcp --permanent
firewall-cmd --zone=public --add-port=8042/tcp --permanent

firewall-cmd --zone=public --add-port=10020/tcp --permanent
firewall-cmd --zone=public --add-port=19888/tcp --permanent

firewall-cmd --zone=public --add-port=16000/tcp --permanent
firewall-cmd --zone=public --add-port=16030/tcp --permanent

firewall-cmd --zone=public --add-port=10000/tcp --permanent
firewall-cmd --zone=public --add-port=10002/tcp --permanent

firewall-cmd --zone=public --add-port=7077/tcp --permanent
firewall-cmd --zone=public --add-port=4040/tcp --permanent

## 开放ip段
firewall-cmd --permanent --zone=public --add-rich-rule='rule family="ipv4" source address="192.168.10.0/24" accept'

Hadoop 使用的端口取决于不同的组件和服务。以下是 Hadoop 中一些常见组件和服务以及它们使用的默认端口：

Hadoop HDFS:

NameNode: 默认端口是 8020 (RPC) 和 50070 (Web UI)
SecondaryNameNode: 默认端口是 50090 (Web UI)
DataNode: 默认端口是 50010 (数据传输), 50020 (IPC), 和 50075 (Web UI)

YARN (Yet Another Resource Negotiator):

ResourceManager: 默认端口是 8032 (RPC) 和 8088 (Web UI)
NodeManager: 默认端口是 8042 (Web UI)

MapReduce JobHistory Server:

默认端口是 10020 (RPC) 和 19888 (Web UI)

Hadoop HBase:

Master: 默认端口是 16000 (Web UI)
RegionServer: 默认端口是 16030 (Web UI)

Apache Hive:

默认端口是 10000 (Thrift JDBC/ODBC 服务) 和 10002 (Web UI)

Apache Spark:

默认端口是 7077 (Master), 4040 (Web UI), 和其他动态分配的端口

cnd 代理后链接失败

可以在Firewall rules里面添加一条Action为Allow规则, Field选IP(填你自己的IP)或者Path(科学上网的Path). 也可以在Tools里面的IP Access Rules添加一条你自己的IP选Whitelist. 还可以直接把settings里面的Security Level调成Essentially Off.

nginx server的root目录没有权限错误

SELinux 是一种安全增强系统，用于控制进程的访问权限，防止未经授权的访问。如果 SELinux 在系统上启用，则必须配置正确的 SELinux 安全上下文以允许 nginx 用户访问 /data/blog 目录及其子目录中的文件。

你可以执行以下命令来检查文件的 SELinux 安全上下文：

1
ls -Z /data/blog

如果文件的安全上下文中包含 httpd_sys_content_t，则表示该文件可以由 Web 服务器读取。否则，就需要手动更改文件的安全上下文。

你可以使用以下命令来为 /data/blog 目录及其子目录设置正确的 SELinux 安全上下文：

1
chcon -Rv --type=httpd_sys_content_t /data/blog

这条命令将为 /data/blog 目录及其子目录设置 SELinux 安全上下文类型为 httpd_sys_content_t，这将允许 Web 服务器读取该目录中的文件。

注意：这些命令需要使用 root 权限执行。