从文件里找特定内容:
grep -rn '11268247' *.csv
查找端口被哪个进程占用netstat -vanp tcp | grep 7001
sudo lsof -i :7001
sudo lsof -p [PID] | grep txt
sudo lsof -p 60697 | grep txt
kill -9 pid
- 打包–包含子目录及指定文件名
find ./prepub/ -name “match.json” | tar -cf match.tar -T – - 文件中找特定字符串
grep “content” /abc/..
打包-子目录内指定文件名匹配find ./prepub/ -name "match.json" | tar -cf match.tar -T -
Mac 本地IP地址查找。
ipconfig getifaddr en0
Mac加入ll命令alias ll='ls -lG'
压缩指定类型文件到foo.zip
zip -r foo 15Q3-20151102-CHONGQING-152/ -i ‘.json’ ‘.txt’
模糊查找,并打包到zoop.zip —
ls align/Record0/output/mid_output/_final_match.txt | xargs zip final_match
ls align/Record
识别结果打包zip并放到oss —
ls /Record/output/Result/json/*.json | xargs zip 376-result
ls */Record*/output/Result/common_files/pop.txt */Record/output/Result/json/.json | xargs zip 377-result
ls /Record/Collection/*.pof.before.smooth */Record/Collection/.pof | xargs zip 1428-pof
EvalAutoMergePoolExcutor
把压缩包里文件带目录解压到当前目录。
unzip xxx.zip
磁盘大小
df
查看目录下所有项目的大小:
du -h
du -h -d 1
查看指定目录下大小
du -h -s [special sub folder]
查看当前目录用量
du -h -s
对齐复制样例:
命令
nohup ./copyfile.sh /mnt/xmap_nas_prepub/prepub/raw/738/ /mnt/xmap_nas_prepub/evaluate/mtlalign/prepub/raw/738/ > /home/admin/738_copy.log &
fastcopyfile
查找是否有死循环(cpu >60%)
/opt/taobao/java/bin/jstack -l 2297 > jstack_2297.log
查看类型占用内存大小
jmap -histo pid | head -30
查看察heap中所有对象的情况
jmap -histo:live pid>a.log
dump 将内存使用的详细情况输出到文件(文件较大)
jmap -dump:live,format=b,file=a.log pid
/opt/taobao/java/bin/jmap -dump:live,format=b,file=jmapdump229.bin 2297
/opt/taobao/java/bin/jmap -histo:live 2217 > jmap3.log
可视化的查看堆内存
jvisualvm -J-Xmx8g
查看内存对象占用情况 (top30 的对象)
/opt/taobao/java/bin/jmap -histo 3410 | head -30
查看内存对象引用关系
1)jmap导出内存堆的镜像
/opt/taobao/java/bin/jmap -dump:format=b,file=dump.log 2824
2) 分析jvm堆的dump文件
jhat -J-Xmx1024M [file]
执行后等待console中输出Started HTTP server on port 7000,看到后就可以通过浏览器访问http://ip:7000
3)用jprofiler打开dump文件(命名为.jps 或.)
top
查指定进程内线程占用CPU情况
top -n 1 -H -p 【PID】
实时更新
查看内存占用
free -h
查看cpu情况
cat /proc/cpuinfo | grep “cpu cores”| uniq
top
算法容器k8s宿主机
11.22.252.189
kubectl exec -it xmap-server-prepub-backup2-gpu-8699bcfdfb-27xww bash
重启容器集群 — 删除pod, k8s自动重建
kubectl get pods -o wide|grep backup1 |awk ‘{print $1}’|xargs kubectl delete pod
kubectl get pods -o wide|grep evaluate |awk ‘{print $1}’|xargs kubectl delete pod
kubectl delete pod [容器名称]
kubectl delete pod xmap-server-prepub-backup1-cpu-5676c8659d-td4zk
kubectl delete pod xmap-server-prepub-backup1-cpu-5676c8659d-48g99
查看容器内是否有进程
kubectl exec -it [] bash
容器内 > ps -aux | grep admin
….
复制文件带目录层次结构
find [things] | xargs [do stuff]
find -name “.csv” | xargs cp –parents -t /target find -name “.pof_correction” “.rpp” “.txt”
获得平衡后结果 — 打包下载
find smooth/ -type f ( -name “pof_correction” -o -name “translation.txt” -o -name “*.rpp” ) | xargs zip 727_tx
find 1 -type f ( -name “*pof.before.smooth” ) | xargs zip 727_tx
快速删除一个目录下所有文件及子目录最快方法: x
创建一个空目录 empty
rsync -a –delete empty/ [清空目录]/
— 查看Mac OS地址
ipconfig getifaddr en0