shell下python脚本的输出转向

一个用python写的脚本,在本地测试的时候用python的print输出了一些状态信息,用于观测程序运行的状况。脚本自身比较耗时(中间故意设置了延时)。
在部署到服务器上后,需要后台运行,因此就想当然的转向输出到一个文本log中:
python script.py > output.log &
结果发现log文件一直是空白(程序在持续运行中),但正常应该是有文本记录的。结果网上搜索才发现,python脚本默认是在脚本整个执行完成后才输出的。(参考:https://unix.stackexchange.com/questions/182537/write-python-stdout-to-file-immediately/182542#182542
当然,知道问题后解决方案也很简单:
python -u script.py > output.log &

linux shell下处理web log

现在要将服务器的web log经过分析后将对应的分析结果保存到数据库里,因此需要在服务器后台自动运行,采用shell脚本进行处理,处理过程中遇到两个问题,将解决方法记录如下。

1. 合并昨日对应网站的web log

三个网站(中文版、英文版、专题版)的log记录要合并,而且现在为了保存更多的log,是将每个log按照日期的方式进行命令的,即:

website-access-20141225.log

但也有可能是.log.1的形式(之前是两个形式并存)。
因此需要在shell中获取昨日日期然后进行合并。在shell获取日期可以使用date命令,搜索后发现获取昨日日期的命令如下;

date –date=”yesterday” +%Y%m%d

或者:

date –date=”1 day ago” +%Y%m%d

然后就可以使用mergelog命令将所有的log合并。

2. 运行psql命令
需要使用管理员账号对数据库变更(用到copy命令),因此需要使用su切换到postgres账号并运行对应的sql。发现这个解决方法也比较简单:

su -c “psql db_name -f log.sql” postgres

其中-c就是运行指定的命令。

linux shell的代码执行问题

之前通过incron触发执行的一个wsn文件生成代码,据用户反馈,有很多情况下文件并未生成,因此思考是不是之前的触发脚本是不是存在不能的问题,因此就考虑重新修改代码。

之前的代码如下:

#!/bin/sh
cp /www/wsndata.sh /root/wsndata.sh
chmod +x /root/wsndata.sh
/root/wsndata.sh

怀疑就是执行/root/wsndata.sh未能并行执行多个实例,因此考虑引入临时变量。

#!/bin/bash
tmp=$RANDOM
cp /var/www/ftp2.westgis.ac.cn/wsndata.sh /root/wsndata-${tmp}.sh
chmod +x /root/wsndata-${tmp}.sh
/root/wsndata-${tmp}.sh &

后来发现第一行的sh和bash还有影响。

linux shell获取当前文件的时间

主要的目的是想用文件的创建时间给文件重新命令。这在从数码相机中导入录像的时候有用。

stat geoserver-1.6.5-bin.zip | grep Modify | awk ‘{print $2 $3}’ | cut -d”.” -f1 | sed -e ‘s/-//g’ -e ‘s/://g’

或者:

stat -c %y geoserver-1.6.5-bin.zip | awk ‘{print $1 $2 $3}’ | cut -d”.” -f1 | sed -e ‘s/-//g’ -e ‘s/://g’

用shell脚本导入landuse数据到postgis

全国的土地利用数据,80年代末,1995和2000年3期数据,ARCINFO COVERAGE格式,打算直接转入POSTGIS库中。
写了一个shell文件,花费了2天时间。主要是shell的东西是边看边写的,特别是变量处理,还真是麻烦。
运行shell文件要先进入到landuse目录,postgis里应该已经有westdc库,并且已经
进行了POSTGIS初始化,导入过landuse表,并且已经增加了areacode和year字段,不能为NULL,且默认为空值。
从avcbin格式到postgis库,因为数据表的关系,作了两次转换。提出了ARCINFO中的cov#和cov-id字段。

#!/bin/sh
# cd /opt/to_reback/data/landuse
tmpdata=./tmpdata
YEAR=”80年代末 1995年 2000年”
for a in $YEAR; do
for b in $a/*; do #province, 目录判断
if [ -d $b ]; then
rm -fdr $tmpdata
for c in $b/ld*; do # areacode, 县级区域
bb=`echo $b | sed “s/\///g”` # 去除/特殊字符,否则sed罢工
areacode=`echo $c | sed “s/\///g” | sed “s/$bb//g” | sed “s/ld//g”` #主要时间都花费在这儿了
ogr2ogr $tmpdata $c
ogr2ogr $tmpdata/poly.shp $tmpdata/PAL.shp -select area,perimeter,r_area,ln71,ln72,ln73,ln74,aftln,tm20,tm30,tm40,tm50,tm60,afttm,ph41,ph52,ph53,net
shp2pgsql -a -g the_geom -i $tmpdata/poly.shp landuse | psql -d westdc
psql -d westdc -c “update landuse set areacode=’$areacode’ where areacode=””
psql -d westdc -c “update landuse set year=’$a’ where year=””
# exit
done
fi
done
done