• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
导航菜单
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx
您的位置:首页 > 服务器 >云计算 > 使用AWS服务时注意时区的问题,aws服务注意时区

使用AWS服务时注意时区的问题,aws服务注意时区

作者:网友 字体:[增加 减小] 来源:互联网

本文主要包含aws gpu,亚马逊aws,aws的免费资源,aws ec2 收费,aws ec2虚拟机等服务器相关知识,网友希望可以进行参考

使用AWS服务时注意时区的问题,aws服务注意时区


最近来到了新的公司,搞起了AWS,会陆续记录一些AWS的东西。今天要讲的就是时区问题,说起来挺简单的,没有服务器跨国的估计注意的人没几个。
我们的EMR机器在US,而实际应用的服务器在CH,同事针对log进行的parser的时候发现实际用户的时间跟我们机器的时间总是有差异,而且排除客户端网络问题差异还挺大。 刚开始没注意,就以为是网络问题,我后来看了看还是。
以下是查找思路:
--服务器时间 大部分为04-26
select collector_tstamp :: date,count(*) from dev.events
group by collector_tstamp :: date order by count(*) desc;
2015-04-26	1012769
2015-04-27	16932

—设备时间 大部分为04-26
select dvce_tstamp :: date,count(*) from dev.events
group by dvce_tstamp :: date order by count(*) desc;
2015-04-26	938746
2015-04-25	90488
2015-04-27	174
....(小于100)


从两点上看会误以为没什么问题。
下面来看diff的数据:
select datediff(m,collector_tstamp,dvce_tstamp) as minute,count(*) from dev.events
group by datediff(m,collector_tstamp,dvce_tstamp) order by count(*) desc;
Minutes cnt
-480	949916
-479	24772
-481	17785
-478	8325
-477	4397
-476	3000
-482	2852
-475	2492
-474	2219
-473	1628
-470	1384
-469	1103


确认后日志轮转没问题后,检查了EMR程序,发现在调用python的time库时进行localtime的转化 EMR python script:
row['dvce_tstamp'] = time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(int(row['dvce_tstamp'])/1000))

所以问题就发现了。 RootCause: 本地代码上传AWS做时间处理需要进行timezone的指定
不指定的时候测试结果: 本地机器: >>> print time.localtime(1430378360) time.struct_time(tm_year=2015, tm_mon=4, tm_mday=30, tm_hour=15, tm_min=19, tm_sec=20, tm_wday=3, tm_yday=120, tm_isdst=0)
EMR机器: >>> print time.localtime(1430378360) time.struct_time(tm_year=2015, tm_mon=4, tm_mday=30, tm_hour=7, tm_min=19, tm_sec=20, tm_wday=3, tm_yday=120, tm_isdst=0)


--

分享到:QQ空间新浪微博腾讯微博微信百度贴吧QQ好友复制网址打印

您可能想查找下面的文章:

  • 使用AWS服务时注意时区的问题,aws服务注意时区

相关文章

  • Cloud Foundry service broker开发部署实例解析(下),foundrybroker
  • 在spark上运行独立程序(Self-Contained Applications),selfcontained
  • Elasticsearch之Nested Object Mapping,elasticsearch
  • logstash 学习小记,logstash小记
  • Linux系统只能连上内网不能够连上外网。Unit network.service entered failed state.,外网访问内网服务器
  • Hadoop 源代码分析(三)对象序列化,hadoop序列化
  • MapReduce实现倒排索引,mapreduce实现索引
  • 玩转OpenStack网络Neutron(4)--网络隧道技术 VXALN & GRE,openstackvxaln
  • 生源再增 欲促寒门出贵子,生源促寒门贵子
  • What's Wrong With Hue Oozie Editor?,hueoozie

文章分类

  • windows
  • 服务器硬件
  • 服务器运维
  • 云计算
  • 虚拟化
  • IIS教程
  • Linux
  • Apache
  • Ftp
  • DNS
  • Nginx

最近更新的内容

    • Hive学习笔记(二),hive学习笔记
    • 【Spark】Spark的Standalone模式安装部署,sparkstandalone
    • 【甘道夫】Spark1.3.0 Submitting Applications 官方文档精华摘要,spark1.3
    • Flocker浅析与Docker插件(3),flockerdocker
    • MapReduce排序及实例,MapReduce排序实例
    • Hadoop之——重新格式化hdfs系统的方法,hadoop格式化hdfs
    • 如何选择大数据培训机构,选择数据培训机构
    • 机器学习-组合算法总结,机器组合算法总结
    • 《转》openstack中删除虚拟主机,状态一直deleting,《转》openstack
    • NUTCH2.3 hadoop2.7.1 hbase1.0.1.1 solr5.2.1部署(一),hadoop2.7安装

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有