每周的总结与记录

20190924

早上喝了利动乳果糖口服溶液然后吃早餐,到公司九点多感觉肚子疼。于是拉肚子了。中午说拉肚子了就喝粥吧,就去红荔村吃皮蛋瘦肉粥,结果吃完后回来肚子不停地咕咕叫,叫的特别厉害。而且肚子很涨,越来越胀,然后开始涨疼了。我一直想忍过去,但一直都还会涨疼,还喝了矿泉水,冷的,更疼。下午三点多4楼看医生,说我不应该吃皮蛋瘦肉粥,他说腹泻后不能吃蛋白质类的食物,牛奶都不要喝。只能喝白粥。然后开了左氟沙星和奥美拉唑。他妈的,我以为肚子胀可以吃皮蛋瘦肉粥这些,因为这也算粥,但不知道是不能吃的。

晚上十点终于把皮蛋瘦肉粥拉出来了,感觉轻松一点。以后再也不好喝皮蛋瘦肉粥了。

20191010

今天为了解决保存task result的task name花了很多时间看celery的源代码,也不断地尝试测试,收益很低,没有解决到问题。感觉看源码要有很强的专注力,而且要能记住很多各个不同调用的关系,不然看着就会发蒙,不知道自己要干什么。另外,Celery有些代码写着还是挺难懂的,比如说task 装饰品那部分代码。加上网络一直不稳定,尤其是连接国外的服务器。卡卡的很影响效率。然后tmux Pycharm这些工具用的不太熟练也对效率影响挺大的,要不停地去网上查文档。此外今天早上偶尔发现一个YOUTUBE的商机,偶尔看到了一个数据动态图,然后我觉得还是比较容易效仿的。最重要的是,收看率更好,而且貌似最近才兴起的,我看那些up主的历史记录都很短,最多也就半年多。

20191013

今天发现爬虫的airflow调度部署很不顺利,比我想象中遇到很多麻烦。主要是执行命令时候环境变量没有起作用。Python用的是默认的解析器。反正陆陆续续弄了两三天还没弄好。
今天还有一件事情挺让我生气的。下午电信宽带突然就抽风了,停网了一个小时,迫于没完成Airflow事情的压力,现在又上不了网了,感觉今天什么事情都没干成。不过后来,让我有些感觉柳暗花明又一村。那电信师傅告诉我挺多的,首先他让我不要用那个房间的路由器了,因为功率低,而且有线网络达不到两百兆。然后,他让我直接用路由器来拨号,厅里那个光猫就充当中继器的作用。这样不不会把房间的路由器作为一个二级路由。有钱的话可以在淘宝买个有光纤接口的路由器。

20191018

最近3天主要都是在搞Hive优化的工作,真是太难了,没有什么实质性进展,时间花费性价比很低。用了很多办法都没有实际性加快HQL运行的速度。主要是花了很多时间在Google搜索,然后各种查阅文档,然后尝试。包括在SO上发帖提问。
今天跟一面前同事霞琳吃饭饭聊天。收获还是挺多的,她说她已经收到了腾讯的Offer准备跳槽到。她是通过内推进去的。之前她也投过很多简历,很多也是石沉大海,也被不少公司面试后拒绝。有时候找工作真是要看运气。她和我不同的地方就是,她4月份就离开了一面,然后到9月份才开始工作。现在又拿到了腾讯的正式offer,真是苦尽甘来呀。不同的地方就是她大概经历了半年没有工作没有收入的压力,能够沉住气,这确实需要一定的勇气。而我找了一个月就来入职了。这点我还是非常佩服她的。
她说我可以参加一些分享会,认识一些行业内的人物。比如说她之前参加了TiDB的分享会,可以现场结识一些大牛。总结下来,就是找工作要运气,当然自身能力是前提。

20191021

到现在这个数据量,接近亿级的数量,明显感觉到服务器很卡,运行时间单位都是上小时的。不知道从哪里入手优化任务。即使是用spark on yarn,依然很慢。看个主机Htop的资源利用率并不高,50%都没有用到。不知道集群内部在搞什么,完全是个黑箱操作,我只能默默地等待着。哎,优化之路很艰难。最根本的原因我觉得还是我的硬件资源不够。有钱的话还是再买一台服务器好点,或者先加一16G内存也好。

20191212

这周花了些时间为Aiflow提交PR,也是没有什么进展,没有别被merge也没有被拒绝,有点心塞。其它的时间主要看了下新买的书
《Spark内核设计的艺术》

20191220

这一个礼拜主要是忙着面试的准备。在看了Kyligence的职位后,感觉无论是公司和职位都是我非常青睐的职位,所以这周
我花了很多精力和时间在准备来面试这个岗位,甚至准备了一个面试的PPT,在经过两轮面试后,还是待定,比较失落。导致我
现在没有什么心思干别的事情了。

20190105

这个礼拜主要忙于接收Offer,提交离职,准备交接工作。周五请同事吃饭,周六请客吃饭。周天打台球,
打羽毛球。

20200126

本周主要回家过年了。大部分时间都上YouTube追踪最新的武汉肺炎的疫情,国内的信息真是太闭塞了。政府一味地去隐瞒
真相,呵呵,和HBO拍的《切尔诺贝利》一模一样啊。
然后花了点时间看了看Spark Internal这书,不过效率不是很高。

20202016

回顾下昨天,昨天的一部分效率还可以,自己实现了一个gitlab backup程序。但是有一大段时间过得效率很低。
这是因为,要进行一个公司的在线技术测试。测试内容是Hadoop基础。首先要在内网上下载了一个很大的视频文件,
大概6G多。下载完后,让我感到失望的是,我在视频中收益与时间的比太低了,两段视频看了我3个多小时,都是一些
很入门我早就知道的内容,而且讲得很啰嗦。然后测试的题目质量也比较低,有的答案还是不对的。这让我很失望,
感觉让费我时间了。

上面这段经历只能说比较无奈吧,碰到这样也难以改变。下面,对这周做的事情,我还是有些东西可以总结的。首先,
整体上这周的效率都不错,入职第一周,全面大概地实操学习了KE,学到了很多kylin的思想和原理。

另外,在执行效率上,我发现了自己的一个问题。我不会平衡工作和休息,就是会很容易沉溺于寻思解决某个问题,
不能自拔。比如:在编写一段代码的时候,一直坐在电脑前,一坐就是几个小时,没解决完就不舒服。中途甚至憋着
尿也不愿意上趟厕所休息下。
还有一种例子就是:成功做完了某个事情,或说完成了当天的计划,但却不甘心,老是想着再来一点,再多做一些事情。
这种贪婪的心思导致让我又做在电脑前继续搞事情。
总结一下就是:不懂得如何达到平衡,而是一味地蛮干。不懂得休息,这很可能会对自己身体造成损伤,我后面几天
坐久了就又开始屁股痛了。前两天坐久了就休息下,换个姿势,点点眼药水,这对屁股眼镜都好。
其实,如果不懂得寻寻渐进,一味地沉溺于某件事不能自拔,这看似很努力,但很可能是丢了西瓜拣芝麻。并不是一种
良性循环。
解决问题的方案:我想尝试一下番茄工作法,比如每工作30分钟休息5分钟,看看效果。