有一段时间没有来写博客了，刚打开csdn就发现收到一条消息，有个博友评论了我的博客，工程管理自学计算机，这个世界永远不缺少努力前行的人。先讲技术，再讲故事。

---

技术相关

一. 大数据

冬令营对大数据的整体概念有了一个初步的了解，主要分为了两个大数据流程，我们只接触了一种：
1. 大数据分析
数据获取—>数据清洗—>机器学习—>数据可视化
2.大数据应用
数据获取—>数据清洗—>机器学习—>实时应用
两种流程的区别：

• 分析流程是做周期分析，周期性获取整体数据处理学习，对数据可视化处理后为公司相关的部门或者合作者，经营人员等提供有效的数据支撑，为公司制定高效的计划方案提供帮助。
• 应用流程则是要求实时的对数据做出分析，进行机器学习，结果数据立刻投入使用，例如实时分析路况，实时推荐商品等这类型工作，这对实时性的要求很高。
• 所以上述两种流程所用技术并非一致，我们学习的是分析流程的相关阿里云产品服务的使用技术。至于应用流程，可能会需要掌握开发相关的一些大数据的框架（Hadoop等），这次冬令营并未涉及。

二.大数据云解决方案

这次冬令营主要学习的就是阿里的大数据云解决方案，这套解决方案包括了以下产品：云数据库、MaxCompute、PAI、QuickBI。
这套解决方案提供全套大数据分析流程的服务，粗略计算中小企业的数据分析成本，一个月起码可以节省数万到数十万，甚至更多的成本。

• 云数据库
  这一产品相信大家非常熟悉了，和云服务器一样，就是云端的一个数据库，提供远程访问罢了。
• MaxCompute
  这个产品就有点了不起了，作为数据清洗的平台，提供了强大的计算力。我记得不是太清楚了，貌似处理10PB(1PB=1024TB)数据只要10分钟。可以使用类SQL语句（有些不同需要看官方文档）对云数据库中的数据进行导入处理，也可以上传jar包，python代码进行处理，我们只用了sql语句来处理。
• PAI
  这是个封装好机器学习算法的中间件，可以选择MaxCompute中处理好数据表，通过拖动算法节点，配置算法相关关键参数，便可以进行机器学习数据流程，可以说，你只要知道相关算法的作用，和所需的一些参数，无需知道其实现过程即可使用。
• QuickBI
  这个工具也是非常的强大，提供了丰富的图表选择。就像excel做柱状图，饼图的流程一般，选择Maxcompute和PAI处理好的数据表，选择好图表类型，调整好相关维度和度量即可生成各种丰富的图标。甚至提供了数据图表展示的门户网站，可以通过鼠标点击，即可编辑好展示网站的结构。供随时访问查看。

对于这整个过程以往公司需要租服务器，招聘各环节开发人员，使用这个整套产品则只需2-3人即可进行。

三、团队和项目管理

这次冬令营项目，我并未担任组长之类的角色，安心担任一个团队技术人员，虽然最后项目算是有些失败，可是这不妨碍我对团队和项目管理方面的观察和体会。

总结出来以下几点：

1. 开始之初，明确分工很重要。在进度管理和责任追踪方面提供巨大的帮助。
2. 团队中必须要一个人心无旁骛负责管理，包括需求管理、进度管理、协调交流工作。
3. 如果需要答辩、销售等对外展示，可以有使用一个技术核心人员+展示人员的配合协调共同参与展示。如果要求只能由展示人员去做展示，那么这个展示人员也必须心无旁骛，在管理人员的协调之下与开发、需求分析人员深入交流。避免出现需求偏离、需求不清晰的情况。

四、聊聊爬虫、清洗、可视化的事

1. 爬虫
期间使用python的requests+bs4+selenium+ThreadPoolExecutor实现了个初步的爬虫，可是因为要驱动浏览器，其效率和对电脑资源量的需求，注定其不能成为我的最终方案。
再仔细分析网站后幡然醒悟，长时间不写爬虫，导致自己的大脑变懒了，在通过抓包拿到网站的数据接口后便是一马平川。抛弃了selenium，策马奔腾。可是欢乐时光总是短暂的，高并发的多线程爬虫几乎是秒挂，IP瞬间被封。只能加休眠时间，扔云服务器跑一夜了。
2. 清洗
冬令营期间，我闲来无事爬了3年新闻联播的文本，利用jieba的自定义字典功能，对文本进行了一系列的分词处理。在jieba的使用上学到的还是挺多的。
3. 可视化
可视化则是我对分词结果做了个简单的词云处理，利用了WordCloud库来处理，功能强大。向造轮子的大佬致敬。

---

我有故事你有酒吗

距离上次写博客大概已经过去了一个月的时间了，因为一些事情导致自己无心去写博客，时间会治愈好心伤，这就是句屁话。因情而伤，难以忘却，再不想体验被发好人卡的感觉。那句:痛了吗？痛了。成长了吗？成长了。可不是句玩笑话。

尽孝

不果断是最大的失败，不决绝是最大的遗憾。嘴上这么说，我真能那么决绝吗？带着伤与疑问，期间回了一次家，那是元旦了，为了给外婆过大寿生日。知子莫若父母，我不愿多说，他们也不多问我。只是感叹我的成长。给外婆过寿，尽晚辈对长辈的一份孝心，磕头行礼让我真切感受到了礼孝多么的重要，尤其是看到外婆的笑脸，感受就更加真切了。

骑行

元旦回家时看到了冬令营的通知，我几乎下意识的去报了名，不为其他，希望能找个地方散散心。元旦过后，已是2号，不觉距离提交冬令营申请要求已经超出了3天，也不知能不能申请上。7号期末考试如期进行，我几乎没有去看任何人，只管好我的试卷。写着试卷，心已远去。
上海，骑车去吧。心中就这个想法，写到这里还是得感谢一下阿俊，说实话挺意外，可能很久没联系了，有些感慨。感谢阿俊的安慰和热情，虽然最后因为冬令营，去上海的计划泡汤了，不过估计开学前还得麻烦她，算提前感谢了吧。有梦就去追，可能我以前不太够坚定吧。而这个梦就是318了，希望能遇见那个去追梦的自己。
8号，一条短信发到了我的手机上，冬令营13号开营报道也进入了我的日程安排。我匆匆给还在备考期末的阿俊发了信息，阿俊也爽快的回复了我，接下来几天便是泡在图书馆中的日子，舍友一个个离开，9号，阿程回家了。11号，阿焱去了泰州，希望他行程顺利。12号，阿侗也去了他姐夫家，最后走的阿侗，我并没有在他走时打招呼，那天早上带着些许装备的我，乘着不下雨出去骑车了。出门前跟阿侗道了别。去麦当劳点的还是那个套餐，只不过不是双人份了。
环阿承湖，全程大约20公里，我用了一个小时，全程感觉还是不错的，有些累，但还是可以接受的。回到宿舍时，阿侗已经走了。吃了饭，把车水洗擦干，链条花鼓重新上油，放在宿舍。整理行李，与同去冬令营的阿文联系好，便早早睡去了。

---

江湖路远

出发

13号一早，收拾好行李，不顾形象地边走边啃着面包到了车站。见到了早已在车站等候的阿文和阿扬。阿文我早已认识，在简单介绍后也与阿扬熟络了起来，阿扬是计科的，擅长c与汇编，性格也是非常随和，带着眼镜，1.7多的个子，不瘦不胖，聊天时也是金句频出，逗比的本质显露无疑。简单的交流后便一起坐上了车，由于前一天骑行加之睡眠质量不是很好，在迷迷糊糊的听着阿扬和阿文讨论技术中睡着了。醒来之时已然快到目的地，阿扬和阿文依旧谈兴很浓，我也加入其中吐槽了一下去年的暑期实训，阿扬对他们的实训地点条件表示了十分的不满。也不知此次冬令营的住宿条件如何，对于我这个想散散心的人来说也没多少讲究。
到了车站，马不停蹄上了前往大学城的直通班车，车上聊着天，阿扬表示自己不太喜欢吃肉，
我则表示很乐意请阿扬这种人吃饭，阿文打了个哈哈:那之后肉都我们分了… …
到了常大，看了地图，直奔宾馆而去。宾馆一楼大厅早已有迎接的人员等着我们，交了个人材料，领到了一袋子东西(餐券、工作牌啥的)，办了入住等级，领了房卡直奔房间。宾馆是标准的两人间，阿扬和阿文住一间，我则暂时一个人一间。放置好行礼，看看时间，11.45左右拿好餐券就去吃饭。摸索到食堂，15块的标准餐券相对于在学校，吃的已经算是奔小康了，两荤一素一汤。关键是啥，是不要钱。颇有种翻身农奴把歌唱的感觉。吃完饭我们便把常大逛了一圈，条件设施都不错，校园也很漂亮，起码我们学校要好的。不过之后听本校的朋友说宿舍不怎么样，也不知具体如何。一路逛，阿扬和阿文聊着多线程爬虫的事，我也偶尔插上两嘴，貌似阿扬遇到了理解上的误区，再几天之后，和阿扬详细交谈相关技术后，他也豁然开朗。当然，关于这个技术问题，我也会在技术篇谈。

有朋自远方来

回到宾馆，便是开始了自己的事，阿文带了10本左右的技术书(spring、linux为主)，疯狂学习，阿扬后来告诉我他是在这样压力之下，没办法也只能一同学习。果然近朱者赤，近墨者黑。我则是边翻看着Vue的官方文档边等着阿魁跟我同一个学校，之前我们并不相识，到了下午4.多阿魁来到了宾馆，人如其名还是比较魁梧的，带着眼镜和耳机，稍作寒暄后一同吃了晚饭。在之后几天，我也听到了阿魁的故事，踏江湖路，一壶酒，往事皆在笑谈中。何处不是江湖呢，有人的地方便是江湖。
第二天，一早在宾馆吃了自助早饭，还是相当丰盛的，鸡蛋包子咖啡牛奶基本都有，吃完听了一上午无聊的开幕式后，下午便开始了课程，老师首先是问了问大家对sql语句的掌握情况，我一声叹息，数据库没有好好学，触发器、储存过程啥的基本都还给了老师。可是万万没想到啊，很多人表示不会SQL，一开始我还以为大家都是大佬，保持低调。结果在晚上的团队破冰会上，还真是一半多人都不会sql。破冰会开始之前我并未见到我们小组的成员，当然除了阿文。
晚上破冰会开始，第一个任务便是找到自己的团队成员，我们在群里拍了照，顺利的在会场找到了彼此，另外三个成员都是来自淮工，阿凡、阿政、阿鑫，见面后分别握了手，寒暄几句。经过一晚上的活动，取队名、设计队旗啥的（起名字、想口号的确是个另人头疼的事情），算是有了个初步的认识。我并为去做组长，不过也正是因为没有去做组长，我收获到了我想学习、了解和知道的东西（有关团队管理和项目管理的一些经验）。队旗上我们用各种语言（C、C++、python、php、js、R等）写了输出函数，也算是致敬了编程之初的那句hello world。很多人学成之后会略带嘲讽的说句hello world。殊不知，正是这句hello world让他领略了更大的世界。

学习&合作

接下来的几天便是在学习中度过，期间还考了几张阿里云大学的云技能认证，要说正真学到了什么，就总结一句，复习了一下sql基础语法，学会了用阿里云的产品使用。无聊又充实的度过几日后，便开始了选题和最后答辩项目的完成。我和阿文合作还算是非常到位的，我负责数据爬取和初步清洗，他则是负责数据清洗和报表制作，阿凡负责ppt的制作和相关答辩的工作，阿政和阿鑫则在算法设计和图表设计上做出了一定的贡献。
期间经历了避免不了的熬夜，利用两天晚上的时间敲完千行的python脚本，与团队成员交流讨论。阿魁对熬夜的行为有些不是太能理解，看出来也对技术没有和我们一样的热情，可能是跟他学习计算机的时间并不长有关系，我和阿文、阿扬都多多少少对技术有一点偏执的追求，虽然阿文一直说他只是个混子，可是每当谈到技术，基本都是滔滔不绝。
最终在项目预答辩中出线，可是倒在了8进6的道路上，离那张获奖证书也就一步之遥。心有不甘又无可奈何。对200多万条数据的分析，可以说是所有团队中数据量最大的了。这里还要感谢一下阿霞，我们团队的答辩视频，是我委托她做的，她也是我的小工作室的成员之一，她没有去参加冬令营，抽空帮我剪辑了视频。
失败原因是多元化的，最终心有不甘的我也去问了老师失败的原因，首先他肯定了我们组的技术优点，比之最终排名第一的项目团队甚至有过之而无不及，输就输在答辩表达上，没有将做的东西完整清洗地展示出来。我仔细考虑，这个失败原因只不过是表象而已，追根溯源可以从团队结构、项目管理、成员配合上找出原因。这里不多阐述了，放技术篇一起讲了。

莫愁前路无知己

10天是非常短暂的，时间转瞬即逝。就像我在冬令营总结里写的那样：江湖路远，我们有缘再见。期间阿凡他们都喊我和阿文，飞哥文哥，我只是恰好掌握python的一些脚本技术，也算是承蒙各位的抬举。套用阿文的一句话——我就是个混子。阿凡是努力负责的，不必多为答辩失败过多的自责。
22号晚上，吃了全体的聚餐。阿鑫作为来自东北的长春人深刻吐槽了一下南方的寒冷，今年他也不回家过年了，在连云港和亲戚一起过年了。聚餐的时候跟我交流了一下python的技术发展的走向，我把我的见解告诉他，爬虫–数据相关–机器学习库–数据可视化、web基础–Django、爬虫–拆轮子–造些有意思的轮子，目前我的思路就是这样。正如我之前说的那样，我也就是个混子hhh。
23号中午，我们匆匆收拾好行李，与团队成员道了别，离别经历的多了，似乎有点麻木了。阿凡之前想中午请客吃饭的，可是因为阿文车票时间安排的问题，也就帮阿凡省省钱了。道一声江湖有缘，自会再见。匆匆赶到车站，我、阿文、阿扬一起吃了最后一顿在常州的中饭。最先走的是阿文、然后是我、最后是阿扬。认真的道别，道声年后再见，各自回家。

---

说毕

写完这篇总结已是30号，昨天堂姐也结婚了~先祝她新婚快乐。也提前祝大家新年快乐了。
不觉中洋洋洒洒的写了5000多字，各位，江湖路远，咱们有缘相见，只是不知相见之时你有无美酒，听我这江湖人说一说故事。