虚红实绿吧 关注:33,185贴子:2,905,361

「坂道大数据」基于笔组微博的初步数据挖掘

只看楼主收藏回复

昨日偶然回帖发现吧里还是有挺多人对国内的坂道相关数据很感兴趣,就在昨天的基础上一口气爬了笔组的所有微博,今天结合专业知识做了一点粗浅的分析,将结果呈现出来供大家讨论。
我所爬取的笔组的微博一共5113条,不排除会少几条,因为为了防止被封,我没有登陆我的微博账号,这样爬虫时可能会有少量的微博爬不下来,不过这样的微博不会超过5%,影响不大。
然后必须要声明的是:
1、本帖纯属个人爱好,只为客观呈现数据,所有微博的版权都属于顶笔Ten使字幕组,本人只是非营利性使用。
2、本帖只是初步挖掘与分析,所有内容基于Python和R语言完成,没有什么特别的技术含量,但是也费了一番功夫做data tidy,请各位尊重鄙人的劳动成果,如有转载请注明出处。


IP属地:北京1楼2020-08-09 20:58回复
    第一部分是分析笔组微博本身的热度。
    首先我们按照某种指标对每条微博的热度进行打分(这个打分标准为本人定义,如有更好的方案欢迎大家提出):
    我认为会评论的大都算是活跃核心粉丝,赋3分;
    而转发可以将该条微博扩散出去,一定程度上可以提高热度,赋1.5分;
    至于点赞则是随手一点,本人认为贡献最低,赋1分。
    最终得分排名前三的微博是(已去除纯抽奖微博):
    1) 久保史绪里超话 via utb乃木坂46三期生·久保史绪里将首次单独登上本月的「utb」封面她上次拍本杂志的个人写真,正好是3年前的Vol.257(2017年7月发售)的时候。当时,三期生还没有个人blog,而是接力的形式。由于拍摄日碰巧轮到她负责blog,她很快就发表了拍摄的事「今天有想要告诉大家的事情! ! ...全文
    2) 久保史绪里超话周刊少年champion 组内自扫
    3) #久保史绪里# 为了祝贺我们绪签约Seventeen专属模特,我们组准备抽10人送出08/01发售的9月号Seventeen。发售日抽。僵尸重抽附上这次绪儿07/27博客的情到深处。@微博抽奖平台 ——————————————————————————————————因为关注你的人自然会见证你的成长,我非常喜欢这句话。为什么付出了诸多的努力却没有人青睐,明明自己在人看不到的地方那么的努力,或许有人存在这样的想法。但是,我觉得当怀有这种想法的时候、就是在要求得到回报。我已经决定不再这样想。努力是快乐的。并不是固执地去认定、而是我真的乐在其中。因为,大家都在注视着我不是吗。我也在看着大家。看到大家每天都在拼尽全力的活着。让我们互相一起加油吧。为了大家的脸上能绽开笑颜,我会努力登上这条名为坂道的长坡。


    IP属地:北京2楼2020-08-09 21:01
    回复
      排名4-6名的微博:
      4) 久保史绪里庆贺吧!乃木坂46三期生久保史绪里,今天就十九岁啦! 这一年以来, 她登上《graduation2020高中毕业》封面,告别了12年的学生时代; 她担任主演与座长,带领美战音乐剧剧组来到上海,为我们带来了难以忘怀的三天; 她成为了心心念念的乐天Eagles Girl,得偿所愿,为故乡的球队应援; 她在25单三期曲《每天都是Brand New Day》中担任C位,有幸站在了最前方; 这一年以来, 从神宫到上海梅奔,从代代木竞技场到名古屋巨蛋,她的歌声如黄莺出谷、余音绕梁;从去年8月开启的宫城•仙台绪行记第二季,到刚刚过去的乃木坂46小时TV,她不仅一举一动都青春洋溢、魅力四射,言谈之间更是妙语连珠、应对如流——从舞台到荧幕,久保史绪里都用自己的努力和行动,让我们看到了她的实力与成长。 为了庆祝久保史绪里的19岁生日,我们将从关注本应援会账号并转发本条微博的粉丝中抽取1名,送出一份应援会特制水手月亮书签,愿我们和绪儿能一直凝望着同一轮明月,希望各位能继续支持久保史绪里,和我们一起继续为她应援! 抽奖详情
      5) 久保史绪里超话 乃木坂25单 三期生曲『每天都是Brand new day』 B站链接:网页链接顶筆TEN使的微博视频
      6) 久保史绪里超话 恭喜史绪里重回选拔 新的位置 新的开始 抽一张残美舞台剧BD让我们一起看看久保无双也希望有人想参与这个舞台剧熟肉制作可以加入我们发售那天抽 顺丰到付感谢 @gtropos 提供奖品*一切解释权在笔组 抽奖详情
      7) 久保史绪里超话#久保史绪里手机博# 2019.1.5 20:01「最喜欢东北了」其实稍微回东北探亲了一阵子。我最喜欢的地方。下雪了。因为很想看雪所以很开心。也去了山形。啊ー东北最棒了!最喜欢啦!和猫猫一起出门了1分钟左右,就从头到脚都盖满了雪呀。
      8) 久保史绪里超话 FLASH Special 2020年早春号图源感谢:@远藤樱应援会
      9) 久保史绪里超话 久保帧饭解说版三番目の風music videob站:网页链接顶筆TEN使的微博视频
      10) 久保史绪里超话 「BLT 高校卒業graduation」久保史绪里part1图源感谢:bb
      可以看出基本都是对绪儿具有重大意义的时刻和一些包含图片视频的微博。


      IP属地:北京3楼2020-08-09 21:02
      回复
        接着按月计量绘出微博综合热度推定值,毫无疑问绪儿字幕组的热度稳步上升,而且现在正值巅峰。因为八月刚开始所以曲线最后会有大下滑,并不奇怪。


        IP属地:北京4楼2020-08-09 21:05
        回复
          万分感谢,辛苦了


          IP属地:广东来自Android客户端5楼2020-08-09 21:05
          回复
            当然这个推定综合热度会受到字幕组当月发博数的影响,毕竟有人看到微博就点下赞,所以还统计了平均值。

            可以发现这个平均值简直完美的符合绪儿的偶像历程:
            入团——仙女时期,人气稳步上升
            18年——病休前后,人气反复,毫无疑问丢失了一部分粉丝
            19年至今——回归后绪儿用自己的努力与真诚重新赢回粉丝,人气一路上涨


            IP属地:北京6楼2020-08-09 21:06
            回复
              厉害了


              IP属地:上海来自Android客户端7楼2020-08-09 21:09
              回复
                来康康


                IP属地:湖南来自Android客户端8楼2020-08-09 21:10
                回复
                  第二部分是分析绪儿的手机mail。
                  2018.3.23 第一封手机mail
                  2018.7.27-2018.10.1 因病休手机博关闭共66天
                  2018年 772封/217天=3.56
                  2019年 1117封/365天=3.06
                  2020年 843封/214天=3.94
                  合计2732封,平均3.43封/天
                  可视化如图,将每年划分为53周,统计每周平均的mail数绘成下图。

                  可以发现绪儿的mail数十分稳定,除了代表2018年的蓝色曲线在28-40周因病休有断层,其余基本每周都在20封上下,算是挺勤劳的。更值得可喜的是,代表2020的紫色曲线在30左右的水平上达到了平均,可见绪儿这几个月的手机博反而发的更勤了,这是好事,因为手机博是真的能稳固粉丝群体和吸引新的粉丝。


                  IP属地:北京9楼2020-08-09 21:13
                  回复
                    另外在笔组发的所有手机博中,带有完整时间戳的手机博共有2559条,接下来的分析全部基于这些带完整时间戳的数据。
                    将这部分数据标定到2020/1/1日后只研究单日内的小时分布情况。

                    可以发现绪儿早上发博数量明显小于晚上,当然晚上可能工作安排少也有关系,不过结合她经常十一二点发个早安,似乎很合理。总的来说,绪儿在每天晚上回家以后还能想起粉丝,大量的手机博都分布在21时左右,还是挺好的。
                    继续研究绪儿手机博的星期内分布。

                    发现绪儿基本每天发的手机博数量都相同,是个勤奋的好孩子。周四突出些,而周六毕竟休息要少一点也可以理解。


                    IP属地:北京10楼2020-08-09 21:16
                    回复
                      第三部分是重头戏,我们对绪儿的手机博进行文本挖掘,主要思路是中文分词后进行词频分析同时词云可视化。首先进行繁转简,然后将乃团成员的名字作为新词加入用户词典,使得程序可以自动识别乃团成员的姓或名。然后进行分词,同时去除诸如“如果”、“稍微”这样的连接词和副词,得到的前30名如图所示。


                      IP属地:北京11楼2020-08-09 21:17
                      回复
                        然后是生成的词云图,背景蒙版我用的是自己扣的一张绪儿最近的杂志图,写代码我还凑合,抠图我就不专业了,大家凑合看,显然可见的喜欢无需多言,大家都懂。

                        原图如下:


                        IP属地:北京12楼2020-08-09 21:19
                        回复
                          当然我知道你们更感兴趣的是绪儿提到成员的次数,我要说明的一点是,我并不是特别清楚笔组对一些成员的昵称是如何翻译的,比如阿山、阿梅这种我知道的我加进了词库,不知道的我就没办法了。还有很多时候笔组对于特定成员,会翻译成与田家的祐希,这样与田和祐希就被各统计了一次。因此这个结果不一定准确,只能作为参考。前40名如图所示。总的来说,还是比较符合平时绪儿的团内关系给人的印象,三期基本都榜上有名,二期主要就是日奈子超高分,四期就是mayu。


                          IP属地:北京13楼2020-08-09 21:20
                          收起回复
                            完结撒花!
                            后续如果有可能的话,可以尝试对每封mail做情感分析,得出绪儿的情绪曲线,不过这玩意需要稍微有点算力,等我回学校再说吧。还有其他字幕组的分析我可能不会做这么多,应该只会做到第一步,也就是只统计字幕组微博本身的热度(也许宝宝的字幕组我也会分析下手机博),慢慢来吧,毕竟还要写论文。
                            数据整理不易,各位大佬看着回复下呗,鄙人感激不尽。


                            IP属地:北京14楼2020-08-09 21:22
                            回复
                              tql,辛苦


                              IP属地:上海来自iPhone客户端15楼2020-08-09 21:29
                              回复