instagram首次推出两大反网络暴力功能社交平台、短视频平台等公共

社交平台、短视频平台等公共网络场所，已经成为网络暴力行为的高发地。

文章图片

文章图片

在刚结束的冬奥会上，就有不少人通过网络平台的评论和私信功能，对冬奥选手进行诋毁、侮辱攻击、散布不实谣言，对冬奥观赛和社区氛围造成了极大的伤害。
事实上，网络暴力由来已久。
由于网络暴力往往处于灰色地带，大部分暴力行为都尚未构成诽谤和侮辱，因此很难对网络暴力实施者处以刑罚或者行政处罚。
网民的言论只要不超越法律底线，有权自由发表言论。
为了应对网络暴力行为，全球大多数的社交平台都采用了言论投诉、评论过滤、评论/私信关闭、好友关注过滤等功能，在一定程度上缓解网络霸凌的问题。
但限制性的功能类似于黑名单，并不能完全将网络暴力扼杀在摇篮，只能在恶意语言/图片/视频出现后进行封堵，不幸的是负面影响已经扩散开来。
那么，能否采用技术的手段从源头就识别网络暴力行为呢？
01以AI技术制止网络暴力，成为全球研究者共同的选择
2016年，以“贾斯汀·比伯退出Instagram”为导火索， Instagram首次推出了负面评论过滤功能。之后， Instagram还通过机器学习来处理含有攻击性信息的照片。
2019年， Instagram又推出两大反网络暴力功能，即言论提醒和自主选定黑粉功能，用来帮用户抵制网络暴力。
其中，言论提醒功能利用AI技术，在冒犯性言论发表之前，向发言者发出提醒。比如：当某用户输入了“你又丑又蠢。”并点击发布时， AI会发出“请为Instagram保持一个友好环境”的提醒。

文章图片

文章图片

“通过获得这种干预，人们有机会反思和撤销他们的评论，使收件人避免收到有害评论通知。”Instagram主管AdamMosseri表示， “经测试，我们发现这项功能确实有引导作用，能使一些用户撤销评论或修改评论内容。”
近日，抖音也推出了类似的防网暴功能，并升级为AI技术和人工审核相结合的方式，对违规用户进行引导和帮助。
当用户发布违规或低质评论之后，抖音会对该评论进行模型匹配和校验，用户会立即收到评论弹窗警示，提示“该评论可能对他人造成负面影响” ，给用户一个回心转意的机会。
当然，弹窗可以跳过并继续发布评论，但将不会被其它人看见，此时评论会进入正常审核逻辑，真正的违规评论依然会被处理。
此外，抖音在防网暴系统中还新增了名为“心情暖宝宝”的平台助手。
如果用户多次违规发布私信、评论， AI算法可以自动匹配触发“心情暖宝宝” ，用消息对话尝试缓解用户的抑郁情绪，甚至引导用户去人工求助、线下就诊。

文章图片

文章图片

此外，用户也可以自主在推荐、搜索、评论等场景减少负面内容推荐。
【instagram首次推出两大反网络暴力功能】除了识别谩骂/骚扰信息等明显的负向内容，如：反讽攻击、答非所问、垃圾广告导流这类“阴阳怪气”的内容，在不同讨论语境下也会引发不同情绪，这更为AI算法识别带来了极大挑战。
对此， 2018年知乎就通过AI技术尝试处理阴阳怪气的言论。“瓦力”作为知乎社区治理的算法机器人之一，能在0.3秒内识别判断内容是否为不友善、答非所问、阴阳怪气等多种需被折叠的答案。