‘损失函数与优化算法’
神经网络的学习目的是找到使损失函数的值尽可能小的参数,解决这个问题的过程称为最优化(optimization)
基于BiLSTM-CRF的命名实体识别
推荐在日间模式下阅读
命名实体识别(NER)命名实体识别属于自然语言处理中的序列标注任务,是指从文本中识别出特定命名指向的词,比如人名、地名和组织机构名等。具体而言,输入自然语言序列 ,给出对应标签序列 ,见下图。
序列标注里标记法有很多,包括BIO、BIOSE、IOB、BILOU、BMEWO、BMEWO+等,最常见的是 BIO 与 BIOES 这两种。不同标注方法会对模型效果有些许影响,例如有些时候用BIOES会比BIO有些许优势。
在BIO和BIOSE中,Beginning 表示某个实体词的开始,Inside表示某个实体词的中间,Outside表示非实体词,End表示某个实体词的结尾,Single表示这个实体词仅包含当前这一个字。IOB与BIO字母对应的含义相同,其不同点是IOB中,标签B仅用于两个连续的同类型命名实体的边界区分。BILOU 等价于 BIOES,Last等同于End,Unit等同于Single。BMEWO 等价于 BIOES,Middle等同于Inside,Whole等同于Single。BMEWO+是在命名实体边界外的标注,即‘ O plus ‘。
命名实体识 ...
Attention is All you Need(Transformer)
十问Q1 论文试图解决什么问题?
该论文旨在解决自然语言处理任务中的序列建模问题。在传统的序列建模方法中,如循环神经网络和卷积神经网络,输入序列被顺序地处理或使用固定大小的窗口处理。这些方法在处理长序列和学习长期依赖性方面存在一些限制。
因此,该论文提出了一种名为Transformer的新型神经网络架构,它使用自注意力机制允许模型同时关注输入序列中的所有位置,并可以更高效地学习长期依赖性。该论文主要用于机器翻译和语言建模等自然语言处理任务,旨在提高这些任务的准确性和效率。
Q2 这是否是一个新的问题?
不是一个新的问题,但是一个新的方法。
Q3 这篇文章要验证一个什么科学假设
Transformer是第一个完全依赖于自我注意力来计算其输入和输出表示的转导模型,而不使用序列对齐的RNN或卷积。同时也要验证本文提出的Transformer性能优于其他模型。并且其中的参数大部分是不用进行调整的比如说损失函数。
Q4 有哪些相关研究?如何归类?
使用RNN层来完成Seq2Seq,使用CNN层来完成Seq2 ...
机试准备
头文件万能头文件
12#include <bits/stdc++.h>using namespace std;
完整头文件
123456789101112#include <stdio.h>#include <string.h>#include <math.h>#include <stdlib.h>#include <time.h>#include <algorithm>#include <iostream>#include <queue>#include <stack>#include <vector>#include <string>using namespace std;
I/O保留三位小数12345678while(cin >> n >> s >> m) { // 处理读取到的数据 cout << "n = " << n <& ...
网络安全概念
网络安全概念1 网络安全概述 包括广义网络安全与狭义网络安全。广义网络安全就是网络空间安全,是国家层面的。狭义网络安全就是我们常说的网络安全,是使网络处于稳定可靠运行状态、保障网络中信息以及数据的保密性、完整性、可用性的能力。
2 网络安全的发展历史 通信安全时期 -> 信息安全时期 -> 信息保障时期 -> 网络空间安全时期
3 网络安全常见威胁3.1 黑客 黑客往往是信息安全事件的发起者,通过攻击网络,获得游戏的信息或者丰厚的报酬。
3.2 漏洞 漏洞是一切安全问题的根源。
漏洞扫描过程:Ping扫描确定目标主机地址,端口扫面确定目标主机开放的端口,然后基于端口扫面的结果,进行操作系统检测,最后根据掌握的信息进行漏洞扫描。
3.3 勒索 勒索攻击过程如下所示:
3.4 信息泄露 信息泄露是当今网络最常见的信息安全事件,通过在用户设备植入木马,安装窃听设备等方式,黑客可以对收集的信息进行数据挖掘,从照片、电子邮件、视频会议和社交资料各类信息中分析个人的联系方式与行为。
3.5 DDoS攻击 利用D ...
代码笔记
语法123for(int e:num) //对num中的元素进行遍历(可用于遍历字符串)。## sort排序函数sort(nums.begin(),nums.end());
链表链表基本操作1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253#include <bits/stdc++.h>using namespace std;//定义一个结点模板template<typename T>struct Node { T data; Node *next; Node() : next(nullptr) {} Node(const T &d) : data(d), next(nullptr) {}};//删除 p 结点后面的元素template<typename T>void Remove(Node<T> *p) { if ...