摘要：词法分析它是编译过程的第一个阶段。可以使用等自动化词法分析工具，来帮助我们完成。在中，使用的词法分析器是，语法分析器是。其实进行词法分析和语法分析并生成某种数据结构的过程，就是一个解码的过程。
baiyan
全部视频：https://segmentfault.com/a/11...
原视频地址：http://replay.xesv5.com/ll/24...
基本概念在PHP7中，当一个脚本运行请求或到来时，PHP代码首先会被加载到内存中，随后进行词法分析和语法分析并生成抽象语法树（AST），然后进行深度优先遍历并生成opcodes，并在zend虚拟机中执行这些opcode，返回最终的执行结果。
词法分析：它是编译过程的第一个阶段。这个阶段会将代码从左到右按字符扫描并读入，然后将代码划分成一个又一个的词法单元（token），方便后续的语法分析以及编译优化等操作。这就好比用菜刀去切一块肉，将这块大肉切分成一小块一小块肉，方便人们后续食用。可以使用Re2c、lex等自动化词法分析工具，来帮助我们完成。
语法分析：语法分析是编译过程的一个逻辑阶段。语法分析的任务是在词法分析的基础上将词法单元token，组合成各类语法短语，如“程序”，“语句”，“表达式”等等，它能够判断源程序在结构上是否正确。
在PHP中，使用的词法分析器是Re2c，语法分析器是Bison。
其实进行词法分析和语法分析并生成某种数据结构的过程，就是一个解码的过程。
之所以需要做这种从字符串到数据结构（AST）的转换，是因为编译器是无法直接操作“1+2”这样的字符串的。实际上，代码的本质根本就不是字符串，它本来就是一个具有复杂拓扑的数据结构，就像电路一样。“1+2”这个字符串只是对这种数据结构的一种“编码”，就像ZIP或者JPEG只是对它们压缩的数据的编码一样。
这种编码可以方便你把代码存到磁盘上，方便你用文本编辑器来修改它们（对人友好，方便人们编写代码，但是对编译器不友好），然而你必须知道，文本并不是代码本身。所以从磁盘读取了文本之后，你必须先“解码”，才能方便地操作代码的数据结构。比如，如果上面的Java代码生成的AST节点叫node，你就可以用node.operator来访问加号ADD，用node.left来访问1，node.right来访问2。这是很方便的。对于程序语言，这种解码的动作就叫做parsing，用于解码的那段代码就叫做parser。
关于语法分析与词法分析的具体概念解释，这篇文章写得较好：对 Parser 的误解
我们先利用PHP内置函数token_get_all()来取出一段PHP代码的token：
打印结果为：
Line 1: T_OPEN_TAG ("观察以上结果，可以看有OPEN_TAG/VARIABLE/WHITESPACE等等词法单元token。
如何取出token
那么让我们你自己去设计一个算法，从一个字符串中识别并取出token，应该怎么做？
使用两个指针，一个标记开始位置，一个往后挪，然后回溯。（较麻烦）
使用正则表达式进行匹配
当用较简单的字符串匹配正则表达式的时候，可以用人眼很容易地看出来。但是如果用很复杂的字符串（成千上万行代码）去匹配一个正则，是相当麻烦并且非常慢的，编译原理中提出了这样一个概念用以解决这个问题：有穷状态机。
有穷状态机：必须有一个起始状态，用一个箭头加圆圈表示；也得有一个结束，用两个圆圈表示。 如果满足某个条件，就会从一个状态跃迁到另一个状态，也用箭头来表示。
例：观察下面这个正则表达式：
(a|b)*abb根据这个正则表达式，我们可以画出它的有穷状态机：
- 对于a，只能到状态0或者1，不能到达结束的3，所以不匹配 - 对于abb，第一个a可以使状态0跃迁到1，第二个b可以从1跃迁到2，最后一个b结束，所以匹配 - 对于aabb，第一个a可以选择从0跃迁到0，第二个从0跃迁到1，后面两个b同上，匹配 - 对于cabb，第一个c就无法满足，不匹配这里有个问题，输入第一个a的时候，可以从0跃迁到自己，也可以从0跃迁到1，所以这种状态机就叫不确定有穷状态机（NFA）
NFA是有缺陷的，比如aabb，有可能一直从0跃迁到0，共重复了4次这样的操作，也没有到达最终的结束状态3。这就会导致本应该符合匹配要求的字符串，在不确定有穷状态机中，错误地被判定为不符合匹配要求。解决此问题的办法就是将不确定有穷状态机转化为确定有穷状态机（DFA）。
这样一来，一个确定的输入就对应着一个确定的输出（假设如给一个a，一定跃迁到1；给一个b，一定跃迁回0），不存在歧义问题。
但是，将一个NFA转化成DFA是相当复杂的，所以有工具已经为我们做好了这个事情：Re2c。你只需要输入一个正则表达式，就能够为你生成一个确定有穷状态机（DFA），在Re2c工具中以C/C++代码体现，详情见：re2c中文手册
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/31326.html
摘要：此文用于汇总跟随陈雷老师及团队的视频，学习源码过程中的思考整理与心得体会，此文会不断更新视频传送门每日学习记录使用录像设备记录每天的学习源码学习源码学习内存管理笔记源码学习内存管理笔记源码学习内存管理笔记源码学习基本变量笔记 此文用于汇总跟随陈雷老师及团队的视频，学习源码过程中的思考、整理与心得体会，此文会不断更新 视频传送门：【每日学习记录】使用录像设备记录每天的学习 PHP7...
摘要：此文用于汇总跟随陈雷老师及团队的视频，学习源码过程中的思考整理与心得体会，此文会不断更新视频传送门每日学习记录使用录像设备记录每天的学习源码学习源码学习内存管理笔记源码学习内存管理笔记源码学习内存管理笔记源码学习基本变量笔记 此文用于汇总跟随陈雷老师及团队的视频，学习源码过程中的思考、整理与心得体会，此文会不断更新 视频传送门：【每日学习记录】使用录像设备记录每天的学习 PHP7...
摘要：此文用于汇总跟随陈雷老师及团队的视频，学习源码过程中的思考整理与心得体会，此文会不断更新视频传送门每日学习记录使用录像设备记录每天的学习源码学习源码学习内存管理笔记源码学习内存管理笔记源码学习内存管理笔记源码学习基本变量笔记 此文用于汇总跟随陈雷老师及团队的视频，学习源码过程中的思考、整理与心得体会，此文会不断更新 视频传送门：【每日学习记录】使用录像设备记录每天的学习 PHP7...
摘要：全部视频原视频地址引入抽象语法树是中新引入的，在许多其他语言中早已有实现。例，怎么用抽象语法树来表达那么使用中序遍历就可以得到上述表达式。 baiyan 全部视频：https://segmentfault.com/a/11... 原视频地址：http://replay.xesv5.com/ll/24... 引入 抽象语法树（AST）是PHP7中新引入的，在许多其他语言中早已有实现。 ...
摘要：在中，源代码首先将进行词法分析，将源代码切割为多个字符串单元，分割后的字符串称之为。图以为例解释型语言的执行示意图第步源码通过词法分析得到第步基于语法分析器生成抽象语法树第步抽象语法树转换为指令集合，解释执行。 顺风车运营研发团队 李志 发表在程序人生 公众号我们常用的高级语言有很多种，比较出名的有CC++、Python、 PHP、Go、Pascal等。而这些语言根据运行的方式不同，...
阅读 871·2021-11-18 13:23
阅读 3457·2021-11-15 11:37
阅读 575·2021-11-08 13:16
阅读 626·2021-10-11 10:58
阅读 3329·2021-09-22 15:26
阅读 1444·2021-09-08 10:42
阅读 1619·2021-09-04 16:45
阅读 1355·2021-09-04 16:45
