1.1 什么是字节序？

• 字节序，又称端序或尾序（英语中用单词：Endianness 表示），在计算机领域中，指中或在数字通信链路中，占用多个字节的数据的字节排列顺序。
• 在几乎所有的平台上，多字节对象都被存储为连续的字节序列。例如在 Go 语言中，一个类型为int的变量x地址为0x100，那么其指针&x的值为0x100。且x的四个字节将被存储在内存的0x100,
• 大端序（Big-Endian）将数据的低位字节存放在内存的高位地址，高位字节存放在低位地址。这种排列方式与数据用字节表示时的书写顺序一致，符合人类的阅读习惯。
• 小端序（Little-Endian），将一个多位数的低位放在较小的地址处，高位放在较大的地址处，则称小端序。小端序与人类的阅读习惯相反，但更符合计算机读取内存的方式，因为CPU读取内存中的数据时，是从低地址向高地址方向进行读取的。
• 高字节与低字节： 在编程语言中，字符一般是占16位，8位为一字节，所以有高位字节和低位字节。一个16进制数有两个字节组成，例如：A9。高字节就是指16进制数的前8位（权重高的8位），如上例中的A。低字节就是指16进制数的后8位（权重低的8位），如上例中的9。

• 很多人会问，为什么会有字节序，统一用大端序不行吗？答案是，计算机电路先处理低位字节，效率比较高，因为计算都是从低位开始的。所以，计算机的内部处理都是小端字节序。在计算机内部，小端序被广泛应用于现代 CPU 内部存储数据；而在其他场景，比如网络传输和文件存储则使用大端序。

1.2 Java中高低位字节的运用

1、不同端模式的处理器进行数据传递时必须要考虑端模式的不同(因主机CPU不同，不同的机器会出现高、低两种字节序问题)。
2、在网络上传输数据时，由于数据传输的两端对应不同的硬件平台，采用的存储字节顺序可能不一致。所以在TCP/IP协议规定了在网络上必须采用网络字节顺序，也就是大端模式。对于char型数据只占一个字节，无所谓大端和小端。而对于非char类型数据，必须在数据发送到网络上之前将其转换成大端模式。接收网络数据时按符合接受主机的环境接收。

• 十六进制文字0xFF是一个相等的int（255）。
• 0xFF是的表达方式，F是15；十进制为：255，二进制为：
• &运算符：如果2个bit都是1，则得1，否则得0

• 原码：一个整数，按照绝对值大小转换成的二进制数，称为原码。

• 反码：将二进制数按位取反，所得的新二进制数称为原二进制数的。
• 取反操作指：原为1，得0；原为0，得1。（1变0；0变1）
• 比如：将00 每一位取反，得11 。
• 反码是相互的，所以也可称：11 和 00 互为反码。

• 补码：反码加1称为补码。
• 也就是说，要得到一个数的补码，先得到反码，然后将反码加上1，所得数称为补码。
• 比如：00 的反码是：11 。

• 首先我们要都知道, &表示按位与,只有两个位同时为1,才能得到1, 0x代表16进制数,0xff表示的数二进制 占一个字节.和其进行&操作的数,最低8位,不会发生变化
• 例如:java 通信中基于长度的成帧方法中，如果发送的信息长度小于65535字节，长度信息的字节

定义为两个字节长度。这时候将两个字节长的长度信息，以Big-Endian的方式写到内存中

• 我们只关心二进制的机器数而不关注十进制的值,那么byte &0xff只是对其最低8位的复制,通常配合逻辑或 ‘’|’'使用,达到字节的拼接,但不保证其十进制真值不变

• 乍一看，b是8位的二进制数，在与上0xff(也就是 )，不就是其本身吗,输出在控制台结果为什么是129呢?
• 首先计算机内的存储都是按照补码存储的，-127补码表示为 ，int a = b;将byte 类型提升为int时候，b的补码提升为 32位，补码的高位补1，也就是11 11
• 负数的补码转为原码，符号位不变，其他位取反，在加1，正数的补码，反码都是本身结果是 00 00 表示为十进制 也是 -127
• 也就是 当 byte -> int 能保证十进制数不变，但是有些时候比如文件流转为byte数组时候，我们不是关心的是十进制数有没有变，而是补码有没有变，这时候需要&上0xff
• 本例子中，将byte转为int 高24位必将补1，此时补码显然发生变化，在与上0xff，将高24重新置0，这样能保证补码的一致性，当然由于符号位发生变化，表示的十进制数就会变了。

• 指进位计数制，是人为定义的一种带进位的计数方法。
• 即对于任何一种确定的进制，每一位置上的数运算时都是逢该确定的值进一位。
• 例如，二进制就是逢二进一，四进制是逢四进一，十进制是逢十进一，十六进制是逢十六进一等。
• 其中，十进制是人们在日常生活中最常用的进制，二进制是计算机中最常用的进制。

2.2 为啥有二进制，八进制，十进制，十六进制？

• 有二进制的原因是因为计算机最底层的电子元器件只有两种状态高电平和低电平(有电和没电）。
• 任何数据在计算机中都是以二进制的形式存在的，二进制早期由电信号开关演变而来。
• 一个整数在内存中一样也是二进制的，但是使用一大串的1或者0组成的数值进行使用很麻烦。
• 有八进制、十六进制的原因是因为二进制表示同样的数值太长不方便阅读和记忆，而八进制和十六进制较短，方便阅读和记忆。,

2.3 计算机中的单位转换？

• 计算机存储单位一般用bit、B、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB……来表示，它们之间的关系是：
• 位 bit (比特)(Binary Digits)：存放一位二进制数，即 0 或 1，最小的存储单位。[英文缩写：b(固定小写)]
• 字节byte：8个二进制位为一个字节(B)，最常用的单位。

2.4不同进制的组成规则？

• 由0,1~9组成，整数默认是十进制

2.5 不同进制的运算？

二进制的运算 (逢二进1)

八进制的运算（逢八进一）

十六进制转换（逢十六进一）

2.6 任意进制的转换？

计算机中所有的计算到计算机底层中都会变成位运算（就是二进制位的运算)。位运算可以提高程序的效率!而且阅后如果我们研究JDK或者某个框架的原码，会发现很多地方都用到

3.1 位运算符的种类

在进行位运算的时候要把数据转换成二进制位!并且全部都是二进制的补码形式!
按位与运算&（同一为一）

0

• 左移几位，整体向左移动几位，右边空出的位用0填补，高位左移溢出则舍弃该高位。
• 总结：左移几位，相当于原数*2的N次方

• 左边空出的位用0或者1填补。正数用0填补，负数用1填补，（符号位补全）。
• 注：不同的环境填补方式可能不同；低位右移溢出则舍弃该位。

• 符号位保留 左边空出的位用0补全。

1、【其它】技能训练1-系统初始化.doc 技能训练1提交要求：将设置完成的自动备份计划、人员档案、客户档案和供应商档案截图粘贴于WORD上交，为保证图片清晰请将文档页面设置为横向。

1、【其它】4会计报表编制.doc 完成以上任务后，将生成的利润表、资产负债表和货币资金表截屏上交。

1、【其它】5薪资管理.doc 完成薪资管理任务，查询总账系统来源于薪资系统生成的2张凭证，并截屏上交。

1、【其它】6任务.doc 完成固定资产管理任务，总账系统查询来源于固定资产系统的6张凭证并截屏上交。

Python部落()组织翻译，禁止转载，欢迎转发。

尽管在数据驱动的工作中，大多数人们都会使用分布式数据库与文件系统，但是在单机上快速读取一个文件的需求仍然坚挺地存在着。令人惊讶的是，大多数现代的文件读取器并没有利用起多核的架构，导致在高性能存储系统中大量的I/O带宽被闲置。在这里介绍的ParaText可以在单个多核机器上并行地读取文件以更有效地使用带宽。包含了一个并行CSV读取器。

在大约50年里，CSV一直被用做表格式数据的格式。由于CSV文件随处可见，且在实际的工作流中处理CSV文件的需求也随处可见——在这里速度，精度和容错率都是必须的指标——因而我们决定构建一个并行的CSV读取器。

我们还额外比较了ParaText和7个CSV读取器以及5个二进制读取器的性能。更多细节请参考我们的性能。在我们的测试中，ParaText可以以2.5GB/s的速度从一个磁盘加载一个CSV文件到内存，以及4.2GB/s的速度从内存写入外存。ParaText可以在30分钟内对一个5TB的CSV文件完成解析及基于外存的计算。

CSV的简洁性是十分诱人的。从概念上讲，CSV十分易于解析。它也是人类可读的。电子表格软件以及COBOL时期遗留的一些数据库至少可以读写CSV文件。的确，CSV被广泛用于交换表格化数据，但是不幸的是，RFC标准没有跟紧实践的步伐，导致CSV文件的扩展道路被扭曲了。CSV的格式缺少一个全世界都接受的模式，导致即使是“合适”的CSV文件也可能有模糊不清的语义，进而使每个应用对其有了不同的解释。

尽管CSV存在这样的问题，社区仍旧需要鲁棒的工具来处理CSV数据。我们开始时构建了一个迅速的，内存使用高效的，通用的多核文本读取器。我们的CSV读取器是第一个使用这一基础读取器的成果。

CSV读取器支持整型，浮点型，文本以及可分类数据类型。它总是使用最窄的比特深度来节省内存。文本域可以多行扩展。一个小型的可分类编码可以将重复的字符串映射为整数来降低内存占用率。

在这里，expand关键字强制ParaText使用字符串来表示类别，而不是使用整型。forget可以让迭代器去释放已经被解析器访问过的列数据所占据的空间。

在我们的性能分析中，我们证明了ParaText的速度，效率，更多细节请参考性能。

用于我们的性能测试的的大小从21MB到5.076TB。白皮书中描述了每个数据集的特性以及如何下载他们。

每个数据集及每种文件格式的文件大小。二进制文件要比CSV文件更小。

ParaText有比其他任何在每个数据集上都测试过的CSV读取器更高的吞吐量。

什么使得一个读取器更快？一个快速的读取器可以利用存储系统的能力。四个数据集：car(6.71GB, 大量可分类数据)，floats4(25.5GB, 大量浮点数)， 大量文本)。每个CSV加载器的吞吐展示在图中。I/O带宽用黑色来表示，便于比较。遗漏的条形或者是由于崩溃，或者是错误，或者是不一致性导致。

ParaText有最少的内存使用量。对Dato SFrame来说，如果数据帧存储在Dato的内核时，它就有非常低的内存使用量。Spark预留了大量的堆空间。因此很难表述它的内存使用效率，进而更好地指导如何为Spark任务准备资源。

内存有效意味着更少的崩溃情况。预估内存使用可以确保准备足够的云资源。

出色的二进制读取器可以不经任何解析，类型判断或错误检查地读取大量小型的文件。正如预料的那样，二进制读取器在比CSV小10倍的二进制文件读取上超过了CSV。

二进制读取器在ParaText之前完成。然而，二进制读取器处理的是更小的文件，列类型都已定义好的，并且错误处理是最少的。其中Pickle是最慢的。

然而，我们测试的二进制读取器和ParaText相比，其I/O带宽要低的多。

吞吐量问题。吞吐量能够真实反映每个方法对可用带宽的使用程度。虽然ParaText运行时间更长，但是它仍旧拥有比二进制方法高的吞吐量。H5PY(HDF5)对平行读取可能需要更好的默认值。

这种转换是数据科学中交互体验的一个重要部分。ParaText可以在数秒内转换一个数GB的数据集，而Spark和Dato却需要几分钟。

成本问题。每种方法按比例分配的成本对ParaText成本的倍数。

我们定义了两个基准任务来建立CSV加载吞吐量的上界：换行符计数以及外存CSV解析。ParaText达到了非常接近由任务预估的I/O带宽的吞吐量。

有多少开销？我们对CSV文件加载，外存CSV解析，以及换行符计数与存储系统带宽做了比较。

ParaText可以轻松处理数TB级别的数据。在我们的测试中，ParaText和Spark是仅有的能够单机成功加载并计算一个超过1TB的文件。

访问并试一试ParaText吧。我们期待听到你的声音!