40m QIL Cryo_Lab CTN SUS_Lab TCS_Lab OMC_Lab CRIME_Lab FEA ENG_Labs OptContFac Mariner WBEEShop
  40m Log, Page 57 of 344  Not logged in ELOG logo
    Reply  Fri Aug 16 16:40:04 2019, gautam, Update, CDS, 1Y3 work newLook1Y3.JPGIMG_7803.JPGc1lsc_crashed.png
[chub, gautam]

Installation: The following equipment were installed in 1Y3, see Attachment #1:
    Reply  Sat Aug 17 16:49:23 2019, gautam, Update, CDS, More 1Y3 work Screen_Shot_2019-08-17_at_3.00.57_PM.pngScreen_Shot_2019-08-17_at_3.12.23_PM.pngIMG_7804.JPGScreenshot_from_2019-08-17_17-04-47.png
Work done today:


All ribbon cable connections to the backplane of the 1Y2 Eurocrates were removed. The cables themselves were cleared for more space to
work with.
20x 15ft DB37 Cables were run between 1Y2 and 1Y3 via overhead cable tray.
Backplane interface boards were installed for
    Reply  Mon Aug 19 14:36:21 2019, gautam, Update, CDS, c1iscaux remaining work caseForSmallerFootprint.pdf
Here is what is left to do:


Strain relief of all cabling. Chub will take care of this in the coming days. I have said he can connect and disconnect cables as he
pleases, but after this work, we may require a hard reboot of the Acromag chassis before restoring functionality to the channels, as it is known that the
    Reply  Tue Aug 20 19:05:24 2019, Koji, Update, CDS, MC1 (and MC3) troubleshoot Screenshot_from_2019-08-20_17-26-01.pngScreenshot_from_2019-08-20_17-43-03.png
Started the troubleshoot from the MC1 issue. Gautam showed me how to use the fake PD/LED pair to diagnose the satellite box without involving the suspension
mechanics.

This revealed that the MC1 has frequent light level glitches which are common for five sensors. This feature does not exist in the test with
    Reply  Thu Aug 22 12:54:06 2019, Koji, Update, CDS, MC1 glitch removed (for now) and IMC locking recovered 7x
I have checked the MC1 satellite box and made a bunch of changes. For now, the glitches coming from the satellite box is gone. I quickly tested the MC1
damping and the IMC locking. The IMC was locked as usual. I still have some cleaning up but will work
on them today and tomorrow.
    Reply  Thu Aug 22 20:56:51 2019, Koji, Update, CDS, MC1 glitch removed (for now) and IMC locking recovered 
The internal ribbon cable for the MC1 satellite box was replaced with the one in the spare box. The MC1 box was closed and reinstalled as before. The
IMC is locking well.

Now the burnt cable was disassembled and reassembles with a new cable. It is now in the spare box.
    Reply  Fri Aug 23 18:46:17 2019, Jon, Update, CDS, c1iscaux remaining work 
I added the list of new c1iscaux channels
to /opt/rtcds/caltech/c1/chans/daq/C0EDCU.ini and restarted the framebuilder. Koji had thought some of these channels might have previously
existed under slightly different names. However, after looking through C0EDCU.ini and the other _SLOW.ini files, I did not find any candidates for
    Reply  Sun Aug 25 14:18:08 2019, gautam, Update, CDS, c1iscaux remaining work Screen_Shot_2019-08-25_at_10.38.37_PM.png
There were a bunch of useless / degenerate channels added - e.g. whitening gains which are alreay burt-snapshot. Maybe there are many more useless channels
being trended, but no need to add more.

Copy-pasting wasn't done correctly - the first 4 added channels were duplicates. There are in fact 5 LO power mons, one for each of
Entry  Thu Sep 5 18:42:19 2019, aaron, HowTo, CDS, WFS discussion, restarting CDS 
[aaron, rana]

While going to take some transfer functions of the MC WFS loop, LSC was down. When we tried to restart the FE using 'rtcds restart --all',
c1lsc crashed and froze. We manually reset c1lsc, then laboriously determined the correct order of machines to reboot. Here's what works best:
    Reply  Thu Sep 5 20:30:43 2019, rana, HowTo, CDS, WFS discussion, restarting CDS 
via Polish chat, GV tells us to RTFE
    Reply  Fri Sep 6 09:40:56 2019, aaron, HowTo, CDS, WFS discussion, restarting CDS 
As suggested, I ran the script cds/rebootC1LSC.sh

I got a timeout error when the script tried closing the PSL shutter ('C1:AUX-PSL_ShutterRqst' not found), but Rana and I closed the shutter
before leaving last night. c1sus is down, so the script found no route to host c1sus; I'm thinking I need to reset c1sus for the script to run completely.
    Reply  Fri Sep 6 11:56:44 2019, aaron, HowTo, CDS, WFS discussion, restarting CDS B26CECF8-FC0D-4348-80DC-574B1E3A4514.jpeg
Rebooting

I reset c1lsc, c1sus, and c1ioo.

I noticed that the script gives the command 'ssh c1XXX', but we have been getting no route to host using this command. Instead, the machines
are currently only reachable as c1XXX.martian. I'm not sure why this is, so I just appended .martian in rebootC1LSC.sh
    Reply  Fri Sep 6 15:12:49 2019, Koji, HowTo, CDS, WFS discussion, restarting CDS 
Assuming you are at pianosa, /etc/resolv.conf is like

# Generated by NetworkManager
nameserver 192.168.113.104
    Reply  Fri Sep 6 21:22:06 2019, Koji, HowTo, CDS, How to save c1ioo 
Q1 Can we run the machine with the reduced # of cores?

Q2 We might be able to order them quickly. What's the spec and configuration of the DIMMs (like DDR2-667MHz ECC 4GBx4, and even more specs
(like Samsung 2GB DDR2 RAM PC2-6400 240-Pin DIMM M378T5663EH3) so that we are to identify the exact spec).
    Reply  Fri Sep 6 22:03:30 2019, aaron, HowTo, CDS, How to save c1ioo 
Saw these slightly delayed.

Q1: Not sure--is it a safe operation for me to remove the DIMM on CPU0, replace CPU0 (with no DIMM), and boot up to try this?

Q2: Specifically, it's this DIMM. The CPU core is compatible with
    Reply  Mon Sep 9 11:36:48 2019, aaron, HowTo, CDS, How to save c1ioo reboot.png
One pair of DIMM cards from the Sunstone box had the same Sun part number as those in c1ioo, so I swapped them in and reinstalled c1ioo's CPU0. c1ioo now boots up
an seems ready to go, I'm able to log on from nodus. I also reinstalled optimus' CPU0, and optimus boots up with no problems.
Entry  Tue Sep 10 17:26:49 2019, Koji, Update, CDS, D1900068 SR785 accessory box P_20190910_171859_1.jpg
I picked up a unit of D1900068 SR785 accessory box from Dean's office at Downs. 
Entry  Fri Sep 13 13:03:35 2019, Koji, Summary, CDS, DIN 96pin to DSUB37 adapter (single) ready for use P_20190912_192109.jpg
The PCB board of the adapter for DIN 96pin to DSUB37 conversion (single DSUB version) was delivered yesterday and I quickly soldered the connectors.

They are ready for use and stored in a JLCPCB cardboard box on a pile of acromag stuff. (Note that the lacel is written on the box with Sharpie)
    Reply  Mon Sep 16 09:11:37 2019, gautam, Summary, CDS, DIN 96pin to DSUB37 adapter (single) ready for use 
I installed 6 of these in 1Y2. Three were for PD INTF #1-3, and I used three more for the AS110, REFL11,
and REFL33 Demod board FEs, where the strain-reflief of the DC power cables to the Eurocrate was becoming a problem. So now there are only 4 units available
as spares.
    Reply  Mon Sep 16 20:22:19 2019, gautam, Summary, CDS, Update on the Acromag status acromagChecklist.pdf

Jordan (new Engineer) and Chub neatened out the cabling at 1Y2/1Y3 today. After their work, I plugged in all the Dsubs to the rear Eurocrate
DB37->DIN96 adaptors. Jordan nicely fixed up the labels on the cable with some extra sellotape for a more durable label.
As part of the war
on cross-connects, Chub removed some cables that were piping BIO signals from the fast CDS system to the whitening boards.

There is a SCSI
Entry  Tue Sep 17 14:01:46 2019, gautam, Update, CDS, daqd fw dead 
For some reason, the daqd_fw service was dead on FB. This meant that no frames were being written since Aug 23, which probably coincides with when the
c1lsc frontend crashed. Sad 😢 😭 🙁 . Simply restarting the fw service does not work, it crashes again after ~20 seconds. The problem
may have to do with the indeterminate state of the c1lsc expansion chassis. However, this is not something that can immediately be fixed, as Chub is still
    Reply  Tue Sep 17 14:43:59 2019, gautam, HowTo, CDS, Final bit bug of the BIO CDS module  Screen_Shot_2019-09-17_at_2.44.41_PM.png
Came across this while looking up the BIO situation at 1Y2. For reference, the fix Koji mentions can be seen in the attached screenshot (one example,
the other BIO cards also have a similar fix). The 16th bit of the BIO is grounded, and some bit-shifting magic is used to implement the desired output.




Quote:


    Reply  Tue Sep 17 21:34:07 2019, gautam, Update, CDS, daqd fw dead no more RTFEstatus.png
Summary:


Frames seem to be written again.Slowly but surely, we are converging to an operable state...
No frames are available for the period 23 Aug to 17 September
Entry  Tue Sep 17 23:43:34 2019, Koji, Summary, CDS, Acromag logic checker digital_checker.pdfIMG_8914.JPG
For the investigation of the latch logic issue for the CARM CM board, I have made the LED logic checkers with DB breakout boards. They require the pull
up voltage supply of +15V because the acromag digital out is a open corrector (well... open "source") output.

The logic from Pin1 to Pin16 of DB37 can be monitored. The DB15 connector is only for monitoring the latch enable logic.
Entry  Tue Sep 17 23:46:21 2019, Koji, Update, CDS, Latch Enable Logic Screenshot_from_2019-09-17_23-39-35.png
[Koji Gautam]

We continued to check the latch logic. Today we found that latch.py didn't catch the change of LSB but did for MSB. We determined that this
happens when the slider value is chaged between the polling for LSB and MSB.
Entry  Wed Sep 18 12:40:09 2019, gautam, Update, CDS, Fast BIO Mapping at 1Y2 
INCORRECT INFO IN THIS ELOG HAS BEEN REMOVED. SEE THIS
ELOG FOR THE UPDATED INFO.

Summary:
    Reply  Thu Sep 19 15:59:29 2019, aaron, HowTo, CDS, How to save c1ioo 
New DIMM cards have arrived. I stored them in the digital cabinet along y arm.
    Reply  Thu Sep 19 21:23:51 2019, gautam, Update, CDS, Fast BIO splicing re-implemented at 1Y2 1Y2_FAST_BIO_WIRING_MAP.pdfIMG_7949.JPGREFL165.pdf
[KA, GV]

Summary:


New cross connect system for splicing the fast BIO signals for whitening switching to the P2 connectors was installed and tested at 1Y2.
It
Entry  Fri Sep 20 12:55:02 2019, gautam, Update, CDS, c1iscaux testing 
I was hoping that the dark / electronics noise level on the LSC photodiodes would be sufficient for me to test the whitening gain switching on the iLIGO
Pentek whitening boards. However, this does not seem to be the case. I guess to be thorough, we have to do this
kind of test. It's a bit annoying to have to undo and redo the SMA connections, but I can't think of any obvious easier way to test this functionality.
    Reply  Mon Sep 23 10:49:34 2019, rana, Update, CDS, c1iscaux testing 

I'd say permanently enable AA and AI. There's no reason to turn these off for usual channels. We can always undo one switch later if
we want to use aliasing to sample a high frequency signal (ala SoCal).
The PD output should ~20 nV/rHz into the mixer, so that's ~7 nV into
the whitening filter. We need 60 dB to be above the ADC noise.
I've forgotten what the current config is, but in iLIGO we hacked in a fixed
    Reply  Wed Sep 25 20:10:13 2019, Koji, Update, CDS, c1iscaux testing testDetectMons_190925.pngtestIPPOS_190925.png
== Test Status ==
[none] Whitening gain switching test
[none] AA enable/disable switching
Entry  Thu Sep 26 17:56:28 2019, Koji, Update, CDS, some rebooting 
Yesterday (Sep 25) evening: I had to reboot c1psl, c1iool0, and c1aux to recover nominal IMC locking

Today megatron had no response and I had to reboot it with the reset button. MCautolocker and FSSSlow were recovered and the IMC is locking as
usual.
    Reply  Thu Sep 26 20:09:40 2019, Koji, Update, CDS, c1iscaux testing Wht1.pdfWht2.pdfWht3.pdfWht4.pdflock.png
== Test Status ==

[done] Whitening gain switching test => Some issues found (POP110Q, Whitening3_8 not switching,
ASDC overall behavior, REFL33Q needs recheck)
    Reply  Fri Sep 27 15:59:53 2019, gautam, Update, CDS, c1iscaux testing 
I reset the normalization for both arms on Jul 9 2019.




Quote:



The transmission reached just 1.00 at the end. Was the transmission recently normalized? (See attachment
    Reply  Mon Sep 30 11:20:43 2019, gautam, Update, CDS, c1iscaux testing - CM board code updated CMsoftTest.png
DATED, SEE ELOG14941 for the most up-to-date info on latch.py.

I modified /cvs/cds/caltech/target/c1iscaux/latch.py
    Reply  Mon Sep 30 15:51:59 2019, gautam, Update, CDS, c1iscaux - some admin 
I did the following:


symlinked /cvs/cds/rtcds
to /opt/rtcds.
Added
    Reply  Mon Sep 30 17:04:30 2019, gautam, Update, CDS, Some path changes 
I made some model changes to c1lsc. To propagate the changes, I tried the usual rtcds make sequence. But I got an error about the model file not being
in the path. This is down to my re-organization of the paths to cleanly get everything under git version control. So I had to run the following path modification.
Where is this variable set and how can I add the new paths to it? The model compilation, installation
    Reply  Wed Oct 2 01:11:40 2019, Koji, Update, CDS, c1iscaux testing 8x
I worked on more troubleshooting of the whitening filters Tuesday afternoon

== Test Status ==

[done] Whitening gain switching test => Remaining issues ASDC overall behavior
Entry  Wed Oct 2 10:40:07 2019, gautam, Update, CDS, c1oaf model restarted c1oafRestart.png
This morning, I restarted the c1oaf
model on the c1lsc machine, so as to
have the option of enabling some feedforward action. Unsurprisingly, the "DC" indicator is red, citing a "0x2bad". In
Entry  Wed Oct 2 10:50:20 2019, gautam, Update, CDS, Anaconda updated 
The anaconda distribution used by the control room workstations is actually installed on the shared drive (/cvs/cds/ligo/apps/anaconda/) for consistency
reasons. The version was 4.5.11. I ran the following commands to update it today. Now it is version 4.7.12.

conda update conda
    Reply  Wed Oct 2 23:23:02 2019, gautam, Update, CDS, c1oaf DC indicator needs to be green MCL_FF_Test.pdf
Today, I found out that this type of "0x2bad" DC error is connected to the 1e+20 cts output. The solution was to bite the bullet and stop/start
the c1oaf model (at the risk of crashing the vertex FEs). Today, I was lucky and the model came back online with all CDS indicators green. At which point
I was able to engage length feedforward to MC2 (with some admittedly old filter). Some subtraction is happening, see 
    Reply  Fri Oct 4 01:57:09 2019, Koji, Update, CDS, c1iscaux testing P_20191003_172956_vHDR_On.jpgTF.pdfPSD.pdf191003_AA_Filter.zip
The AA filter for ASDC was fixed.

== Test Status ==

[done] Whitening gain switching test
Entry  Fri Oct 4 22:22:03 2019, gautam, Update, CDS, Final incarnation of latch.py LatchLogic.pdf
[KA, GV]

This elog is meant to be a summary of some of the many subtleties on the CM board. The latest schematic of the version used at
the 40m can be found at D1500308 .
    Reply  Sat Oct 5 00:03:21 2019, Koji, Update, CDS, c1iscaux testing REFL1_GAIN1.pdfREFL1_GAIN2.pdfREFL2_GAIN1.pdfREFL2_GAIN2.pdf
[Gautam, Koji]

Input gain part of the CM servo board D1500308 was tested. A couple of problems were
detected. One still remains.
    Reply  Tue Oct 8 03:19:14 2019, Koji, Update, CDS, Final incarnation of latch.py 
Now with the CM board tested with the signal injected, it turned out that the latch logic was flipped. As the default state locked the digital levels,
the buttons other than the mbbo channels were inactive.

By giving 0 to C1:LSC-CM_LATCH_ENABLE, the modification of the digital state is enabled. And with the value of 1, the digital bits on the board
    Reply  Tue Oct 8 03:32:42 2019, Koji, Update, CDS, CM servo board testing 7x
[Koji]

The logic chips 74ALS573 were replaced. And now the gain sliders are working properly.
    Reply  Tue Oct 8 17:59:29 2019, Koji, Update, CDS, CM servo board testing (portal) 6x
== Test Status ==

[done] Whitening gain switching test
[done] AA enable/disable switching
    Reply  Tue Oct 8 18:42:39 2019, Koji, Update, CDS, CM servo board testing boosts.pdf
The boost filters of the CM servo board were tested. Their ZPK models were made.


The transfer functions of the boost filters were measured with the SG output of a SR785 connected to IN1. The IN1 gain was set to be
0dB. The transfer function was taken between the IN1 input and the TEST1A output.
    Reply  Tue Oct 8 20:23:03 2019, gautam, Update, CDS, c1iscaux testing 
Looking at the old latch.st code, looks like this is just a heartbeat signal to indicate the code is alive. I'll implement this. Aesthetically, it'd
be also nice to have the hex representation of the "*_SET" channels visible on the MEDM screen.

 
    Reply  Mon Oct 14 16:06:28 2019, Koji, Update, CDS, CM servo board testing pole_zero_filter.pdf
CM Board Slow out (digital length control) path transfer function / pole-zero filter pair (79Hz/1.6kHz) transfer function

The excitation was given from EXC A. The denominator was TESTA2, and the numerator was OUT1.

Attachment 1 shows the measured transfer function with and without PZ filter off and on. The PZ filter provides ~26dB attenuation
ELOG V3.1.3-